robots.txt

robots.txt — robots.txt — файл у корені сайту, який керує правилами сканування для пошукових роботів.

SEO-значення

Він не гарантує видалення з індексу. Для деіндексації частіше потрібні noindex, canonical, 404/410 або редирект.

Що перевіряти

• чи поняття коректно застосоване на важливих сторінках;
• чи немає технічних, контентних або аналітичних суперечностей;
• чи впливає це на індексацію, видимість, CTR, довіру або конверсії;
• чи можна підтвердити висновок даними з GSC, GA4, краулера або SERP-аналізу.