🚀
БЕЗКОШТОВНО
+30 XP
Файл robots.txt
🚧
Алекс перевіряє новий сайт
«Сторінки є, sitemap є, контент є. Але Google їх майже не бачить. Відкриваю /robots.txt — і там Disallow: /. Ось чому сайт стоїть за закритими дверима».
robots.txt — це файл у корені сайту, який підказує пошуковим ботам, які розділи можна або не варто сканувати. Він знаходиться за адресою
https://example.com/robots.txt.Що robots.txt робить, а що ні
| Може | Не може |
|---|---|
| Обмежити сканування технічних розділів, фільтрів, кошика, пошуку по сайту. | Гарантовано прибрати сторінку з індексу, якщо на неї є зовнішні або внутрішні посилання. |
| Показати пошуковику адресу sitemap. | Захистити приватні дані від перегляду: файл публічний для всіх. |
| Зменшити crawl waste на великих сайтах. | Вирішити дублікати краще, ніж canonical, noindex або правильна архітектура. |
Базовий приклад
User-agent: *
Disallow: /cart/
Disallow: /search/
Allow: /
Sitemap: https://example.com/sitemap.xmlUser-agent: * означає правило для всіх ботів. Disallow закриває шлях від сканування, Allow дозволяє виняток, а Sitemap допомагає швидше знайти карту сайту.
Небезпечні помилки
Disallow: /на продакшені — сайт може залишитися без нормального обходу.- Закрити CSS і JS, через що Google гірше рендерить сторінку.
- Використовувати robots.txt як спосіб приховати конфіденційні сторінки.
- Закрити фільтри або параметри без аналізу, чи немає там потрібних посадкових сторінок.
- Забути оновити robots.txt після dev/staging-релізу.
Як перевіряти robots.txt
- Відкрити
/robots.txtу браузері та перевірити, що файл доступний із кодом 200. - Подивитися, чи немає загальної заборони
Disallow: /. - Перевірити важливі URL через Google Search Console URL Inspection.
- Прокраулити сайт і подивитися, які сторінки отримали статус blocked by robots.txt.
- Окремо перевірити sitemap: у ньому мають бути тільки потрібні canonical-сторінки.
Головне правило: robots.txt керує обходом, але не є надійним інструментом видалення з індексу. Якщо сторінку не треба показувати в Google, зазвичай потрібні noindex, canonical, редирект або видалення сторінки.
Завдання до уроку
Перевірте розуміння та отримайте +20 XP