Файл robots.txt

📊

Алекс, стажёр · Среда, 09:15

Открываю Google Search Console. Трафик: 0. Страниц в индексе: 0 из 847. Это невозможно...

😤

Генеральный директор · 09:18

«АЛЕКС. ТРАФИК ПРОПАЛ. ПОЧЕМУ ИНДЕКСИРУЕТСЯ НОЛЬ СТРАНИЦ ИЗ 847?! ЭТО КАТАСТРОФА!»

🤦

Алекс · 09:21

Открываю robots.txt. Всё понятно.

User-agent: *
Disallow: /

# Уходя — уходи 😈
# — Петров

Что такое robots.txt?

Это файл-инструкция для поисковых ботов. Живёт в корне сайта: yourdomain.com/robots.txt

Представь: ты хозяин офиса, а robots.txt — охранник на входе. Он говорит ботам: «сюда можно, туда нельзя».

✅

Allow: /
Публичные страницы открыты. Боты могут заходить и индексировать.

🚫

Disallow: /admin/
Закрытые разделы запрещены. Ботам сюда не надо.

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Расшифровка:

User-agent: * — правила для всех ботов
Disallow: /admin/ — не заходить в папку /admin/
Allow: / — всё остальное — доступно

Главное заблуждение про robots.txt

🚫 robots.txt НЕ защищает от индексации!

Если бот не обходит страницу — это не значит, что Google её не проиндексирует. Он может узнать о ней через ссылки и добавить в индекс без посещения.

Чтобы закрыть страницу от индексации — используй: <meta name="robots" content="noindex">

Ссылка на Sitemap

В robots.txt принято добавлять ссылку на sitemap.xml — это помогает Google быстрее найти все страницы:

User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

💡 Лайфхак: Проверь robots.txt через Google Search Console → «Инструмент проверки robots.txt». Самая частая ошибка — случайно написать Disallow: / и закрыть весь сайт. Как Петров 😈

😌

Алекс · 09:45

Убрал Disallow: /. Обновил robots.txt. Теперь ждём, пока Google перейдёт сайт заново. Первый кризис позади.

Готов? Введи ответ в задание! 👇

🎯

Задание к уроку

Проверьте понимание и получите +20 XP

← Обзор SEO-платформ

Урок 16 из 16

Перейти к заданию →