⚙️
БЕСПЛАТНО
+50 XP
Как поисковики находят страницы
🤖
Googlebot — поисковый робот
«Привет! Я Googlebot. Каждый день я обхожу миллиарды страниц по всему интернету. Хочешь узнать, как я нахожу твой сайт и решаю, что попадёт в поиск?»
💡 Краулинг (Crawling) — процесс, при котором поисковый робот переходит по ссылкам и скачивает содержимое страниц. Индексация (Indexing) — анализ и сохранение этих страниц в базу данных поиска.
Как Googlebot находит страницы?
Ссылки
Переходит по ссылкам с уже известных страниц
→
Sitemap
Читает XML-карту сайта
→
Submit URL
Ручная отправка через Search Console
Три условия для индексации страницы
| Условие | Как проверить |
|---|---|
| ✅ На страницу ведут ссылки | Ahrefs / GSC — Internal links |
| ✅ Нет директивы Disallow в robots.txt | Проверка robots.txt в GSC |
| ✅ Нет тега noindex на странице | Поиск <meta name="robots" content="noindex"> в коде |
Краулинговый бюджет
Google не может бесконечно обходить твой сайт. Каждому сайту выделяется краулинговый бюджет — количество страниц, которое бот обойдёт за сеанс. Если сайт большой — важно тратить бюджет на нужные страницы.
Как не тратить бюджет впустую:
☐ Закрой в robots.txt страницы фильтров и сортировок
☐ Убери 404-страницы через 301-редиректы
☐ Исключи дубли через canonical
☐ Не создавай бесконечные URL с параметрами
☐ Добавь XML-sitemap в GSC
☐ Закрой в robots.txt страницы фильтров и сортировок
☐ Убери 404-страницы через 301-редиректы
☐ Исключи дубли через canonical
☐ Не создавай бесконечные URL с параметрами
☐ Добавь XML-sitemap в GSC
🧑💻
Алекс проверяет сайт клиента
«Смотри — у тебя 50 000 страниц фильтров в индексе. Googlebot тратит весь бюджет на них и не добирается до важных страниц с товарами. Вот почему у тебя нет трафика.»
🎯 Запомни: краулинг ≠ индексация. Бот может обойти страницу и не добавить её в индекс (если контент слабый или есть noindex). Отслеживай обе метрики в Google Search Console.
🎮 Проверь себя: выбери условия, которые необходимы для индексации страницы!
Задание к уроку
Проверьте понимание и получите +20 XP