Как работают поисковики
Поисковые системы работают в четыре этапа: сканирование, рендеринг, индексация и ранжирование. Пока страница не прошла первые три, она не может появиться в выдаче ни по одному запросу — независимо от того, насколько хорошо написан текст. В этом уроке разберём, что происходит на каждом этапе, где чаще всего застревают страницы и как проверить свою.
Общую схему Google описывает в документации «Как работает Google Поиск», а список своих роботов — в обзоре краулеров.
Ответ прост: поисковик ещё не знает о вашем сайте. Когда вы что-то ищете в Google, ответ уже готов — потому что Google заранее обошёл интернет, прочитал миллиарды страниц, разложил их по полочкам и теперь просто выбирает подходящие. Разберём, что именно происходит «за кадром».
Поисковик — это не чат с ИИ. Это огромная заранее построенная база
Когда вы вводите запрос, Google не бежит по интернету в реальном времени. Это было бы катастрофически медленно. Вместо этого поисковик заранее собирает данные обо всех страницах в гигантскую базу — индекс. Запрос обращается к индексу за миллисекунды.
Этот процесс делится на четыре последовательных этапа. На каждом из них ваш сайт может «застрять» — и тогда никакого SEO не получится.
Этап 1. Crawling — обход страниц
Googlebot — программа-«паук». Она находит новые URL двумя способами:
Какие адреса робот обойдёт, а какие пропустит, решают карта сайта и robots.txt: как Google читает sitemap и что делает robots.txt.
- По ссылкам — переходит со страницы на страницу. Если на ваш сайт есть ссылка с уже известного Google ресурса, бот по ней придёт.
- По sitemap.xml — если вы отправили карту сайта в Google Search Console, бот получит список URL напрямую.
- На неё нет ни одной ссылки и она не в sitemap — бот о ней просто не знает
- Она зарыта слишком глубоко (5+ кликов от главной) — бот доходит и решает не тратить ресурсы
- Бот уже был и решил, что страница не стоит повторного обхода (тонкий контент, дубли)
- Исчерпан crawl budget — лимит, сколько страниц бот готов обойти на вашем домене за сутки
Crawl budget — реальное ограничение. Веб слишком большой, чтобы Google обходил всё подряд. Поэтому он расставляет приоритеты: чаще ходит на крупные авторитетные сайты, реже — на молодые и мелкие.
Этап 2. Rendering — Google запускает страницу
Это новый этап, которого не было 10 лет назад. Раньше Google просто читал исходный HTML. В 2026 году большинство сайтов на JavaScript — React, Vue, Next.js — и контент появляется только после выполнения скриптов.
Что именно Google делает с JavaScript и почему контент, дорисованный скриптом, появляется в индексе позже, описано в основах JavaScript SEO.
Поэтому Google запускает страницу как настоящий браузер (Chromium): загружает HTML, выполняет JavaScript, ждёт, пока всё дорисуется, и только потом «делает скриншот» финального DOM. Этот этап называется rendering.
Этап 3. Indexing — раскладка по полкам
Отрисованную страницу Google анализирует семантически: разбирает заголовки, текст, изображения, структуру, мета-теги, schema.org-разметку. Извлекает ключевые понятия и сохраняет в индекс.
На этом этапе Google выбирает канонический адрес среди похожих страниц — правила выбора собраны в документации о канонизации.
Современный индекс — это не просто база текстов. Это связанная сеть:
| Что это | Что хранит |
|---|---|
| Основной индекс | Метаданные о всех страницах: текст, заголовки, ссылки, sitemap |
| Вертикальные индексы | Отдельные для картинок, видео, новостей, товаров — каждый со своими атрибутами |
| Knowledge Graph | Граф сущностей: люди, компании, места, концепции и связи между ними. Источники: Wikipedia, Wikidata, schema-разметка |
Knowledge Graph — это почему Google понимает, что «F1» = Formula One = автогонки, что «Илон Маск» связан с Tesla и SpaceX, что «купить» и «продать» — близкие концепции. Поиск работает не по словам, а по сущностям.
⚠️ Попасть в индекс ≠ попасть в топ. В индексе — миллиарды страниц. На первой странице выдачи — десять. Между ними стоит этап ранжирования.
Этап 4. Ranking — выбор лучших ответов
Когда пользователь вводит запрос, Google за миллисекунды:
Системы, которые участвуют в ранжировании, Google перечисляет в руководстве по системам ранжирования.
- Определяет интент запроса (информационный/транзакционный/локальный)
- Достаёт из индекса страницы, релевантные запросу
- Ранжирует их по сотням сигналов и формирует SERP
В 2026 году значительная часть ранжирования идёт через машинное обучение. Ключевые ML-системы Google:
| Система | Что делает |
|---|---|
| RankBrain (2015) | Понимает смысл редких и длинных запросов через эмбеддинги |
| BERT (2019) | Анализирует слова в контексте всего запроса (важен порядок: «билет в Бостон из Киева» ≠ «билет из Бостона в Киев») |
| MUM (2021) | Связывает темы между языками и форматами (текст + видео + картинки) |
| SpamBrain | Автоматически распознаёт и понижает спам, тонкий и AI-сгенерированный мусор |
Главные группы сигналов ранжирования:
- Релевантность — соответствует ли страница запросу. Самый важный фактор.
- Авторитетность — кто на вас ссылается, насколько вы цитируемы в своей нише (наследник PageRank).
- EEAT — Experience, Expertise, Authoritativeness, Trustworthiness. Опыт, экспертиза, авторитет, доверие. Особенно критично для YMYL-тем (здоровье, финансы, право).
- Поведенческие — как пользователи ведут себя в выдаче (вернулся ли назад, сколько провёл на странице).
- Технические — скорость (Core Web Vitals), мобильная адаптация, безопасность.
- Локальные и персональные — геолокация, история поиска, устройство.
Что вы реально видите в Google в 2026
Эпоха «10 синих ссылок» давно прошла. Современный SERP — это собранный под конкретный запрос интерфейс:
| Фича | Когда появляется |
|---|---|
| 🤖 AI Overviews | ИИ-сводка вверху SERP по сложным/информационным запросам |
| ⚡ Featured snippets | Прямой ответ из чьей-то страницы (нулевая позиция) |
| 📚 Knowledge panels | Карточка сущности справа: бренд, человек, место |
| 📍 Map pack (3-pack) | Локальный интент: 3 организации на карте |
| ❓ People Also Ask | Связанные вопросы с раскрытием |
| 🎬 Видео-карусель | Когда видео полезнее текста («как сделать...») |
| 🛒 Shopping | Транзакционные запросы: товары с ценой и рейтингом |
До классических органических ссылок пользователь часто вообще не доходит — ответ уже виден сверху. Это называют zero-click search. Сегодня попасть в featured snippet или в источники AI Overviews — отдельная задача SEO, не менее важная, чем «попасть в топ-10».
Что это значит для вашего сайта
Каждый из 4 этапов — точка, где можно помочь Google или непреднамеренно помешать ему:
| Этап | Как помешать | Как помочь |
|---|---|---|
| Crawl | Закрыть всё в robots.txt; зарыть страницу глубоко; сломать внутренние ссылки | Sitemap.xml + чистая внутренняя перелинковка + понятная структура URL |
| Render | Контент рисуется только после клика/скролла; критичный JS падает | SSR/SSG; ключевой контент в исходном HTML |
| Index | noindex по ошибке; пустой title; дубли без canonical | Уникальный осмысленный контент, schema.org, чёткие meta-теги |
| Rank | Слабая релевантность теме; нет ссылок и упоминаний | Глубокий полезный контент; авторитет домена; хорошие Core Web Vitals |
Практика: проведите одну страницу по всем четырём этапам
Возьмите любую страницу своего сайта и проверьте её по порядку. Пять шагов:
- Откройте инструмент проверки URL в Search Console и вставьте адрес страницы. Ответ «URL есть в Google» означает, что первые три этапа пройдены.
- Нажмите «Проверить страницу на сайте» и откройте вкладку с кодом HTML. Это то, что увидел робот. Если нужного текста там нет, проблема на этапе рендеринга.
- Посмотрите строку «Канонический URL, выбранный Google». Если он отличается от вашего, Google считает страницу дублем другой.
- Проверьте дату последнего сканирования. Давняя дата на важной странице — сигнал, что робот заходит редко.
- Пройдите по сайту целиком через краулер сайта, а спорные адреса разберите в аудите индексации.
Термины этапов разобраны в глоссарии: сканируемость, JavaScript SEO, индексируемость, карта сайта.
Как понять, что страница прошла все этапы
Запишите по проверяемой странице четыре факта: статус в инструменте проверки URL, дату последнего сканирования, канонический адрес, выбранный Google, и наличие страницы в отчёте «Индексирование страниц». Это состояние «до».
После правок посмотрите те же четыре факта. Движение выглядит так: страница переходит в «URL есть в Google», дата сканирования обновляется, канонический адрес совпадает с вашим. Позиции здесь ни при чём — на этом уровне проверяется только допуск в индекс.
Сроков никто не обещает: новая страница может ждать обхода недели. Повторная отправка на индексацию очередь не ускоряет.
Что дальше
Мы разобрали, как поиск находит и обрабатывает страницы. Следующий урок — интент поискового запроса: почему две страницы с одинаковыми словами занимают разные места. Если вы пропустили первый урок, начните с того, что такое SEO.