SEO и большие языковые модели: что известно из документации
SEO и большие языковые модели — это вопрос о том, как содержимое вашего сайта используют ИИ-ассистенты и поисковые функции на базе языковых моделей. Распространённое название — «AEO» (оптимизация под поисковые ответы): это термин отрасли, а не поставщиков. Главный факт из их собственной документации: у каждого поставщика несколько разных роботов — для обучения моделей, для поиска и для запросов, инициированных пользователем, и ими можно управлять по отдельности. Как именно модель выбирает источники для ответа, поставщики не публикуют, поэтому честного «рецепта цитирования» нет. Ниже — что документировано, как этим управлять и что из популярных утверждений («ссылки из Википедии = обучающие данные», «5000 упоминаний против 200») не подтверждено.
Разные роботы для разных задач
| Поставщик | Робот | Назначение (по документации поставщика) |
|---|---|---|
| OpenAI (справка) | OAI-SearchBot | показывает сайты в результатах поиска ChatGPT; сайты, отказавшиеся от него, не показываются в ответах поиска ChatGPT, хотя могут оставаться навигационными ссылками |
GPTBot | обход для содержимого, которое может использоваться для обучения моделей; запрет означает, что содержимое не должно использоваться для обучения | |
ChatGPT-User | посещения по запросу пользователя; правила robots.txt могут не применяться; не определяет, появится ли контент в поиске | |
| Perplexity (справка) | PerplexityBot | показывает и связывает сайты в результатах Perplexity; не используется для обхода под базовые модели |
Perplexity-User | действия по запросу пользователя; поскольку запрос инициирован пользователем, обычно игнорирует robots.txt | |
| Anthropic (справка) | ClaudeBot | сбор содержимого, которое может участвовать в обучении; ограничение означает, что будущие материалы исключаются из обучающих наборов |
Claude-User | доступ к сайтам по вопросам пользователя; отключение может снизить видимость в поиске по запросу пользователя | |
Claude-SearchBot | улучшает качество результатов поиска; отключение может снизить видимость и точность в результатах | |
| Google (общие роботы Google) | Google-Extended | отдельный токен robots.txt без собственного user agent (обход ведётся обычными роботами Google); управляет использованием содержимого для обучения будущих моделей Gemini и для привязки к источникам в Gemini Apps и других системах Google; AI Overviews и AI Mode — часть Поиска (функции ИИ, AI Overviews) |
Настройки независимы: OpenAI, например, пишет, что можно разрешить OAI-SearchBot, чтобы появляться в результатах поиска, и запретить GPTBot, чтобы содержимое не использовалось для обучения. Применение изменений в robots.txt занимает около суток у OpenAI и Perplexity. Anthropic поддерживает нестандартную директиву Crawl-delay и уважает запреты в robots.txt.
Как управлять доступом
- Решите по назначению. Хотите появляться в ответах ассистентов — разрешите поисковые роботы поставщиков (
OAI-SearchBot,PerplexityBot,Claude-SearchBot). Не хотите, чтобы содержимое использовалось для обучения, — запретите обучающие (GPTBot,ClaudeBot) иGoogle-Extended. - Помните про роботов «по запросу пользователя».
ChatGPT-UserиPerplexity-Userдействуют по запросу человека; правила robots.txt к ним могут не применяться, и закрытие обычных роботов их не остановит. - Проверьте инфраструктуру. Файлы robots.txt нужно размещать на каждом поддомене; CDN, WAF и защита от ботов могут блокировать роботов независимо от robots.txt — Perplexity прямо советует добавлять свои роботы в разрешённые по user agent и публикуемым диапазонам IP (robots.txt).
- Проверьте по журналам. Посмотрите в журналах сервера обращения с названными поставщиками user agent и сверьте IP с опубликованными списками: OpenAI и Perplexity публикуют диапазоны адресов. Обходы вашим краулером проверяют доступность страниц так, как их видит робот без скриптов.
Что остаётся гипотезой
- «Модели находят контент через обучающие данные и RAG». Это упрощение: у поставщиков раздельные роботы для поиска, обучения и пользовательских запросов. Как модель выбирает источники для ответа, нигде не опубликовано.
- «Википедия и справочники попадают в обучающие данные, значит, нужно попасть туда». В документации не сказано; а упоминания в публикациях — часть обычной работы с репутацией (тактики получения ссылок), которую нельзя превращать в схему.
- «5000 упоминаний против 200 — причина отсутствия в ответе». Частная история; корреляция не доказывает причину (SEO-эксперименты).
- «Переходов почти нет, кроме Perplexity». Документации по долям нет; OpenAI пишет, что сайты показываются в результатах поиска ChatGPT, а Perplexity — что
PerplexityBotпоказывает и связывает сайты.
Что переносится из SEO для Google
Рекомендации Google для функций ИИ говорят: специальной оптимизации нет, нужны индексация, показ со сниппетом, полезное и надёжное содержимое для людей, важное содержимое в виде текста, структурированные данные, совпадающие с видимым текстом, и специальной разметки или файлов «для ИИ» не нужно (функции ИИ). На практике те же основы помогают и в других системах: ясные ответы на конкретные вопросы, проверяемые факты с источниками и датами, понятная авторская и редакционная информация (E-E-A-T, полезный контент). Но это практика: никакого поставщика, кроме Google, мы здесь не цитируем как источник правил выбора ответа.
Контент, созданный с помощью ИИ
Если вы сами используете генеративные модели, Google требует проверять точность вручную и добавлять ценность: массовое создание страниц без пользы для читателей может нарушать политику против масштабного контента (руководство по генеративному ИИ, политики против спама).
Чек-лист
- Решение о доступе принято отдельно для поисковых, обучающих и пользовательских роботов.
- robots.txt проверен на каждом поддомене; WAF и CDN не блокируют нужных роботов.
- В журналах сервера видно, какие роботы приходят; IP сверены с опубликованными диапазонами.
- Важное содержимое доступно в виде текста; факты проверяемы, даты и источники указаны.
- Нет «файлов для ИИ» и разметки «для ИИ» в расчёте на Google: она не требуется.
- Гипотезы о цитировании проверяются на своих данных, а не принимаются на веру.
Ошибки
- Закрыть поисковых роботов поставщика, думая, что закрываете только обучение.
- Полагать, что запрет в robots.txt остановит запросы по инициативе пользователя.
- Считать «AEO» набором документированных правил.
- Массово размещать упоминания ради ассистентов вместо реальной пользы.
- Забывать про блокировку роботов на уровне CDN и WAF.
Что дальше
Дальше — будущее SEO: какие изменения в поиске уже подтверждены документацией, какие остаются прогнозами и как строить профессиональные навыки, не привязываясь к одной системе.