Как попасть в индекс Brave Search (и почему его цитирует Claude)

От чего зависит «ранжирование в Brave Search»

У Brave Search собственный индекс, и Brave сообщает, что его краулер частично работает на данных о страницах, которые посещают пользователи браузера Brave, включившие Web Discovery Project (WDP) (Brave Search Crawler). WDP по умолчанию выключен, а полученные данные, по заявлению Brave, нельзя связать с пользователем (анонс Brave). Значит, страница попадает в индекс через собственный краулер и сигналы пользователей, а не через консоль, где регистрируют сайт.

Зачем это нужно: веб-поиск Claude, по многим сообщениям, использует результаты Brave, а независимое исследование около 35 000 цитат Claude нашло, что 79,2% цитируемых URL входят в топ-10 Brave по соответствующему запросу против 34% для топ-10 Google (анализ MERJ). Это измерение третьей стороны, а не заявление Anthropic, поэтому читайте его как корреляцию, а не как гарантию, что позиция в Brave даёт цитирование.

Что на самом деле делает форма «Submit URL»

Справка Brave предлагает ссылку для отправки страницы на повторную загрузку — для случая, когда вы изменили директиву noindex, — и отдельную ссылку для URL, которые были исключены. Способа отправить новый сайт на обнаружение она не описывает. Используйте форму после исправления, а не как приём роста.

Два способа, как страницу находят

Независимый анализ исходного кода открытого клиента WDP описывает два канала. Серверы Brave закрыты, поэтому серверная часть — это вывод, а числа ниже — находки исследования, а не опубликованные обещания Brave.

Практический вывод: страница, уже занимающая позиции в другой поисковой системе, попадает легче, чем новая страница без посетителей. Если позиций нет, сначала сделайте обычную работу: доступные для сканирования страницы, внутренние ссылки и реальное продвижение.

Что видит проверочная загрузка

Перед отправкой страницы клиент WDP анонимно загружает её повторно, чтобы убедиться, что она одинакова для всех. Анализ нашёл в коде клиента такие правила.

1. Без JavaScript. Загрузка читает сырой HTML, поэтому контент, который появляется только после клиентского рендеринга, там отсутствует.
2. Без редиректов. Любой редирект делает страницу приватной, и о ней не сообщается.
3. 10 секунд и 2 МБ. Загрузка прерывается через 10 секунд, а размер проверяется по заголовку content-length с лимитом 2 МБ.
4. Только сигналы в HTML. noindex учитывается в HTML-блоке <head>; поддержки X-Robots-Tag в коде не найдено. Canonical берётся из элемента <link rel="canonical">, а не из заголовка Link:.
5. Параметры запроса. Без canonical второй параметр или строка запроса длиннее 22 символов делает страницу приватной.
6. Слова в пути. Пути со словами вроде login, token, checkout, account, admin или wp-admin отклоняются.

Эти правила описывают один компонент — проверочную загрузку WDP. Они не описывают всё, что делает собственный краулер Brave, и могут измениться.

Не блокируйте краулер случайно

Brave пишет, что его краулер не использует отдельный user agent, чтобы не дискриминировать сайты, разрешающие только Google, и что страница, недоступная для Googlebot, не будет сканироваться и Brave. Поэтому общий запрет неизвестных ботов в robots.txt или правило файрвола и CDN может исключить его незаметно. Также robots.txt не используется, чтобы убрать страницу из индекса; для этого Brave, как и Google, указывает на noindex (блокировка индексирования через noindex, введение в robots.txt).

Аудит за 20 минут

1. Прочитайте robots.txt. Найдите общий Disallow или правила, разрешающие только названных ботов; затем проверьте правила ботов в файрволе и CDN.
2. Смотрите исходник, а не отрисованную страницу. Убедитесь, что основной текст есть в сыром HTML.
3. Проверьте один URL. Он должен отдавать 200 без редиректа, заметно быстрее 10 секунд и меньше 2 МБ.
4. Проверьте head. noindex или canonical, отправленные только HTTP-заголовком, проверочная загрузка не видит; дублируйте их в HTML.
5. Очистите canonical. Используйте canonical без лишних параметров и без рискованных слов в пути (объединение дубликатов URL).
6. Найдите существующие позиции. У страниц, уже появляющихся в Google, Bing или DuckDuckGo, более лёгкий канал.

Стоит ли самому пользоваться браузером Brave

Если вы включите WDP, ваши визиты на свои публичные страницы могут стать одним из сообщений в канале страниц, а поиск запроса, по которому страница уже есть в другой системе, может запустить канал запросов. Это дёшево, но это один сигнал из примерно 20, а не план. Чтобы включить: откройте «Настройки», выберите «Поисковая система» и включите Web Discovery Project (справка Brave).

Что это руководство не обещает

• Обнаружение не гарантировано. Brave не публикует способ отправки, гарантирующий индексирование.
• Цитирование не гарантировано. Исследование измерило совпадение цитат Claude с результатами Brave; оно не показало, что позиция в Brave вызывает цитирование.
• Серверное поведение выведено. Анализ проверил клиентский код, серверная часть — вывод.
• Правила меняются. Лимиты и пороги могут измениться; перепроверяйте, прежде чем на них опираться.

Индексация в Brave Search: частые вопросы

Можно ли отправить сайт в Brave Search?

Справка Brave предлагает только форму, чтобы запросить повторную загрузку страницы, например после изменения noindex. Способа отправить новый сайт она не описывает.

Использует ли Claude Brave Search?

Об этом много сообщают, а исследование третьей стороны нашло большое совпадение цитируемых Claude URL и верхних результатов Brave. Заявления Anthropic мы проверить не смогли, поэтому пишем «по сообщениям».

Есть ли у Brave аналог Search Console?

Инструмента, работающего как Search Console, мы не нашли. Вместо этого смотрите собственные серверные логи и позиции.

Закрывает ли robots.txt страницу от Brave?

Нет. Brave пишет, что robots.txt не используется для предотвращения индексирования; он указывает на noindex.

Что читать дальше

Проблемы со сканированием, скрывающие страницу от Brave, обычно затрагивают и другие системы. Вернитесь к техническому аудиту индексации или откройте весь учебный маршрут.