SEO-эксперименты: как проверять изменения на данных

SEO-эксперимент — это сравнение результатов группы страниц, где вы изменили что-то одно, с группой, где не меняли ничего. Такое сравнение снижает влияние сезонности, обновлений Google и действий конкурентов, но не доказывает причинность окончательно: поиск не детерминирован, а Google не публикует методики тестов и сроков. Поэтому ниже — что документировано (как не навредить сайту при тестировании, как Google советует проверять эффект разметки), а что — практика, которую нужно применять осторожно: размер групп, контроль, срок, расчёт эффекта.

Что говорит документация Google

Прямого руководства по SEO-экспериментам у Google нет. Есть два источника, которые стоит знать.

• Проверка эффекта «до и после». В руководстве по структурированным данным предлагается провести тест «до и после» на нескольких страницах: выбрать страницы с несколькими месяцами данных в Search Console, не сезонные и стабильные, добавить разметку, убедиться, что она валидна и найдена (проверка URL), и несколько месяцев записывать результаты в отчёте об эффективности, фильтруя по адресу.
• Как не навредить при A/B-тестировании. Справка «Минимизируйте влияние A/B-тестов на Поиск» говорит не о методике, а об осторожности. Она относится к тестам, в которых вы показываете пользователям разные варианты страницы; SEO-сплит-тест, где изменения вносятся в группу страниц, устроен иначе, но правила осторожности те же.

Правила осторожности из справки

1. Не используйте клоакинг. Нельзя показывать Googlebot одни адреса, а людям другие: это нарушение политик против спама независимо от того, делается ли это логикой сервера, файлом robots.txt или иначе (политики против спама). Googlebot, как правило, не поддерживает cookie, поэтому, если вариант выбирается по cookie, он увидит версию для браузеров без cookie.
2. Используйте rel="canonical" на альтернативных адресах с указанием на исходный: справка советует его, а не noindex, потому что он точнее выражает намерение (тег canonical).
3. Используйте 302, а не 301, для перенаправления на варианты: временное перенаправление оставляет в индексе исходный адрес (редиректы).
4. Мелкие изменения (размер, цвет, место кнопки или картинки, текст призыва) часто мало влияют на сниппет и ранжирование. Если Google обходит сайт достаточно часто, чтобы заметить эксперимент, то и итоговые изменения он, вероятно, быстро проиндексирует.

Как построить эксперимент (практика)

Как считать эффект

Простейший расчёт — сравнить изменения, а не уровни: эффект = (тест после ÷ тест до) ÷ (контроль после ÷ контроль до) − 1. Пример с выдуманными числами: в тестовой группе клики выросли с 10 000 до 11 800 (+18%), в контрольной — с 10 000 до 10 200 (+2%); относительный эффект составит 1,18 ÷ 1,02 − 1 ≈ +15,7%. Это учебный пример, а не результат реального теста. Дальше смотрите, насколько стабилен эффект: растёт ли он по большинству страниц группы или объясняется несколькими, не было ли сдвигов в контроле и вызван ли рост самим изменением, а не новым запросом или ссылкой на одну из страниц.

Что документировано о данных: позиция в отчёте — сложная метрика, и её лучше отслеживать во времени, а мелкие колебания позиции случаются в любое время и сами по себе не повод что-то менять (Search Console для аналитика). Причины просадок, которые стоит исключить: обновление алгоритма, проблема с безопасностью или спамом на всём сайте, сезонность и изменение интересов, техническая проблема, сбой отчёта (отладка падения трафика; урок о падении трафика).

Инструменты платформы

• Wins & Losses сравнивает два периода Search Console и помогает найти выросшие и упавшие страницы; в нём есть пресеты дат обновлений Google.
• Google Updates накладывает историю core-обновлений на трафик, чтобы отделить влияние алгоритма от собственных правок (основные обновления).
• Другие источники и сервисы — в уроке про продвинутые инструменты.

Что остаётся практикой, а не фактом

• «Минимум 4 недели». Google такого срока не называет; на практике это нижняя граница, потому что страницам нужно время на повторный обход и накопление данных. Для редких запросов нужно больше.
• «Единственный способ доказать причинность». Контрольная группа уменьшает влияние внешних факторов, но не исключает их: например, обновление может по-разному задеть разные типы страниц.
• Пороги значимости и размеры групп. В документации не заданы; подбирайте по разбросу данных ваших страниц.

Чек-лист

1. Гипотеза и метрика записаны до начала теста.
2. Тестовая и контрольная группы похожи; страниц достаточно.
3. Меняется одно; контроль не трогается; параллельные правки на этих страницах не вносятся.
4. Нет клоакинга; для вариантов с отдельными адресами — canonical на исходный и 302.
5. Период «до» и период «после» одинаковой длины, учтена задержка на обход.
6. Проверены сезонность и обновления Google; результат сопоставлен с контролем.
7. Решение и результат записаны: что меняли, где, когда, что увидели.

Ошибки

• Внедрять изменение по рассказу из блога без проверки на своих страницах.
• Сравнивать «до» и «после» без контрольной группы и делать вывод о причине.
• Менять несколько вещей сразу и приписывать эффект одной из них.
• Показывать роботу и людям разные версии.
• Завершать тест, не дождавшись повторного обхода и накопления данных.

Что дальше

Дальше — продвинутые инструменты: какие источники данных и сервисы помогают собирать и сравнивать данные экспериментов и на что смотреть при их выборе.