Дублированный контент

Дублированный контент — это одинаковый или очень похожий контент по нескольким URL. Вопреки распространённому мнению, сам по себе он не наказывается: Google группирует такие страницы и выбирает одну как основную. Проблемы другие: непредсказуемый выбор, размытая статистика и лишние обходы. В этом уроке — откуда берутся дубли, как Google выбирает основной URL, какими способами вы влияете на выбор и почему закрытие дублей в robots.txt в документации прямо не рекомендовано.

Опираемся на страницы Google о канонизации и объединении дублирующихся URL.

Откуда берутся дубли

Google называет пять причин, и каждой соответствует свой рецепт:

Часть этих случаев — вопросы структуры URL (параметры, регистр, слэш), часть — обходимости. Для вариантов HTTP и HTTPS работает перенаправление, о нём ниже.

Как Google выбирает основной URL

Принцип описан на странице о канонизации: Google группирует похожие страницы, выбирает ту, которая по собранным сигналам объективно наиболее полная и полезная для пользователей, и помечает её канонической. Каноническая страница обходится чаще, дубликаты — реже. Среди факторов, влияющих на выбор, — протокол (HTTP или HTTPS), перенаправления, наличие в карте сайта и rel="canonical". Выбор Google может отличаться от вашего предпочтения.

Для HTTPS есть оговорка: Google предпочитает его HTTP как каноническую версию, кроме случаев проблем или конфликтующих сигналов, например недействительного сертификата или небезопасных зависимостей.

Чем вы можете повлиять: сила сигналов

Страница об объединении дублей ранжирует способы по силе влияния на выбор:

• перенаправления — сильный сигнал того, что цель должна стать канонической;
• rel="canonical" — сильный сигнал, что указанный URL должен стать каноническим;
• включение в карту сайта — слабый сигнал.

Способы суммируются, а ни один из них не обязателен: сайт, скорее всего, будет работать нормально и без явных указаний. Зачем тогда указывать? В документации четыре причины: выбрать URL для выдачи, объединить сигналы, упростить отслеживание метрик и не тратить время обхода на дубликаты.

Для перенаправлений документация отдельно различает постоянные и временные: при постоянном перенаправлении цель считается сигналом канонической, при временном — нет, и в выдаче остаётся исходная страница. Используйте постоянные, когда уверены, что перенаправление не откатят. Посмотреть, куда ведёт цепочка, можно в проверке редиректов, а подробности — в уроке про редиректы.

Рекомендации из документации

• Не используйте robots.txt для канонизации: Google всё равно может проиндексировать закрытые в robots.txt URL, но без содержимого. Это прямо противоречит распространённому совету «закрыть дубль в robots.txt»;
• не используйте для канонизации инструмент удаления URL: он скрывает все версии URL из поиска;
• не указывайте для одной страницы разные канонические URL разными способами, например один в карте сайта и другой в rel="canonical";
• не указывайте фрагмент URL как канонический;
• размещайте rel="canonical" и на самой канонической странице (самоссылающийся canonical);
• указывайте абсолютные, а не относительные пути: относительные поддерживаются, но могут вызвать проблемы;
• не используйте noindex, чтобы предотвратить выбор канонической страницы в пределах сайта: он полностью блокирует страницу в поиске, а предпочтительное решение — rel="canonical";
• внутренние ссылки ставьте на канонический URL, а не на дубль.

Если страницы рендерятся на JavaScript, лучше указать канонический URL в HTML-коде и не менять его скриптом; если в HTML задать нельзя, лучше не указывать там вообще и задавать только скриптом. Атрибуты rel="canonical" с hreflang, lang, media и type для канонизации не учитываются: альтернативные версии указываются другими аннотациями. Подробнее о теге — в уроке про canonical, об ограничениях robots.txt — в уроке про robots.txt и canonical.

Что видно в Search Console

В отчёте об индексировании страниц дублям посвящены два статуса. «Дубликат без выбранного пользователем канонического URL» — страница дублирует другую, не указывая предпочтительную; Google выбрал другую как каноническую и не показывает эту. В отчёте сказано, что это не ошибка, а работа по замыслу, потому что Google не показывает дубликаты. «Дубликат: Google выбрал канонической не ту страницу, что указал пользователь» — ваш выбор и выбор Google разошлись; сравнить их можно через проверку URL. Массово находить такие страницы помогает аудит URL по данным Search Console, а обход самого сайта — краулер.

Это не каннибализация

Каннибализация запросов — другое явление: разные страницы с разным содержимым конкурируют за один запрос. Это не термин Google, и лечится оно не каноническими тегами, а разделением намерений. Наш инструмент каннибализации проверяет такие пересечения по данным Search Console. А страницы, которые просто мало отличаются по тексту, — вопрос уникальности контента.

Как проверить сайт

1. Проверьте варианты протокола и www: они должны перенаправляться на одну версию. Цепочки — через проверку редиректов.
2. Найдите URL с параметрами, сортировкой и фильтрами в обходе сайта.
3. Для каждой группы выберите способ: перенаправление, если дубль не нужен, rel="canonical", если нужен.
4. Убедитесь, что на канонической странице есть самоссылающийся canonical и ссылки ведут на неё.
5. Просмотрите дубли в отчёте об индексировании и сравните выбор Google с вашим.
6. Проверьте HTML-код через анализ страницы: canonical не должен меняться скриптом.

Чек-лист

1. Для каждой группы дублей выбрана каноническая страница.
2. Дубли, которые не нужны, перенаправлены постоянным редиректом.
3. Остальные указывают на каноническую через rel="canonical" с абсолютным URL.
4. Канонические страницы ссылаются на себя.
5. В карте сайта только канонические URL, без противоречий с rel="canonical".
6. robots.txt и noindex не используются для канонизации.

Ошибки

• Считать дубли «штрафом» и тратить силы на то, что Google решает сам.
• Закрывать дубли в robots.txt.
• Ставить noindex на дубль вместо canonical.
• Указывать разные канонические URL разными способами.
• Путать дубли страниц с каннибализацией запросов.

Что дальше

Дальше по курсу — группа уроков об управлении обходом: редиректы, robots.txt и canonical и canonical-теги.