Дубльований контент

Дубльований контент — це однаковий або дуже схожий контент за кількома URL. Всупереч поширеній думці, сам по собі він не карається: Google групує такі сторінки й обирає одну як основну. Проблеми інші: непередбачуваний вибір, розмита статистика й зайві обходи. У цьому уроці — звідки беруться дублі, як Google обирає основний URL, якими способами ви впливаєте на вибір і чому закриття дублів у robots.txt у документації прямо не рекомендоване.

Спираємося на сторінки Google про канонізацію та обʼєднання дубльованих URL.

Звідки беруться дублі

Google називає пʼять причин, і кожній відповідає свій рецепт:

Частина цих випадків — питання структури URL (параметри, регістр, слеш), частина — обходимості. Для варіантів HTTP і HTTPS працює перенаправлення, про нього нижче.

Як Google обирає основний URL

Принцип описано на сторінці про канонізацію: Google групує схожі сторінки, обирає ту, яка за зібраними сигналами обʼєктивно найповніша й найкорисніша для користувачів, і позначає її канонічною. Канонічна сторінка обходиться частіше, дублікати — рідше. Серед чинників, що впливають на вибір, — протокол (HTTP чи HTTPS), перенаправлення, наявність у мапі сайту та rel="canonical". Вибір Google може відрізнятися від вашої переваги.

Для HTTPS є застереження: Google віддає йому перевагу над HTTP як канонічною версією, окрім випадків проблем чи суперечливих сигналів, наприклад недійсного сертифіката або небезпечних залежностей.

Чим ви можете вплинути: сила сигналів

Сторінка про обʼєднання дублів ранжує способи за силою впливу на вибір:

• перенаправлення — сильний сигнал, що ціль має стати канонічною;
• rel="canonical" — сильний сигнал, що вказаний URL має стати канонічним;
• включення до мапи сайту — слабкий сигнал.

Способи додаються один до одного, а жоден із них не обовʼязковий: сайт, найімовірніше, працюватиме нормально й без явних вказівок. Навіщо тоді їх указувати? У документації чотири причини: обрати URL для видачі, обʼєднати сигнали, спростити відстеження метрик і не витрачати час обходу на дублікати.

Для перенаправлень документація окремо розрізняє постійні й тимчасові: за постійного перенаправлення ціль вважається сигналом канонічної, за тимчасового — ні, і у видачі лишається вихідна сторінка. Використовуйте постійні, коли впевнені, що перенаправлення не скасують. Побачити, куди веде ланцюжок, можна в перевірці редиректів, а подробиці — в уроці про редиректи.

Рекомендації з документації

• Не використовуйте robots.txt для канонізації: Google усе одно може проіндексувати закриті в robots.txt URL, але без вмісту. Це прямо суперечить поширеній пораді «закрити дубль у robots.txt»;
• не використовуйте для канонізації інструмент видалення URL: він приховує всі версії URL із пошуку;
• не вказуйте для однієї сторінки різні канонічні URL різними способами, наприклад один у мапі сайту й інший у rel="canonical";
• не вказуйте фрагмент URL як канонічний;
• розміщуйте rel="canonical" і на самій канонічній сторінці (самопосилальний canonical);
• вказуйте абсолютні, а не відносні шляхи: відносні підтримуються, але можуть спричинити проблеми;
• не використовуйте noindex, щоб запобігти вибору канонічної сторінки в межах сайту: він повністю блокує сторінку в пошуку, а бажане рішення — rel="canonical";
• внутрішні посилання ставте на канонічний URL, а не на дубль.

Якщо сторінки рендеряться на JavaScript, краще вказати канонічний URL у HTML-коді й не змінювати його скриптом; якщо в HTML задати не можна, краще не вказувати там узагалі й задавати лише скриптом. Атрибути rel="canonical" з hreflang, lang, media і type для канонізації не враховуються: альтернативні версії вказуються іншими анотаціями. Докладніше про тег — в уроці про canonical, про обмеження robots.txt — в уроці про robots.txt і canonical.

Що видно в Search Console

У звіті про індексування сторінок дублям присвячено два статуси. «Дублікат без канонічної сторінки, вибраної користувачем» — сторінка дублює іншу, не вказуючи бажану; Google обрав іншу як канонічну й не показує цю. У звіті сказано, що це не помилка, а робота за задумом, бо Google не показує дублікати. «Дублікат: Google обрав канонічною не ту сторінку, що вказав користувач» — ваш вибір і вибір Google розійшлися; порівняти їх можна через перевірку URL. Масово знаходити такі сторінки допомагає аудит URL за даними Search Console, а обхід самого сайту — краулер.

Це не канібалізація

Канібалізація запитів — інше явище: різні сторінки з різним вмістом конкурують за один запит. Це не термін Google, і лікується воно не канонічними тегами, а розділенням намірів. Наш інструмент канібалізації перевіряє такі перетини за даними Search Console. А сторінки, що просто мало відрізняються за текстом, — питання унікальності контенту.

Як перевірити сайт

1. Перевірте варіанти протоколу та www: вони мають перенаправлятися на одну версію. Ланцюжки — через перевірку редиректів.
2. Знайдіть URL із параметрами, сортуванням і фільтрами в обході сайту.
3. Для кожної групи оберіть спосіб: перенаправлення, якщо дубль не потрібен, rel="canonical", якщо потрібен.
4. Переконайтеся, що на канонічній сторінці є самопосилальний canonical і посилання ведуть на неї.
5. Перегляньте дублі у звіті про індексування й порівняйте вибір Google з вашим.
6. Перевірте HTML-код через аналіз сторінки: canonical не має змінюватися скриптом.

Чек-лист

1. Для кожної групи дублів обрано канонічну сторінку.
2. Дублі, що не потрібні, перенаправлено постійним редиректом.
3. Решта вказує на канонічну через rel="canonical" з абсолютним URL.
4. Канонічні сторінки посилаються на себе.
5. У мапі сайту лише канонічні URL, без суперечностей із rel="canonical".
6. robots.txt і noindex не використовуються для канонізації.

Помилки

• Вважати дублі «штрафом» і витрачати сили на те, що Google вирішує сам.
• Закривати дублі в robots.txt.
• Ставити noindex на дубль замість canonical.
• Вказувати різні канонічні URL різними способами.
• Плутати дублі сторінок із канібалізацією запитів.

Що далі

Далі за курсом — група уроків про керування обходом: редиректи, robots.txt і canonical та canonical-теги.