⚙️
БЕЗКОШТОВНО
+50 XP
Як пошуковики знаходять сторінки
🤖
Googlebot
«Я не здогадуюся про сторінки сам. Я переходжу за посиланнями, читаю sitemap і повертаюся до URL, які вже знаю. Якщо сторінка схована, я можу її не знайти.»
Crawlability — це здатність сторінок бути знайденими й просканованими пошуковим роботом.
Як Google знаходить URL
- через внутрішні посилання з уже відомих сторінок;
- через зовнішні посилання з інших сайтів;
- через XML-sitemap;
- через повторний обхід URL, які вже були в індексі.
Що заважає краулінгу
| Проблема | Наслідок | Де перевірити |
|---|---|---|
| Немає внутрішніх посилань | Сторінка стає сиротою. | Краулер сайту, внутрішня перелінковка. |
| Disallow у robots.txt | Бот не може сканувати URL. | /robots.txt, GSC URL Inspection. |
| noindex | Сторінку можуть не додати в індекс. | HTML, HTTP headers, GSC. |
| Помилки 404/5xx | Google отримує сигнал, що сторінка недоступна. | Server logs, GSC, crawler. |
Починай технічний аудит з простого питання: чи може Googlebot знайти й завантажити важливі сторінки без перешкод?
Завдання до уроку
Перевірте розуміння та отримайте +20 XP