Завдання: robots.txt і meta robots: докладний розбір

Щоб noindex спрацював, сторінка не має бути закрита в robots.txt Google підтримує директиву Crawl-delay і дотримується вказаної паузи За конфлікту правил у robots.txt діє найспецифічніше за довжиною шляху, а за рівності — найменш суворе Відповідь 5xx на robots.txt Google завжди сприймає як відсутність обмежень Для PDF та інших файлів без head правила індексування можна задати заголовком X-Robots-Tag