Як працюють LLM і що вони читають на сайті
Мовні моделі працюють із сайтом не так, як людина: вони не читають сторінку поспіль, а ріжуть текст на шматки, шукають серед них придатні за змістом і збирають відповідь зі знайденого. Розуміння цього механізму пояснює, чому короткий самодостатній розділ цитують частіше, ніж довгу статтю, — і чому «щільність ключових слів» тут не дає нічого.
Механіка моделей — не зона відповідальності Google, і документації на неї немає. Зате є документація на те, що з неї випливає для сайту: AI-функції в пошуку і як працює пошук. На них і спиратимемося, коли йтиметься про висновки.
У попередньому уроці ми розібрали, де з'являються AI-відповіді і що для потрапляння в них вимагає Google. Тепер — як саме влаштована машина, яка цю відповідь збирає. Це знання потрібне не заради термінів: воно дозволяє відрізнити осмислену пораду щодо структури тексту від продажу «секретної розмітки».
Модель не «розуміє» — вона передбачає наступний токен
Це найважливіше речення уроку. Велика мовна модель — не розум і не «штучний інтелект» у фантастичному сенсі. Це нейромережа, навчена на величезному корпусі тексту, яка робить одну річ: передбачає наступний токен — слово або його частину. Коли ви вводите «погода в Києві сьогодні», модель не знає погоди. Вона добирає найімовірніше продовження такої фрази.
Розмірів сучасних моделей їхні розробники не публікують, тому числа на кшталт «стільки-то трильйонів параметрів», які ходять статтями, перевірити неможливо. Для роботи це й не потрібно: практичне значення мають три властивості, а не розмір.
| Властивість моделі | Що з неї випливає для сайту |
|---|---|
| Навчання закінчилося на конкретній даті | Свіжа інформація — ціни, новини, оновлення — надходить не з навчання, а з пошуку вебом у момент запиту. Це і є точка входу для вашої сторінки |
| Модель може впевнено вигадати | Частку таких помилок ніхто не виміряв так, щоб результат можна було відтворити. Але саме через них відповіді почали посилатися на джерела: посилання працює як опора |
| Модель відтворює часте | Що частіше про вас пишуть у контексті теми, то вищий шанс опинитися у відповіді. Згадки працюють навіть без посилання |
Дата навчання: чому модель не знає вчорашніх новин
У кожної моделі є точка, після якої вона не знає нічого: дата завершення збору навчальних даних. Запитайте про подію, що сталася пізніше, — і без доступу до вебу модель або зізнається, або вигадає.
Конкретні дати по моделях тут навмисно не перелічені: вони змінюються з кожним релізом, і будь-який такий список застаріває швидше, ніж урок. Перевіряти треба в першоджерелі — у документації розробника моделі, а ще простіше запитати саму модель і звірити відповідь з її карткою.
Практичний висновок один і він не змінюється: щоб модель послалася на вас у відповіді на свіжий запит, вашу сторінку треба знайти в момент запиту. Навчити чужу модель на своєму контенті окремий бізнес не може. Потрапити до результатів пошуку, за якими модель збирає відповідь, — може.
Звідси ж відповідь на часте питання «чи закривати сайт від AI-ботів». Список агентів Google і те, що кожен із них робить, зібрані в документації про краулери. Закриваючи їх, ви закриваєте і потрапляння у відповіді — рішення осмислене лише тоді, коли ви цього справді хочете.
Retrieval: як AI-пошук знаходить вашу сторінку
Усі сучасні AI-відповіді будуються за однією схемою: спершу пошук, потім генерація. Модель не тримає ваш сайт у пам'яті — вона отримує знайдені фрагменти як контекст і пише відповідь за ними. Звідси чотири кроки:
На кроці Retrieve система знаходить релевантні сторінки в індексі. На кроці Chunk з кожної сторінки обирається не вся сторінка, а фрагмент, який точніше відповідає на питання. На кроці Generate модель отримує ці фрагменти і збирає з них відповідь. Посилання під відповіддю — це адреси сторінок, звідки фрагменти взяті.
Схожим чином влаштований і звичайний пошук: Google описує, що відповідь може спиратися на окремий фрагмент сторінки, а для AI-функцій — що запит розгалужується на кілька пов'язаних пошуків за підтемами. Подробиці — у розділі про AI-функції.
Токени та ембединги: як машина порівнює зміст
Два поняття, які пояснюють, чому «щільність ключових слів» перестала працювати, а повнота розкриття теми — працює.
| Поняття | Що це | Що змінює в тексті |
|---|---|---|
| Токен | Мінімальна одиниця тексту для моделі: слово цілком або його частина. Довгі й рідкісні слова розбиваються на кілька токенів | Контекстне вікно вимірюється в токенах — це скільки модель може прочитати за раз. Вода в тексті витрачає його даремно |
| Ембединг | Фрагмент тексту перетворюється на набір чисел — координати у просторі змісту. «Купити кросівки» і «придбати бігове взуття» отримують близькі координати, хоча слова різні | Повторювати точне формулювання не потрібно: близькість рахується за змістом, а не за збігом рядків |
| Близькість векторів | Міра того, наскільки два набори координат дивляться в один бік. За нею система обирає, який фрагмент ближчий до запиту | Щільний конкретний абзац дає виразні координати; розмитий — розмиті, і програє сусідові |
Практичний сенс подвійний. Хороша новина: не треба повторювати «купити кросівки» сім разів — синоніми й контекст враховуються. Погана: текст із загальних фраз програє конкретному, навіть якщо формально містить потрібні слова. Подивитися на свій текст з цього боку допомагають аналіз щільності і оцінка якості тексту.
Фрагменти: як довжина розділу впливає на цитування
Системи пошуку ріжуть текст на фрагменти. Розмір — завжди компроміс: короткий фрагмент точно влучає у вузьке питання, але втрачає контекст; довгий зберігає контекст, але містить зайве й гірше збігається з конкретним запитом. Точних розмірів ні Google, ні розробники асистентів не публікують, і покладатися на «правильне число токенів» немає сенсу.
Що можна сказати впевнено: розділ, який читається самостійно, цитувати легше, ніж шматок, вирваний із середини суцільного тексту. Звідси практичне правило — не числове, а змістове: кожен розділ має відповідати на одне питання цілком, не вимагаючи читання сусідніх.
| Що ви пишете | Як це читається машиною |
|---|---|
| Короткий розділ під своїм підзаголовком, одне питання — одна відповідь | Готовий самодостатній фрагмент |
| Довгий розділ, де відповідь збирається з чотирьох абзаців поспіль | Будь-який окремий шматок неповний, і брати його ризиковано |
| Абзац, що починається словами «як ми казали вище» | Поза сторінкою не читається взагалі |
Останній рядок — найчастіша помилка. Посилання всередині тексту на «вище» і «нижче» прив'язують абзац до сторінки і роблять його непридатним для цитування.
Як виглядає сторінка, яку зручно цитувати
| Параметр | Звичайна сторінка | Сторінка, яку зручно взяти у відповідь |
|---|---|---|
| Вступ | «У цій статті ми розповімо… компанію засновано у 2010…» | Пряма відповідь на питання в перших двох-трьох реченнях |
| Заголовки | «Вступ», «Опис», «Висновок» | Формулювання питань: «Скільки коштує X», «Як налаштувати Y» |
| Довжина розділу | Півтори тисячі слів під одним підзаголовком | Розділ, який читається окремо і закриває одне підпитання |
| Твердження | «Це дуже важливий фактор» — без опори | «Google показує FAQ-результати лише для державних і медичних сайтів» — з посиланням на оголошення і датою |
| Речення | Довгі, з трьома підрядними й застереженнями | Короткі: «X — це Y, тому що Z» |
| Автор | Анонім або «команда експертів» | Ім'я, чим людина займається, посилання на її сторінку |
Про останній рядок: ім'я автора й дату оновлення можна продублювати в розмітці — поля описані в схемі для статті. Це не «розмітка для AI», якої не існує, а звичайні структуровані дані; термін розібрано в глосарії: структуровані дані.
Шість правил для тексту, який зручно цитувати
- Один розділ — одне питання. Прочитавши лише цей розділ, людина має зрозуміти його тему без звернення до решти сторінки. Якщо розділ розрісся і відповідає вже на три питання — розділіть його підзаголовками.
- Короткі речення замість підрядних. «SEO — це робота над тим, щоб сторінку знаходили в пошуку» читається краще, ніж те саме на три рядки із застереженнями. Довге речення розмазує зміст і програє при порівнянні із запитом.
- Заголовки — формулювання питань. Не «Переваги X», а «Навіщо потрібен X». Не «Технічні характеристики», а «Скільки важить X». Які формулювання використовує ваша аудиторія, видно в аналізаторі AI-відповідей.
- Числа з посиланням і датою — і жодних інших. Вигадана статистика з неіснуючим джерелом працює проти вас у той момент, коли читач вирішить перевірити.
- FAQ пишіть для людей, а не заради розмітки. Блок питань наприкінці корисний: він природно розбиває тему на короткі самодостатні відповіді. Але розмітка FAQPage більше не дає розширеного результату: у серпні 2023 року Google обмежив такі результати державними й медичними сайтами.
- Не прив'язуйте абзаци до сторінки. «Як ми писали вище», «див. таблицю нижче» — усе це робить фрагмент нечитабельним поза контекстом.
Практика: розберіть свою сторінку на фрагменти
Чотири кроки, усе на своєму тексті:
- Візьміть сторінку, яка приносить найбільше показів за звітом «Ефективність», і випишіть її підзаголовки списком.
- Навпроти кожного напишіть питання, на яке цей розділ відповідає. Якщо питання не формулюється або їх виходить три — розділ треба ділити або переписувати.
- Прочитайте кожен розділ окремо, ніби сусідніх немає. Позначте місця, де текст спирається на «вище», «нижче» і «як уже казали», — це і є прив'язка до сторінки.
- Перевірте читабельність тексту в аналізі читабельності, а повноту розкриття теми — в охопленні сутностей: він покаже підпитання, яких на сторінці немає.
Терміни — у глосарії: AI Overviews, E-E-A-T, обраний сніпет, структуровані дані.
Як зрозуміти, що сторінка стала придатною для цитування
Перевірна ознака одна і вона не про AI: візьміть будь-який розділ своєї сторінки і прочитайте його вголос людині, яка статтю не відкривала. Якщо вона зрозуміла думку цілком — фрагмент самодостатній. Якщо перепитала «а це про що?» — ні.
Друга ознака — у даних. Порівняйте покази й кліки сторінки до і після переробки за рівні періоди. Зростання показів за тих самих позицій означає, що сторінка почала потрапляти в більшу кількість формулювань, а це рівно те, чого домагається розбивка на підпитання.
Чого чекати не варто: що структура замінить зміст. Чудово нарізаний текст ні про що цитувати так само нема чого, як і суцільну «простирадло». Структура допомагає знайти думку, а не створює її.
Що далі
Наступний урок — AI у створенні контенту: де машині можна довірити роботу, а де це коштує позицій. Попередній урок, про AI-відповіді у видачі, — тут.