Нарешти зрозумів, навіщо потрібен llms.txt. Після розробки агентів, та нещодавніх коментарів Мюллера.

LLM-кі самі по собі тупі, це просто генератори слів. Але якщо їм дати контекст, дані та інструменти, то можуть виконувати різні корисні дії за людину. Чим більше контексту, тим краще AI-шки виконують задачи.

Одна з таких задач може бути отримання додаткового контексту по темі. Наприклад, якщо йде запит про певну огранізацію, знайти спочатку сторінку "О нас". Або якщо потрібно написати екстратор зображень з гугла через DataForSEO, то знайди спочатку відповідну документацію. Якщо агенту знадобиться щось купувати - знайти де на сайті знаходиться цей товар, або за яким урлом форма зворотнього зв'язку. І так далі, різні задачі, коли потрібно знайти певну сторінку на сайті, за яким урлом знаходиться.

Тут у агентів є декілька варіантів.

1. Шукати в гуглі оператором site:
Дорого, нелегально, довго. Також сторінка може бути не проіндексованою (що полюбляють оптимізатори, вважаючи, що деякі сторінки пошуковику не обов'язково закидувати в індекс).

2. Перебирати урли евристичним методом
По типу, для сторінки "про нас" шукати "/about/", "/about-us/". А насправді вона буде знаходитись на "/pro-nas.html".

3. Використовувати внутрішній пошук на сайті
Це потрібен певний скіл. У всіх сайтів пошук працює по-різному. Іноді це взагалі JS-функціонал. Робити подібний пошук за юзера буде дуже дорого.

4. Просканувати весь сайт, та тримати в кеші/індексі
Гарна ідея. Але якщо документація потрібна вже зараз для написання коду, а індекса немає, то проблему не вирішує.

Ну ви вже зрозуміли до чого я? Так, до llms.txt. Цей файл вирішує таку вузьку проблему - знайти певну сторінку на сайті (звернутись до бази знань, яку допоміг сформувати вебмайстер). Агенти можуть звернутись до файлу, отримати контекст, закешувати на якийсь час, при потребі перезвернутись. Такий шлях пришвидчує роботу агентів в сотні разів.

А ось на SEO чи GEO впливати ніяк не буде. Та гугл-ботом дійсно не використовується. Виконує зовсім іншу задачу. Використовувати чи ні? Як сказав Мюллер — приоритезуйте потреби, а не свої мрії.