Таки гуглоид Джон Мюллер объяснил, зачем на сайте developers.google.com используются файлы llms.txt и копии документов в формате Makrdown:

"Короткий ответ: это делается не ради поисковой оптимизации. Веб-сайты — это не только SEO :-).

Более развернутый и тонкий вариант заключается в том, что стоит различать «обнаружение» (нахождение веб-сайта или страниц с помощью глобальной поисковой системы) и «функциональность» (вероятно, есть более точный термин, но вкратце: как только кто-то нашел страницу, это помогает ему наилучшим образом выполнить нужную задачу).

Возможно, это похоже на призывы к действию (CTA) на традиционных страницах? Вы не «делаете их» для SEO (чтобы вас нашли), но если вы отвечаете за веб-сайт в целом, обеспечение высокого «уровня обнаружения» (SEO) вместе с высоким коэффициентом конверсии полезно для оправдания вашей работы.

Возвращаясь к сайту developers.google.com, следует отметить, что программирование с использованием ИИ стало очень популярным, и эти системы кодирования могут быть (на мой взгляд) эффективными и точными в создании кода, если они могут легко читать/анализировать справочные материалы, такие как документация для разработчиков.

В таких случаях может помочь им понять контекст изучаемой документации, а также упрощенная версия справочной страницы (например, в формате Markdown). Конечно, они прекрасно читают HTML, поэтому, на мой взгляд, это скорее временная помощь, возможно, для экономии токенов.

Для сайтов, не принадлежащих разработчикам, я не думаю, что это имеет большой смысл, даже с учетом увеличения трафика от агентов в будущем (а если вы посмотрите свои логи, то увидите, что сейчас его не так уж много). Создание версии характеристик обуви в формате Markdown не увеличит ваши продажи (хотя конкуренты это оценят).

И (я знаю, никто до этого не дочитает), если вы считаете, что важно подготовиться к тому времени, когда агенты будут повсюду: у вашего сайта (и у всех сайтов) есть гораздо более важные дела для SEO, чем подготовка к потенциальной будущей ситуации, которая может произойти, а может и нет. Расставляйте приоритеты: сначала потребности, потом мечты."