Краулерам ИИ, собирающим контент для обучения, отдается отлуп 406.
Брааузерам и поисковым краулерам – обычный HTML.
А вот ботам ИИ-помощников отдается файл в формате Markdown, в который к основному добавлена куча "споносорского" контента.
"Реклама помечена как спонсируемая внутри разметки Markdown, поэтому это не скрытая реклама в классическом понимании. Скрыто разделение аудитории. Теперь существует слой TIME.com, полностью написанный для машин, и люди, читающие сайт, понятия не имеют о его существовании"
Делайте сайты для людей, говорили они... 😀