robots.txt: почему нейросети всё равно читают ваш сайт

Когда запрет — не повод расслабиться Вы настроили robots.txt , закрыли от индексации всё лишнее, кажется — можно выдохнуть. Но потом замечаете: нейросети всё равно цитируют фрагменты ваших страниц. Как такое возможно? robots.txt — это файл на корне сайта, где вы указываете, что можно и нельзя сканировать разным ботам.

https://divitio.ru/blog/robots-txt-pochemu-neyroseti-vse-ravno-chitayut-vash-sayt