Стэнфордские* исследователи доказали: чем больше документов, тем меньше они различимы. Работа нейросети — разбиение докуметов на классы. Чем больше данных и они ближе по содержанию друг к другу, тем сложнее получить адекватный результат. Этот эффект называется «семантический коллапс».

Когда вы добавляете документы, то система превращает их в векторы. Пока документов мало — всё работает. Но после примерно 10 000 документов кластеры перекрываются, расстояния сжимаются, и все документы кажутся одинаково подходящими.

Результат: ИИ перестаёт находить нужные ответы. Тот самый точный документ для него неотличим от десятков случайных. Исследование показало: при 50 000 документов точность падает на 87%. Семантический поиск становится хуже обычного поиска по ключевым словам. Растет количество галлюцинаций ИИ. @banksta

* - Стэнфордский институт внесен в перечень иностранных организаций, деятельность которых признана нежелательной на территории России.