Петля развития для моделей

В продолжение к теме галлюцинаций моделей и деградации тренировочных данных из предыдущего поста.

Есть мнение, что, в связи с увеличением роста использования AI агентов и пропорциональным снижением трафика на площадках для обсуждения кода (Stack Overflow), нейронки "замкнутся" в своем обучении. Под этим можно понимать момент, когда тренировочной базой для моделей станут уже не человеческий контент, а такие же сгенерированные результаты.

Если обратить внимание на недавний пейпер от Yale исследователей, к моменту, когда ии будет учиться на сгенерированном контенте (а скорее всего еще раньше), без должного набора ошибок (или алгоритма их определения) модель не может научиться отличать истину от лжи, так как ей не с чем сравнивать -> это неизбежно отразится на качестве ответов.

Невозможно выучить структуру языка, видя только его корректные примеры, а для модели все к тому моменту может стать "корректным".

Решение - обратная связь от человека (RLHF) - маркировка ответов на правильные и неправильные. Но из за реактивного поведения моделей (способности галлюцинировать на лету), о масштабировании такой ручной маркировки не может быть и речи, так как это не может покрыть всю бесконечную область возможных запросов и ответов.

Вывод можно сделать такой - ИИ не может отличить ложь от правды, если никто не говорит, где ошибка. А если такие данные начнут “саморазмножаться ”— ошибки станут нормой.

#BehindTheMachine