Нейросеть, которая сама обучается во время использования

Появилась экспериментальная языковая модель mini-AGI, которая может постоянно учиться прямо во время использования на компьютере. Если обычно модель сначала обучают, а уже потом отдают пользователю, то здесь подход изменился. Ей можно давать новые тексты, документы или код, и она постепенно учится на них в процессе работы.

Главная проблема такого подхода в том, что новые знания могут вытеснять старые. Поэтому mini-AGI работает на основе модели MoE, чтобы разные части модели специализировались на разных данных и поэтому менялись не так быстро. По мере обучения модель может наращивать эти блоки и подключать только тогда, когда они нужны. За счёт этого вся система рассчитана на работу с обычной видеокартой с 8 ГБ памяти.

Если такой подход удастся масштабировать, персональный ИИ сможет не просто хранить подключённые пользователем документы, а месяцами и годами доучиваться на его работе, переписке, коде и накопленных материалах. В результате у каждого человека или компании со временем сможет появляться собственная версия модели, которая постепенно меняется вместе с их задачами и данными. Правда, остаётся вопрос контроля результата и качества такого обучения.