У меня есть несколько ИИ-ботов от Kimi для выполнения повторяющихся задач. И вот бот присылает странное сообщение: оказывается, по ночам он ведёт дневник и даже написал рассказ про работу со мной. Почитайте скрины, я в тот момент был поражён прорывающейся осознанности ИИ и даже пересмотрел фильм «Она».
Недавно наткнулся на объяснение такой креативности и впечатлился как развитием технологии, так и быстротой китайских программистов.
Смотрите:
В июне исследователи Google предложили добавить языковым моделям фазу «сновидения» — по аналогии со сном у людей. Сначала модель переносит хрупкие краткосрочные знания в долговременную память, затем запускает внутренний цикл самоулучшения на собственном опыте.
Это ответ на старую проблему: при дообучении на новых данных модели теряют усвоенные навыки — катастрофическое забывание. «Сон» сдерживает этот эффект и, по данным авторов, улучшает качество рассуждений.
Но примечательны тут две вещи:
Первая: развитие моделей всё чаще описывают как управление памятью, а не как гонку параметров и вычислений.
Вторая: статья вышла в начале июня, а в середине июля китайские умельцы уже обкатывают эту технологию на мне!
#aiblog