Авторы статьи предлагают несколько уровней памяти, различающихся скоростью обновления. Быстрые компоненты удерживают недавнюю информацию, медленные сохраняют более устойчивые обобщения. Перед очисткой быстрой памяти часть накопленного содержания переносится в следующий уровень.
Сам этот процесс авторы называют консолидацией. Он напоминает одну из функций человеческого сна: переработку полученного опыта и закрепление его в долговременной памяти.
Ранее я писал:
«Мы меняемся каждый раз после пробуждения, ведь во время сна мозг проводит аудит памяти, закрепляя важное и избавляясь от ненужного».
В статье эта общая схема превращается в инженерный цикл. Модель получает информацию во время условного бодрствования, затем перерабатывает накопленное и возвращается к работе с изменёнными параметрами.
Следующую стадию авторы называют Dreaming — «сновидением». Модель генерирует синтетические учебные примеры, соединяет уже усвоенные знания и отбирает варианты, обучение на которых улучшает результат по заданной метрике.
Эта процедура перекликается с моими прежними размышлениями о рождении идеи:
«Идея редко рождается в законченном, отточенном виде. Скорее, она почти никогда не приходит чёткой и готовой. Сначала это почти физическое ощущение — смутное предчувствие, комок напряжения в груди. Хотя, конечно, бывают и мгновенные озарения. Например, достаточно вспомнить о рычаге, чтобы понять, как решить проблему. Но эта кажущаяся простота обманчива: мы не осознаём всей скрытой “вычислительной” работы нашего сознания, которая произошла до того, как мы “подумали” о рычаге.Далее я писал:
Идея постепенно, рывками, обрастает словами, обрывками фраз, кусками внутреннего монолога. Позже между этими фразами проступают связи, намечается структура. Но до кристаллической ясности ещё далеко».
«Кристаллизация начинается, когда мы решаем вывести мысль изнутри наружу: записать в дневник, оформить в статью, высказать в диалоге. Текст — не побочный продукт мышления, а его лаборатория».
И ещё:
«Пока идея живёт только в голове, она легко обманывает нас: кажется ясной, глубокой, завершённой. Но стоит перенести её на бумагу — и проявляются пробелы, повторы, противоречия. Аморфная структура начинает упорядочиваться в неогранённый алмаз — грубый, с лишними выступами, но уже обладающий внутренней симметрией. Дальше идёт огранка: обсуждения, критика, проверка опытом. И если мысль выдерживает столкновение с реальностью и другими людьми, она становится частью нашей картины мира».
У авторов статьи сгенерированный текст тоже становится промежуточным материалом для обучения. Модель порождает возможные комбинации уже усвоенного, проверяет их полезность и использует отобранные примеры для изменения собственных параметров.
Сходство здесь структурное. Человеческая мысль проходит через выражение, обсуждение и проверку. Машинная система проходит через генерацию синтетических данных, оценку и дообучение.
Статья рассматривает техническую сторону процесса. Вопросы внутреннего переживания, осмысления идеи и изменения картины мира в предмет исследования не входят. Они ведут уже к другой моей гипотезе — о мифологическом мышлении и нарративном обобщении.
Продолжение...