Развитие Deep Learning и LLM дает нам продуктивные метафоры для разговора о нашем собственном обучении, мышлении и развитии.

Например, мне кажется небесполезной такая параллель: когда мы в юности читаем запоем книжки — это своего рода претрейн. Чисто насмотреться на много осмысленного текста и натренировать у себя в голове базовую модель языка/мышления. Это помогает потом самому убедительно складывать тексты, писать всякие сочинения-эссе-рефераты, неплохо говорить, иметь широкий кругозор. То же касается общения с людьми. Его опыт помогает обучиться коммуникации, говорить, доносить свою точку зрения.

А вот когда мы решаем задачки по математике, выполняем какой-то исследовательский проект или, скажем, организовываем с другими людьми мероприятие — это уже не претрейн, это, скорее, instruction tuning (пополам с RLHF). Более когнитивно напряжное действие с явной целью и более явным фидбеком. Тут мы обучаемся строить планы и приходить к цели.

В обучении ЛЛМ instruction tuning по объему данных сильно меньше претрейна, но именно он впервые сделал модель высокофункциональной сущностью, а не просто «стохастическим попугаем». ЛЛМ научились решать задачи.

Я вот был книжным мальчиком в юности. И недавно я осознал, что надолго застрял в претрейне в свои formation years (лет до 22), не потратив нужного объема усилий на более трудные задачки instruction tuning-а. И это меня сильно ограничивает в жизни.

Вы спросите, что я делал в школе и где были учителя математики, физики и прочих хардовых предметов? Я отвечу: в школе я ходил на олимпиады по английскому, русскому и литературе. Все три отлично поддавались взлому большим объемом претрейна — если запойно читать книжки на обозначенных языках, все нужные для зарешивания языковых/околоязыковых олимпиад штуки возникали в голове сами собой. По крайней мере тогда было так, сейчас наверно олимпиады уже ускакали. Конечно, если бы там была олимпиада по настоящей лингвистике с задачками, было бы иначе, но такая была только в Москве, мы о ней в те годы и не слышали, как и о лингвистике-науке.

За гуманитарные олимпиады мне многое прощалось по остальным предметам (я не был в них плох и при некоторых усилиях схватывал быстро; но я предпочитал делать то, что получается хорошо без усилий, за счет «претрейна»). Через них я поступил в Вышку. А в студенческие годы языкового претрейна хватало для ненапряжного заработка на моих первых работах (редактором).

Только позже я стал понимать, что скилы, приобретенные через потребление контента (а не решение сложных задач, постижение неинтуитивных абстракций или опыт практического действия), — вещь крайне ограниченная. Встречая потом сильных инженеров/программистов, людей с хорошим естественно-научным образованием, а также людей с крутым менеджерским опытом, я раз за разом видел, что они владеют некоторым уровнем сложности мышления, который мне недоступен.

Думать, как организовать что-то системно, чтобы не развалилось на 3-й день. Чтобы не упало под перегрузкой. Чтобы усилия не возрастали квадратично по отношению к объему задачи. Чтобы работу можно было описать через набор инструкций и масштабировать на других исполнителей… Все это напрочь отсутствовало у меня в голове. Сделать красиво на интуиции и один раз — это я мог (упоровшись и проведя пару ночей без сна). Организовать что-то системно, чтобы работало и не ломалось дольше пары месяцев — никак.

Где-то с 22 лет, с поступления на компьютерную лингвистику, я полуосознанно пытался закрыть эту дыру в системном мышлении, умении решать задачи и строить пайплайны. В чем-то продвинулся: сменил работу, проработал 4 года в ИТ-компании «инженером» (так было написано на бейджике), успел даже попреподавать в Вышке программирование (до прихода LLM). Но в целом — до сих пор чувствую, что не умею думать про сложные процессы так, как это могут сильные айтишники/управленцы/физики.

Думаю, что вне зависимости от профессии важно в юности получить вот эту долю целенаправленного «постижения сложности» на этапе до-обучения своей мозговой нейросети. Иначе в жизненный продакшн отправляется недообученная модель. И страдает😅