Развитие LLM как интериоризация человеческой активности (1/3)

Можно представить развитие языковых моделей как череду интериоризаций – присвоения/поглощения некоего внешнего знания и процессов, буквально погружение ранее внешних цепочек активностей в веса модели.

Очень грубая хронология такая:

1. Освоение связей между буквами и словами (2010-2015)
2. Производство контента по подобию широкой библиотеки обучающих материалов (2015-2020)
3. Обучение человеческому инструктивному диалогу – наподобие тредов StackOverflow, Quora, в целом чатов (2020-2023)
4. Обучение "ризонингу": интериоризация инструктивных диалогов человека с машиной (2023-2026)

"Ризонинг", т.е. как бы "рассуждения" или даже "размышления" (без зазрения совести сейчас прямо так и пишут, когда ждёшь результата: "Thinking..."), появились после накопления базы первых диалогов с чат-ботами как интериоризация подпинывающих реплик людей. Теперь "думай быстрее", "не тупи", "всё не так, начни сначала" (ну и содержательные замечания тоже) говорит не человек-оператор, а модель как бы сама себе внутри себя самой.

Дальше проходит граница передовых исследований и разработок, в текущем моменте сложно приписать чему-то в отдельности главную роль.

Однако всё же попробуем это сделать.