Правда ли, что нейросети всего лишь «предсказывают слова»?

Говорят, большие языковые модели просто предсказывают следующий токен. Но тогда как они решают олимпиадные задачи, которых не было в интернете, и пишут работающий код по произвольному ТЗ?

Короткий ответ: в этом и есть главный парадокс современных LLM. Простая задача — продолжать текст — неожиданно приводит к появлению сложных навыков. Но есть и нюансы в обучении, которое давно уже не сводится к простому «предскажи следующее слово в тексте из википедии».

Изначально (на базовом этапе предобучения) модели действительно учат так: на вход — текст из интернета, на выход — наиболее вероятное продолжение. Кажется, что такая система должна лишь механически «собирать фразы» из обучающих данных. Но на практике модели, обученные на огромных корпусах, начинают обобщать знания.

Если модель видела тысячи математических задач, у неё формируется устойчивая связь между формулировкой и правильным ходом рассуждений. Даже если конкретной задачи не было в обучении, она может применить знакомую схему — почти так же, как это делает человек. Скорее всего, «новая» олимпиадная задача не такая уж и «новая». Ее автор тоже скомбинировал уже существующие идеи, примеры и методы. В этом смысле LLM делают то же самое — только в гораздо большем масштабе. При росте размеров моделей и разнообразия обучающих данных умение предсказывать следующий токен постепенно превращается в способность решать некоторые задачи пользователя.

Но важно учитывать и то, что модели типа ChatGPT не просто обучены на текстах, но и дообучены через RLHF (обучение с подкреплением от обратной связи человека). На этой стадии люди-тренеры общались с моделью и оценивали ее ответы. Эксперт по программированию оценивал ответы модели на программистские задачи, эксперт по физике — ответы на задачи по физике и т.п. Многое в ответах LLM можно и перепроверить автоматически — и заставить модель переучиваться даже без участия эксперта. Это тоже обучение с подкреплением, но более дешевое, чем RLHF. Такого вида обучения в новых моделях становится все больше.

Если хотите прочитать более подробный ответ, а заодно понять, почему модель умеет перемножать числа, но не может посчитать количество букв н в слове «нетленный‎», есть ли у нее самосознание и стоит ли бояться сверхразумного ИИ – переходите к полной версии материала.

Кстати, это новая часть нашего спецпроекта «ИИ-лайфхаки для вашей профессии», где мы рассказываем, как применять нейросети в реальных рабочих задачах.

🤖 «Системный Блокъ» @sysblok