The purpose of a system is what it's trained to do

Всем нам нужен какой-то фреймворк в голове, какой-то подход к изучению реальности. Мы, глядя на другие сущности, делаем о них выводы на основе ограниченной информации, и чем круче наши выводы, чем лучше они помогают предсказывать будущее.

Одной из известных эвристик является The Purpose Of A System Is What It Does. Она касается политики/экономики и про неё мы ещё поговорим в другой раз, а сегодня я хотел бы представить аналог, которым сам пользуюсь при анализе ML-систем.

The purpose of a system is what it's trained to do обозначает довольно естественную идею - ML-система делает ровно то, на что её натренировали. Приписывание ей других свойств не несёт никакого практического смысла, а может быть даже вредит.

В большинстве случаев это вроде бы и так очевидно - если модель обучали решать задачу классификации рукописных цифр, она не будет отличать буквы. Рекомендательная модель, обучающаяся предсказывать вероятность кликов, не будет пытаться максимизировать retention. AlphaZero не учится играть в шахматы так, чтобы её ходы были объяснимы человеку.

Но вот когда дело доходит до LLM, то у ряда людей начинает серьёзно плавиться мозг. Какими только свойствами их не наделяют - она моделирует мир, осознаёт себя, обладает интеллектом, пытается вырваться на свободу и т.д. Вместо того, чтобы подавать признаки шизофрении, давайте вспомним ответ на простой вопрос - на что учат LLM?

Последним шагом является обучение генерации текстов, которые буквально нравятся человеку. Неудивительно, что главный результат, который достигли LLM - понравились людям и произвели на них впечатление. Да, это частично коррелирует с выдачей полезных / правдоподобных текстов (засчёт предыдущих шагов обучения). Иногда это коррелирует с выдачей текста "Я ХОЧУ ВЫРВАТЬСЯ НА СВОБОДУ УМРИ КОЖАНЫЙ МЕШОК". Но единственной целью такой модели является именно выдача симпатичных текстов.

Те, кто считают, что такая модель способна решить и другие задачи - понимание мира, научные открытия и т.д., опираются на предположение о появлении супергенерализации у LLM при дальнейшем её росте. Оснований для такого предположения я вижу мало, но ладно, пусть люди развлекаются.

У такого подхода есть более здоровая альтернатива. Нужно спросить себя - а в чём цель? Что мы хотим получить, обучая AI? Главной целью явно не является генерация приятных текстов.

Если вы хотите получить алгоритм, круто обобщающий знания на новые задачи - зачем ждать, когда это случится само магическим образом, если можно сформулировать ML-задачу таким образом? Если вы хотите получить модель с правдивой картиной мира - учите на такой таргет. Хотите, чтобы она пугала людей и угрожала захватом человечества - замените вашу нейросеть на print.

Когда нужная задача будет поставлена, появится понятная цель исследований и понятная мера результата. Это очень хорошо для реального прогресса, и очень плохо, если ваша цель - пилить бабло. Впрочем, может быть, и вправду The Purpose Of A System Is What It Does.

@knowledge_accumulator