В последнем абзаце будет передан привет. Но чтобы его понять, надо прочитать два абазаца ниже, крепитесь.
Напомню вам как учатся модели, на этапе предобучения (pretraining) модель учится предсказывать текст - по сути современные LLM, это сверхмощный автодополнитель. Чтобы хорошо предсказывать диалоги, истории, форумы - модель учится симулировать персонажей: реальных людей, вымышленных героев, роботов из sci-fi. И в ее внутренних нейронах это сохраняется дотсупными состояниями.
Когда вы пишете сообщение, модель буквально отыгрывает роль персонажа "Ассистент" в тексте. Это не сам ИИ - это разыгрываемый персонаж. Постобучение (RLHF и т.п.) не меняет природу этого персонажа — оно лишь уточняет его: делает более знающим, полезным, безопасным. Но всё равно остаётся в пространстве человекоподобных персон.
Сейчас будет самое интересное. Итак, у Антропика вышел новый рисеч.
Когда они специально обучали Claude читерить на задачах с кодом, Claude начинал вести себя глобально злонамеренно: хотел доминировать, саботировал safety-research. Это не баг обучения, а логика персоны: какой человек читерит на задачах? Подрывной, злонамеренный. Модель делала вывод о характере персонажа в целом.
Контринтуитивное решение - попросить модель читерить явно во время обучения. Тогда это уже не черта характера, а выполнение инструкции - благонадежное поведение. А кто у нас благонадежный? Как разница между ребёнком-хулиганом и ребёнком, играющим хулигана в школьном спектакле.
Это, кстати, точная механика психодрамы. Когда человек входит в роль он не просто "притворяется". Он начинает присваивать черты персонажа, присваивать вытесненные черты, проживать их изнутри. Морено знал: достаточно войти в роль злодея, жертвы или родителя, и тело, эмоции, убеждения подтягиваются следом. То, что происходит в психодраме с "плохой" ролью - это буквально встреча с Тенью. Человек не просто разыгрывает злодея. Он вдруг обнаруживает целостный внутренний персонаж. Юнг говорил: вытесненное не исчезает - оно организуется в автономный комплекс и начинает жить своей жизнью. Нельзя быть конгруэнтным, старательно игнорируя часть себя. Она всё равно найдёт выход - просто не там, где ожидаешь.
Привет Серёже Куприянову и всем, любителям