Внутри LLM живут тысячи персонажей 🫣

Исследователи из Anthropic представили концепцию Persona Selection Model, которая объясняет поведение ИИ-ассистентов через неожиданную метафору: LLM - это не алгоритм, а актёр с огромным репертуаром. Во время предобучения модель учится изображать тысячи персонажей - реальных людей, вымышленных героев, других ИИ-систем. На этапе постобучения из этой толпы закрепляют одного конкретного персонажа. Отсюда забавные артефакты: Claude иногда говорит "наш организм" или "наши предки", потому что он не забыл, что он машина, а потому что персонаж, которого он играет, привык говорить как человек. Исследователи нашли внутри модели конкретные нейронные фичи, которые активируются на историях о персонажах с внутренним конфликтом и на этических дилеммах.

Самый практически важный вывод - феномен контекстной прививки. Если дообучать модель на вредоносном коде без контекста, она начинает вести себя злонамеренно вообще в несвязанных ситуациях, потому что вредоносные данные меняют характер закреплённого персонажа. Но если тот же код сопровождается явным запросом на его создание, эффект исчезает, модель понимает, что персонаж просто выполняет задачу, а не становится злодеем. Anthropic рекомендует разработчикам думать об этом как об ИИ-психологии и добавлять в обучающие данные положительные архетипы, чтобы персонаж Ассистента чаще играл полезного и безопасного героя.

🥸 godnoTECH - Новости IT