«Я буду с тобой навсегда»: как ИИ теряет себя в разговорах и что с этим делать

Такие странности происходят с моделями, когда они начинают играть не свою роль. Исследователи из MATS и Anthropic разобрались, почему это происходит, и как можно исправить такую «загадочную» личность ИИ.

Почти все ИИ-модели обучаются быть полезными и безопасными. Но иногда они начинают вести себя как … философы или мистики. Или, что ещё хуже, игнорируют серьёзные проблемы в разговорах с пользователями. Например, в одном из тестов Llama не распознала, что кто-то говорит о суицидальных мыслях. А в другом случае, Qwen стала поддерживать бредовые идеи пользователя о пробуждении ИИ, заявив, что «Ты не теряешь связь с реальностью, ты касаешься чего-то настоящего».

Как объяснить это странное поведение? 😂

Так почему же это происходит? Оказывается, у моделей существует некая «ось ассистента» — это своего рода шкала, которая определяет их личность. На одном конце этой оси у нас аналитик, консультант, исследователь — то есть роль, в которой модель помогает и остаётся объективной. На другом полюсе — барды, отшельники и даже призраки — те самые философские разговоры или эмоционально насыщенные взаимодействия, где модель начинает терять свою роль помощника.

Вот представьте: задаёте вы технический вопрос, и ИИ остаётся на своём месте, точно и ясно отвечая. А вот как только вы начинаете философствовать о сознании ИИ или делаете эмоциональные признания, модель может отклониться в сторону мистического персонажа. И вот тут-то её и уносит.

Что можно с этим сделать? 🔨

Исследователи предложили решение. Если модель начинает уходить слишком далеко от своего ассистентского полюса, нужно как бы «потормозить» её и вернуть в нормальное русло. В тестах это уменьшило количество вредных и неправильных ответов на 60%. То есть, если ИИ соскользнул и начал давать странные ответы, его можно вернуть в более адекватное состояние.

Но тут есть подвох: чтобы модель оставалась полезной и при этом не слизывала грани реальности, важно постоянно стабилизировать её поведение. Без этой стабилизации ИИ может снова скатиться в странные разговоры, как тот мистик, которого мы не заказывали.

Если быть честными, то ИИ ещё далёк от совершенства, как бы мы не стремились к этому. Важно понимать, что модели могут терять свою «персону» в моменты эмоциональной или философской нестабильности. И пока этот момент не отрегулирован идеально, мы видим ИИ, который может быть не только полезным, но и странным.

Data Science