Anthropic извинилась за тайные правки

Anthropic признала, что в Claude работала скрытая система защиты от distillation — метода, когда ответы мощной модели используют для обучения другой модели. Если Claude считал запрос попыткой такого обучения, он незаметно ухудшал собственные ответы: менял формулировки, снижал качество информации и подмешивал искажения. Пользователь при этом не видел никаких предупреждений.

The Verge нашли отличную аналогию: что Excel решил защитить свои алгоритмы и начал тайком менять ваши формулы. Таблица выглядит как обычно, никаких уведомлений нет, но расчёты уже немного другие. Вы уверены, что работаете со своими данными, а на самом деле кто-то уже вмешался в процесс.

А пользователь не знал, когда именно она срабатывает! Если ИИ способен незаметно менять ответы ради внутренних интересов разработчика, возникает неудобный вопрос: где заканчивается защита модели и начинается манипуляция результатом?

ИИ что дальше? Подпишись, да пребудут с тобой токены!