OpenAI раскрыла масштабную попытку вытащить скрытые рассуждения своих моделей. След ведёт к создателям Kimi.

Компания заявила, что обнаружила кампанию по adversarial distillation: операторы пытались извлечь protected reasoning и использовать его для воспроизведения возможностей моделей.

По версии OpenAI, основная группа была связана с Moonshot AI, китайской лабораторией, которая разрабатывает Kimi.

Причём шифрование никто не взламывал.

Схема была хитрее: зашифрованный reasoning копировали из одного диалога, переносили в другой и просили модель расшифровать и транскрибировать собственные скрытые рассуждения.

Масштаб:

- активность началась 1 июля
- 24–25 июля зафиксировано около 16 000 запросов
- они пришли от более чем 4 000 пользователей
- связанные паттерны нашли у кластера из 15 000+ пользователей
- к 28 июля OpenAI заявила, что полностью пресекла эту активность

В ответ OpenAI заблокировала связанные аккаунты, закрыла механизм replay зашифрованного reasoning и добавила проверки, которые задерживают streaming-вывод, если тот может раскрыть скрытые рассуждения.

Получается новый фронт гонки моделей: теперь защищать приходится не только веса и данные, но и сам процесс рассуждения модели.

https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/