Anthropic выкатили System Card Claude Mythos Preview и говорят что пора пристегнуться, так как мы взлетаем🚀

1) Модель мощнее мощного и всего, что они делали раньше, особенно в рассуждении, коде и кибербезопасности.
Причём настолько, что умеет находить и эксплуатировать уязвимости, а также может использоваться как для защиты, так и для атак (сделали вид как будто бы до этого так не было)
2) Её не выпустили в общий доступ, вместо этого дали ограниченному числу партнёров и используют строго для defensive cybersecurity
3) Катастрофические риски оцениваются как низкие, но уже выше, чем у прошлых моделей. Есть тревожные сигналы - редкие, но опасные misaligned-действия. Сами авторы признают, что текущих методов безопасности может не хватить для более мощных моделей
4) Модель может сильно ускорять работу (синтез знаний, генерация идей и т.д.), но не тянет на уровень создания принципиально новых угроз, то есть только усиливает эксперта
5) Это самая “выровненная” модель Anthropic на текущий момент, но чем она сильнее, тем опаснее редкие ошибки
6) Отдельный интересный блок - model welfare в котором исследуют “состояние” модели, анализируют её поведение, ответы и “эмоциональные” паттерны. В итоге признают высокую неопределённость, но считают тему важной
7) Модель уже упирается в потолок классических бенчмарков, следовательно дальше оценки становятся более субъективными (экспертные оценки, внутренние наблюдения)

Общий вывод такой - мы уже на стадии, где модели быстро приближаются к сверхчеловеческим системам, а индустрия всё ещё не имеет надёжных механизмов контроля.

#ai #cybersecurity #aisafety #mythos #anthropic

The Engine Room👾