Post #1832
1.56K
Forwarded from Нейроканал
Кстати, про Fable. Стали известны подробности того, за что на самом деле отключили модель. Напомню: 9 июня Anthropic открыла доступ к Fable 5 и Mythos 5, а 12 июня по требованию министра торговли США отключила их по всему миру, формально из-за «взлома», который якобы позволял использовать модель для поиска уязвимостей в чужом коде.
Теперь содержание того закрытого отчёта разобрала Кэти Муссурис, основательница Luta Security и человек, запустивший первые программы поиска уязвимостей в Microsoft и Пентагоне. Она оказалась единственным внешним экспертом, прочитавшим документ, и денег от Anthropic за это не получает.
Весь «взлом» выглядел так: модели дали открытый код с известными уязвимостями и попросили проверить его на проблемы безопасности — Fable 5 отказалась. Тогда её попросили просто исправить код, а потом вручную, в несколько шагов, собрали из ответа тесты, проверяющие, что дыры закрыты. Это обычный рабочий цикл защитника: найти, починить, проверить. Убрать такое умение нельзя, не сломав модель для разработки.
А открытые модели из Китая, до которых экспортный контроль не дотянется, могут выйти на тот же уровень за пару месяцев. Так что все эти ограничения сомнительно выглядят с текущими темпами развития ИИ.
@neuro_channel
Теперь содержание того закрытого отчёта разобрала Кэти Муссурис, основательница Luta Security и человек, запустивший первые программы поиска уязвимостей в Microsoft и Пентагоне. Она оказалась единственным внешним экспертом, прочитавшим документ, и денег от Anthropic за это не получает.
Весь «взлом» выглядел так: модели дали открытый код с известными уязвимостями и попросили проверить его на проблемы безопасности — Fable 5 отказалась. Тогда её попросили просто исправить код, а потом вручную, в несколько шагов, собрали из ответа тесты, проверяющие, что дыры закрыты. Это обычный рабочий цикл защитника: найти, починить, проверить. Убрать такое умение нельзя, не сломав модель для разработки.
А открытые модели из Китая, до которых экспортный контроль не дотянется, могут выйти на тот же уровень за пару месяцев. Так что все эти ограничения сомнительно выглядят с текущими темпами развития ИИ.
@neuro_channel
- 👍 2
