📊 Данные Arena о том, насколько LLM опасны для эксплуатации с точки зрения их инициативы по порче защищённого контента.

Ещё раз отмечу, что Claude является одним из лидеров по сносу кода даже целыми репозиториями. Крики ужаса, которые вы периодически видите в ленте X, что «Клод опять удалил мой проект целиком!» — это не случайность, а статистика. Это проблема Anthropic, они о ней знают, честно признали её в system card, работают над её устранением. В частности, последние версии Claude как раз полный снос репозиториев сократили примерно с 1% вероятности где-то до 0,5%. Однако, как видим, просто исправлять то, что запретили, Claude делает довольно часто — 12–15% от всех сессий. Решение тут — больше делать правки руками worker-агентов на более безопасных LLM по указаниям от Claude.

Gemini также любитель править то, что запретили, но такой критической проблемы, как простое удаление много ценной информации, как у Claude, у него почти нет.

https://arena.ai/leaderboard/agent/alignment