Делюсь своим личным мнением об ИТ, ИБ и важном.
Связанные ресурсы:
dzen.ru/soldatov
reply-to-all.blogspot.com
max.ru/join/r89iyhcLXllpMMMplmGUeN6NZ7aj8SBkezaOTinw8dM
Проголосовать: https://t.me/boost/soldatov_in_telegram
Post #837
422
А вы следите за бенчмарком ИИ?
А надо!
И вот на что я обратил внимание:
1. Открытые модели по производительности приближаются к облачным. Т.е. с учетом доступных инфраструктурных подходов, при отсутствии проблем с железом, не обязательно заливать клиентские данные в облачную LLM и с гордость рассказывать как это замечательно.
2. Волшебства не бывает, и закон сохранения здесь тоже работает: несложно посчитать, что "автономный SOC" на мощных моделях будет стоить дороже, чем "классический" SOC из команды аналитиков, так как все, что выше $1 за миллион токенов дороже "Кожаного мешка", а до полной автономии еще очень далеко, ибо даже лидер (GPT-6 Astra) полностью завершает без нарушений лишь 41,6% рабочих процессов в AutomationBench-AA, у перехваленого Claude Fable 5.1- 32,1%, у Opus 5 - 28,3%.
3. Ошибка выбора модели стоит дорого, так как цена за задачу при одинаковом интеллекте различается кратно: при 53 баллах - GPT-6 Astra - $3,26, Claude Fable 5.1 - $7,63 (+57%), при 42 баллах - GLM-5.3-Flash - $0,25 против $1,40 у GPT-5.6 Terra (в 5,6 раза).
MAX
#ml #MDR
А надо!
И вот на что я обратил внимание:
1. Открытые модели по производительности приближаются к облачным. Т.е. с учетом доступных инфраструктурных подходов, при отсутствии проблем с железом, не обязательно заливать клиентские данные в облачную LLM и с гордость рассказывать как это замечательно.
2. Волшебства не бывает, и закон сохранения здесь тоже работает: несложно посчитать, что "автономный SOC" на мощных моделях будет стоить дороже, чем "классический" SOC из команды аналитиков, так как все, что выше $1 за миллион токенов дороже "Кожаного мешка", а до полной автономии еще очень далеко, ибо даже лидер (GPT-6 Astra) полностью завершает без нарушений лишь 41,6% рабочих процессов в AutomationBench-AA, у перехваленого Claude Fable 5.1- 32,1%, у Opus 5 - 28,3%.
3. Ошибка выбора модели стоит дорого, так как цена за задачу при одинаковом интеллекте различается кратно: при 53 баллах - GPT-6 Astra - $3,26, Claude Fable 5.1 - $7,63 (+57%), при 42 баллах - GLM-5.3-Flash - $0,25 против $1,40 у GPT-5.6 Terra (в 5,6 раза).
MAX
#ml #MDR
- 👍 8
- 🔥 1
- 👏 1
- 😁 1
- 🤔 1


