👺 Aikido ужала GLM-5.3 до 328 ГБ для локального ИИ-пентестинга

Компания Aikido представила Altar, свою первую модель с открытыми весами для обеспечения безопасности инфраструктуры своих клиентов. Altar-1 — это, по сути, ИИ-модель с открытыми весами для защитных задач ИБ и автономного пентестинга. Компания открывает веса Altar, чтобы организации могли запускать ИИ-модель внутри своего контура и не передавать чувствительные данные во внешние API.

Передовые закрытые модели требуют передачи исходного кода и внутренних документов на сторонние серверы, что неприемлемо для банков, медицинских учреждений и промышленных операторов. Полноразмерные аналоги с открытыми весами, такие как базовая модель GLM-5.3 размером 1,51 ТБ, потребляют слишком много ресурсов и снижают скорость инференса при работе агентов с длинными контекстами. Архитектура mixture-of-experts создаёт избыточную нагрузку на память, так как для каждой задачи загружается весь пул экспертов, хотя в сфере информационной безопасности задействуется лишь небольшая их часть.

Altar не обучали с нуля. За основу взяли GLM-5.3 с архитектурой Mixture of Experts и сократили её под ИБ-нагрузки. Для оптимизации инженеры применили два метода. Сначала они использовали квантование AWQ INT4 для снижения точности весов до четырёх бит при сохранении шестнадцатибитных активаций. Затем специалисты провели экспертное прореживание с помощью технологии Cerebras REAP, оценивающей вклад каждого эксперта через взвешивание маршрутизатора и величину выходных данных. Калибровка выполнялась на внутренних бенчмарках и по многоязычным текстам, что помогло сохранить понимание бизнес-логики и документации.

📊В результате размер модели сократился с 1,51 ТБ до 328 ГБ. Это дало уменьшение на 78,2% по сравнению с исходной шестнадцатибитной версией и на 32,8% по сравнению с квантованным аналогом.

💻Результаты тестирования и практическое применение:

Качество работы оценивали на внутреннем бенчмарке из 32 известных уязвимостей (CVE) в 30 репозиториях, выполняя по 3 прогона для каждого тестового случая.

▪️Altar-1 показала средний recall 60,4% за один прогон и хотя бы один раз обнаружила 23 из 32 уязвимостей за 3 прогона.
▪️GLM-5.3 AWQ без прунинга показала средний recall 61,5% и также обнаружила 23 из 32 уязвимостей.
▪️Полноразмерная GLM-5.3 BF16 показала средний recall 65,6% и хотя бы один раз обнаружила 25 из 32 уязвимостей.

Оптимизация сохранила 92% покрытия уязвимостей оригинальной флагманской модели (23 из 25) и обеспечила практически равную точность с версией AWQ, высвободив при этом 🖥160 ГБ видеопамяти. Для многоагентного пентестинга это особенно важно, поскольку уменьшение модели оставляет больше памяти ускорителей под растущий контекст нескольких параллельных сессий.

Модель уже развёрнута в программно-аппаратном комплексе Aikido Machine, а сам подход внедряется в другие продукты платформы: Aikido Attack (AI-пентесты), Code Security Audit и Deep PR Review. Компания также заявила, что модель нашла уязвимость критической степени опасности во время реального пентеста клиента.

❗️ Веса Altar опубликованы на Hugging Face. Для локального запуска Aikido рекомендует узел с 🖥 4 Nvidia H200 и vLLM.

✋ @Russian_OSINT