Сегодня в рубрике «лоботомия»: у GLM-5.3 отрезали треть экспертов и проверили, насколько хуже она после этого ищет уязвимости.

Aikido выпустили Altar-1 — специализированную для security-нагрузки версию GLM-5.3. Исходная модель — 753B MoE, в каждом таком слое есть 256 маршрутизируемых экспертов, из которых на один токен работают только 8 активных.

В Altar оставили 168 из 256, то есть физически удалили 88 экспертов. Никакого нового обучения здесь нет. Для выбора жертв используется REAP метод — Router-weighted Expert Activation Pruning: эксперт оценивается не просто по тому, как часто его выбирает маршрутизатор, а по весу маршрутизации и величине его фактического выхода.

Калибровали всё это на трассах кибербеза, кодинга, tool use, ризонинга и дополнительно на мультиязычном тексте.

Дальше экспертов держат в INT4 W4A16 (формат чисел такой), а блок внимания, одного общего эксперта, полносвязные нейронки и голову оставляют BF16 (более жирный формат чисел).

Получается довольно наглядная диета: оригинальный GLM-5.3 BF16 — 1.51 ТБ, AWQ INT4 — 488 ГБ, Altar после удаления экспертов — 328 ГБ. То есть удаление дополнительно снимает ещё 160 ГБ уже поверх квантизации.

При этом число активных параметров на токен практически не меняется — те же восемь выбранных экспертов и около 40B активных параметров; экономия идёт прежде всего за счёт того, что вам больше не надо хранить весь кладбищенский запас экспертов, до которых промпты по кибербезу почти не добирается. По итогу нормально разворачивается на 4xH200 с 128k контектстом.

А теперь самое интересное. У Aikido есть внутренний набор из 32 известных уязвимостей в 30 репозиториях, каждую прогоняли три раза.

Полный исходный нелоботомированный GLM-5.3 в среднем находил 65.6% уязвимостей за прогон и хотя бы раз обнаружил 25 из 32.

Его обычная AWQ-версия (квантизированная) — 61.5% и 23/32.

Altar после вырезания 34% экспертов — 60.4% и те же 23/32.

То есть относительно уже квантизированной модели выбросили ещё треть экспертов, освободили 160 ГБ и потеряли примерно один процентный пункт recall (сколько модель находит из всех возможных результатов / процент покрытия), не потеряв ни одной из покрываемых CVE.

Красиво. Но шампанское пока рано открывать: это внутренний бенчмарк самого производителя, причём он измеряет поиск узкоспециальных уязвимсотей внутри их обвзяки, а не слепой поиск неизвестных дыр по целому репозиторию и не эксплуатацию найденного бага. Независимых тестов пока нет.

Мне здесь интереснее даже не сам Altar, а вывод для MoE вообще. Мы привыкли считать удаление экспертов просто ещё одной формой компрессии.

А здесь появляется почти функциональная лоботомия по нагрузке: собираем трассы конкретной деятельности, смотрим, какие эксперты реально вносят вклад, и удаляем остальную ткань.

Возникает очевидный следующий эксперимент: снять routing statistics отдельно на reverse engineering, web exploitation, kernel bugs, cryptography и fuzzing и посмотреть, существуют ли устойчивые «профессиональные наборы экспертов».

Если существуют — можно будет собирать не одну универсальную махину, а разные хирургически урезанные версии одного и того же MoE под конкретные виды работы.