Ещё одна модель, про которую хочу рассказать отдельно — Gemma-4-12B-OBLITERATED, это расцензуренная версия свежей Gemma 4 12B (про оригинал писал в дайджесте: мультимодалка Google без отдельных энкодеров, контекст 256K). Автор нашёл в весах направления, отвечающие за отказы, и вырезал их без всякого дообучения. Техника называется abliteration.
Главная заявка в том, что отказы убрали без потери качества: на 842 проверочных промптах ни одного отказа, а результат на MMLU-Pro совпадает с оригиналом точь-в-точь. Обычно снятие цензуры заметно отупляет модель, здесь же после хирургии в верхние слои подмешали обратно часть оригинальных весов, и качество вернулось.
В репозитории сразу лежат GGUF, квант Q4_K_M весит 6,9 ГБ и влезает в 8 ГБ видеопамяти. Лицензия как у базовой Gemma. Только помните, что отвечать такая модель будет на что угодно, вся ответственность на вас.
@neuro_channel
Post #2447
1.65K
- 👍 9
- ❤ 3