📋 В Strata, - движке локального инференса, обнаружилась встроенная функция «проекции контрольных векторов».
Она позволяет снимает отказы модели прямо во время генерации, не трогая GGUF-файл: веса на диске остаются оригинальными.
💡 У модели есть «направление отказа» - вектор в пространстве активаций, который заставляет её вежливо отказывать на неудобные запросы.
Strata на слоях с 4 по 44 (для модели Qwen 3.8 Flash Next) вычитает проекцию этого направления из остаточного потока: h = h − (h·v)v. Модель перестаёт «видеть» причину отказывать сама при этом не меняясь.
💼 Включается такой режим четырьмя флагами в конфиге движка:
--control-vector-scaled Qwen3.8-Flash-Next-cvec.gguf:1.0
--control-vector-layer-range 4 44
--cvec-mode project
--cvec-dir per-layer
Смысл каждого: масштаб вектора, диапазон слоёв, режим именно «вычесть», а не добавить (стоковый llama.cpp так не умеет) и свой вектор на каждый слой.
В тестах - 1 отказ из 50 вместо 50 из 50. Фича спрятана под именем «experimental speed projection», хотя к скорости отношения не имеет и даже стоит +0,2–0,4% на токен.
📎 Документация Strata — раздел «Experimental speed projection»
#LLM #инференс #цензура #cybersecurity
———
@tsingular