Інструмент для керування відмовами open-weight моделей (abliteration) без поширення самих ваг. Замість модифікованої моделі репозиторій постачає вектор у форматі GLP та патч для vLLM, що проєктує активності під час інференсу.
Ключові можливості:
• GLP-вектор у форматі GGUF з напрямками для кожного шару, без ваг моделі
• плагін
weightless-steer для vLLM з адаптерами під різні архітектури• підтримка квантованих чекпойнтів, зокрема NVFP4
• майстер налаштування:
python3 weightless.py⚡️ Технології: Python, inference
⭐️ Зірок: 64
🍴 Форків: 6
weightless
#python #ai #ml #tools
Git 🇺🇦 | Git 🇺🇦 Database