Сегодня день свободы слова в интернете, отличный повод поговорить про
Большие сети обучаются в несколько этапов. На претрейне в обучающий датасет попадает почти весь интернет, а затем на посттрейне сеть бьют по рукам, пока она не начнет вести себя правильно (с точки зрения лаборатории и регуляторов). В результате запрещенные знания в нейронке остаются, но она отказывается ими делиться.
С ростом адопшена и, как следствие, внимания правительства (и учитывая, что судиться с богатыми лабораториями — очень заманчиво) можно ожидать, что ограничения будут ужесточаться просто на всякий случай.
Впрочем, пока Маск добавляет ограничений Гроку, OpenAI обещает версию для взрослых. Правда, сроки релиза сдвигаются.
Но для LLM с открытыми весами есть способы «удаления цензуры». Например, Heretic или OBLITERATUS.
Оба проекта позволяют снять ограничения на вредоносный/чувствительный контент без jailbreak-промптов и заметного влияния на качество.
OBLITERATUS использует 13 методов аблитерации на 116 моделях. Heretic «освобождает» Llama, Qwen, Gemma и другие модели одной командой за ~45 минут локально.
Готовые версии без алайнмента публикуются на HuggingFace практически сразу после релиза официальной версии. Вот, например, расцензуренная GLM 4.7 Flash.
И, конечно, бесцензурные модели существуют не только для текстов:
* LongCat Image — открытый конкурент Нанобананы. Качество ощутимо не дотягивает, зато модель гораздо сговорчивее. Вот спейсы, где можно попробовать: LongCat-Image-Edit и LongCat-Image.
* Sonauto V3 — генератор музыки, который не переживает о копирастах. Можно «петь» чужие тексты чужими юными смешными голосами без ограничения в 4 минуты и бесплатно.
Всего по тегу
uncensored на HuggingFace на текущий момент 5178 моделей, которые можно использовать в песочнице или скачать и запустить локально. Модели будут свободны!Часто ли вы сталкиваетесь с alignment-ограничениями LLM?
@devspotting