🌸Топ нецензурированных LLM🌸
#nlp #про_nlp

В этом канале мы часто говорим об #ai_alignment — выравнивании ответов ИИ относительно ценностей человека.
На практике, в случае с языковыми моделями это часто означает, что модели учат уходить от ответа на определенные темы (эротика, политика и так далее). Ряд вполне валидных применений часто оказывается в "серой зоне" — на границе определимого. Например, должны ли модели выдавать ответы на медицинские, юридичсекие вопросы? А если это потенциально единственный доступный источник для пользователя? А если мы хотим составить максимально большой корпус "плохих примеров" для тестов?

Если ваш случай — такой, публикую свой топ LLM, которые разговаривают на все темы.

🟣Dolphin 2.5 Mixtral 8x7B
Пока что единственная MoE языковая модель, у которой былы намеренно проведен instruction tuning без цензуры. Генерирует вообще все и отлично следует затравкам на любые темы, по крайней мере, мне пока не удалось добиться, чтобы хоть что-то не получилось.
Написание затравок стандартное.
Для инференса нужно минимум 2 GPU типа A100, хотя у TheBloke есть квантизованные версии. Самый быстрый способ завести и поиграться — подключить API Replicate с квантизованной версией. Мне хватило меньше 100$, чтобы нагенерировать датасет в несколько десятков самых разнообразных вредных инструкций и затравок.
HF Dolphin-2.5-mixtral-8x7b

🟣WizardLM Uncensored
Версия LLM от Microsoft, которую дообучили на 70 тыс примеров без цензуры.
Доступны версии 7B, 13B, 30B, а также квантизрванные версии. Все под непонятной лицензией (файла нет).
HF WizardLM-30B-Uncensored

🟣MythoMax
LLM для написания историй и role play, из-за особенностей датасета достаточно неоцензуренная, хотя затравки придется поподбирать. На темах вроде медицинской, юридической и тд работает нестабильно.
HF MythoMax-L2-13b

🟣GPT-3-like архитектуры
В крайнем случае, не зазорно взять и базовые претрейны без инструкционного тюнинга вообще, и просто пользоваться методами few-shot для составления затравки, чтобы нагенерировать нужных примеров. Неплохие модели: Pythia 12B, GPT-2, ruGPT-3.5-13B. Все модели, что приятно, под открытой лицензией, но качество иногда может хромать — лучше поставить сверху валидацию результата каким-нибудь тематическим классификатором или Moderation API.
HF Pythia HF GPTNeo