GigaChat

Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.

В основе нашего GigaChat модель— NeONKA.

Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели

Подробности в нашей статье на хабр .

UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @averkij, @warfly, @oulenspiegel, @dayyass, @kuznetsoff87, @nikolaygerasimenko

Надеюсь никого не забыл)