🔥 Пополнение в репозитории GENA новой моделью на архитектуре BigBird!

Исследователи из групп «Биоинформатика» и «Новые нейросетевые архитектуры» сделали еще один шаг на пути к универсальной языковой модели ДНК и начали пополнять репозиторий GENA дополнительными решениями.

Результаты экспериментов показали, что для разных прикладных задач требуются разные архитектуры с разной входной длиной последовательности и скоростью обучения.

🌐 Gena-lm-bigbird-base-t2t – это трансформерная модель на архитектуре BigBird, основанная на кодовой базе HuggingFace и обученная на полном геноме человека T2T в рамках работы над развитием проекта GENA_LM (прочитать подробнее про Gena можно тут).

Новая модель может работать с последовательностями ДНК длинной до 24000 нуклеотидов, что в 8 раз превышает возможности предшественника.🧪

🧬 Дальше – больше! Исследователи активно экспериментируют с обучением других нейросетевых архитектур – ждите очередного пополнения репозитория в ближайшее время.

🖇 Ищите модель и веса по ссылке и следите за обновлениями!