Мы постарались сделать modernGENA максимально эффективной и делешвой для файнтюна. Модель претренили на районах [-16 kbp, +8 kbp] вокруг TSS позвоночных (443 вида), чтобы она видела меньше повторов и больше регуляторных последовательностей.

Доступны две версии:

- base (135M params)
- large (377M params)

Технические детали:

- энкодер
- кодбаза ModernBERT
- позиционки RoPE
- гибрид local/global attention
- pre-norm transformer blocks
- GeGLU feed-forward layers
- end-to-end unpadding (автоматически убирает не нужные PAD-токены, что ускоряет вычисления)
- FlashAttention
- поддержка torch.compile