И краткое сравнение выложенных моделей GENA на основе Bert и BigBird:

🟢 данные обучения:
Bert—based - T2T
BigBird - based - T2T + SNPs augmentations

🟢 маскимальная длина входа в токенах:
Bert-based: 512
BigBird-based: 4096

🟢 словарь:
в Bert-based словарь менее качественный (по анализу от коллег из ИТМО)
(Ребята, спасибо и теплый привет!)

🟢 Bert быстрее, потребляет меньше памяти, но на ряде задач проигрывает BigBird в предскзаниях