🤖 Честно говоря, даже и не знал, что у Сбера тоже есть T5, т.к. никто ими не пользуется из клиентов на обучении, а у меня это сотни специалистов. Правда, анализ AliceAI-T5-35B-A0.6B (Яндекс), google/t5gemma-2-4b-4b, FRED-T5-1.7B (Сбер) и FRIDA (Сбер) быстро пояснил почему.

У Yandex MoE и нагрузка на GPU только от 0.6B параметров, у Сбера модели хотя и крошечные, но нагрузка выше. Правда, потенциально можно делать LoRA для dense, но по параметрам модели видно, что она настолько глупая, что вряд ли это получится практически. Крошечный контекст 512 токенов у Сбера и обучение всего на 300GB корпуса текстов фактически делают модель неконкурентной против решений Yandex и Google в T5.

📌 Как обычно, можете не согласиться со мной в комментариях, мы обсуждаем сейчас в чате «Православные ИИ», т.к. в госсекторе какие бы они плохими ни были, но будут применяться именно они в итоге.