Пару недель назад Т-технологии (Т-Банк) выложиди в открытый досутуп модели T-Pro и T-Lite.
https://vc.ru/ai/1702562-t-tehnologii-vylozhila-ishodnyi-kod-bolshih-yazykovyh-modelei-na-32-mlrd-i-7-mlrd-parametrov
Мы первично протестировали T-Pro для нашего консультанта.
Сравнили с Mistral (это была первая модель, которую мы пробовали on-premise)
На примерах наших промтов по качеству ответов T-Pro кажется поинтереснее.
Но при этом в 10 раз медленнее.
К разговору о моделях, кроме описанных выше, мы пробовали Claude 3.5 Sonnet, GPT 4o и Liquid AI.
Ещё интересно будет попробовать новую GigaChat Lite.
Нашёл про неё такую информацию:
Флагманом релиза стала GigaChat Lite — первая русскоязычная MoE-модель (Mixture of Experts), насчитывающая 3 млрд активных параметров. Модель превосходит все существующие 8-миллиардные модели в работе с русским языком, хотя немного уступает им в англоязычных тестах.
MOE-модели обычно быстрее трансформеров, интересно посмотреть скорость и качество ответов на наших достаточно сложных промтах.
Пока наши оценки моделей субъективны\, потому что мы ещё не сформировали тестовые наборы данных и бенчмарки для оценки применяемых моделей и в целом пайплайнов на задачах медицинского консультирования.
Но мы уже работаем над этим)
Post #12
353