⚡️ Яндекс открыл модель, на которой работают быстрые ответы в Поиске

Яндекс выложил на Hugging Face Alice AI-T5-35B-A0.6B Base — модель, которую обучили с нуля специально для высоконагруженного Поиска. Её дообученная версия Alice AI Search используется для генерации быстрых ИИ-ответов в Поиске. 

При сотнях тысяч запросов в минуту такая модель должна не только хорошо отвечать, но и делать это за считанные секунды, не сжигая лишнее. Поэтому из 35 млрд параметров на каждый токен включаются только 600 млн, а отдельная модель отбирает из найденных документов лишь нужные фрагменты — такой подход увеличил пропускную способность примерно на 40%.

В итоге модель показывает сильные результаты на русскоязычных задачах и сопоставима с гораздо более тяжёлыми моделями, оставаясь дешевле в работе.

@ai_machinelearning_big_data

#news #ai #ml