Большие модели нужны редко. На продакшне не нужны почти никогда.

Мы изначально взяли подход "SLM + допретрен + файнтюн": небольшие модели, делаем допретрен на русский и наш домен, и потом делаем файнтюны на задачи. Это быстрее, дешевле и эффективней.

Это слайд с рабочей встречи - на очередном новом кейсе выигрыш нашего файнтюна маленькой модели против GPT-4. С первого раза такой результат.

В данном случае файнтюн gemma9b, допретрен на русском языке + бизнес домене, с большим запасом перебивает gpt4. gpt4o на конкретно этой задаче работает ещё хуже, так бывает.