OpenAI прекращают поддержку файнтюнинга моделей

Новость, которая отражает какие подходы побеждают, а какие проигрывают 💀

Насколько я вижу вокруг: вау решений на LLM, дообученных LoRa адаптерами не получается. Хотя я не настолько категоричен как автор LLM под капотом, который считает эту ветку тупиковой.

Дообучением занимаются, когда хотят получить хороший результат на маленькой модели. Но это трудозатратный и нестабильный метод.

Лучше сперва делать решение на больших моделях, а затем думать как удешевить.

Мы так и поступили на нескольких проектах. В одном кейсе экономика на самом деле уже сошлась. А если что, ее можно удешевить продуктово, ограничив тех, на кого раскатывается фича.

А в другом экономика тоже сходится, но хочется более быстрых ответов. Поэтому мы обучаем легкий декодер (не факт что на основе LLM). Интересно что получится. У нас оптимистичные ожидания 😎