OpenAI осознали бесперспективность файн-тюнинга моделей

7 Мая OpenAI оповестили разработчиков, что лавочка закрывается. Новые компании уже больше не могут запускать задачи тюнинга. В течение полугода закроют возможность даже для тех, кто уже тюнил. А возможность использования своих тюненых моделей сохранится только до момента выключения базовой модели. Потом - все.

См deprecations page.

В OpenAI говорят, что надо переключаться на RAG-и, нормальные инженерные подходы, оркестрацию и контроль качества. Это и выгоднее для всех, и позволяет быстрее выкатить рабочие решения без наступания на грабли.

Это все логично. Среди кейсов успешных внедрений AI в бизнес задачи я видел только один случай, когда традиционную LLM затюнили и получили желаемый результат, который стоил того (тюны ASR/Wake/Emb/TTS/CV стэка сюда не включаем, да и они тоже уже отмирают). Эти кейсы вместе с паттернами я разбираю в курсе AI Assitants вместе с бесперспективностью тюнинга и векторных подходов.

Тюнинг (и векторные RAGи) умирают не потому, что они не работают (вполне себе работают), а просто потому, это слишком долгий, дорогой и рискованный подход к повышению качества ответов (как для пользователей, так и для вендоров). Есть пути попроще - context engineering, современные frontier модели (включая локальные), контроль качества, tool use.

Если вы до сих пор используете тюнингованные модели в облаке, можно ожидать, что и другие компании последуют примеру OpenAI и свернут лавочку тюнинга, даже если это LORA. А потом это дойдет и до экосистемы локального inference.

И когда это произойдет, можно будет еще раз перечитать мой прогноз в конце 2024 года про тупиковость fine-tuning, ну или крик души про fine-tuning в бизнесе от 2023 года)

Ваш, @llm_under_hood 🤗