LLM не всегда справляются с задачами «из коробки». В ряде случаев им необходимо предоставить данные из базы знаний с помощью RAG-подхода. Однако для более сложных задач этого может быть недостаточно, тогда требуется дообучение модели.
Мы начали с задачи оценки ответов операторов.
«Дообучение LLM — неизбежный шаг при создании современных, качественных AI-систем. Когда все «низковисящие фрукты» уже собраны, наступает момент, когда модель необходимо дообучать напрямую, чтобы продолжать улучшать её качество. К счастью, существуют легковесные методы, которые позволяют делать это эффективно и без серьёзных затрат на инфраструктуру.
Особенно важно, что даже этих облегчённых подходов оказалось достаточно, чтобы достичь более высокого качества по сравнению с классическими решениями на базе BERT, которые долгое время считались золотым стандартом в задачах классификации.
Это значимый прецедент успешного дообучения LLM в Альфе, который меняет подход: теперь LLM применимы не только для генерации текста, но и для более узких задач, которые раньше решались отдельными моделями, обученными на большом объёме размеченных данных»,
— Александр Сенин, руководитель Центра компетенций Natural Language Processing
На карточках рассказываем, какие методы дообучения выбрали, с какими моделями начали и к каким результатам пришли 👆
Спойлер: удалось добиться стабильной высокой точности без перехода на внешние решения.
#aaa_hardposting