🤷 Когда использовать BERT, а когда LLM?

Во время решения различных NLP задач ловлю себя на мысли, что часто можно применить LLM.

Задача классификации? - Берём LLM + Structured Output.

Задача NER? - Тоже можно взять LLM, написать пару промптов и алгоритмов и вуаля - будем находить персональные данные в тексте.

Но, к сожалению, не так все просто.

1️⃣ Первое, во что упираемся - это инфраструктура и требования к системе. LLM бывает дорогим удовольствием, если нет доступа к хорошему железу. Здесь, конечно, можно использовать облачные решения, например с OpenRouter. Но если работа происходит с чувствительными данными, то использование облачных LLM становится затруднительным.

Даже если у вас есть своё железо, проблема не всегда решена. Если система должна обрабатывать тысячи запросов за секунды - LLM тоже может проигрывать в таких ситуациях.

Соответственно, вот и одно из преимуществ BERT моделей - они не требуют мощного железа и работают достаточно быстро. То есть, их использовать гораздо дешевле.

2️⃣ Далее, конечно же, следует вопрос качества. И вот тут ответ на вопрос не такой однозначный. Я изучил несколько интересных работ, в которых сравнивали BERT модели с классическими LLM.

В некоторых работах ([1], [2], [3]) оценку проводили на задаче классификации, и здесь BERT модели показали результат лучше, чем у LLM. Для задачи NER в одной из работ [4] картина та же.

Но в той же работе [2], авторы показывают, что для обнаружения галлюцинаций - LLM показывает результаты лучше, чем BERT, та же картина в работе [5] со сравнением GPT-4o и BERT на задаче классификации отзывов с туристического сервиса. Также в этой [6] работе GPT показала лучшие результаты на задаче NER для нахождения в тексте имен людей.

Таким образом, однозначно сказать, кто лучше, тяжело. Нужны эксперименты и research.
Мне понравилась идея авторов работы [2], в которой они советуют подход к выбору архитектуры так:
- Для задач, где ответ лежит на "поверхности" в тексте, хорошо себя показывает BERT (например, при классификации тональности чаще всего легко понять, отзыв положителен или отрицателен).
- Для задач, где требуются внешние знания или же глубокое рассуждение - хорошо показывают себя LLM.
Они приводят этот фреймворк для задачи классификации, который можно взять на вооружение.

3️⃣ Последний аспект, который я хотел упомянуть - это выбор архитектуры в зависимости от наличия и изменяемости данных.

Если у вас на старте отсутствуют данные для обучения, либо же предполагается, что например, категории будут часто меняться - лучше использовать LLM, потому что все необходимые правила можно быстро установить промптом и оно будет достаточно неплохо работать. К тому же, плюсом LLM является то, что вы можете заставить её объяснить своё решение, если это необходимо для вашей задачи.

Если же вы имеете достаточное количество данных и не предполагается сильное изменение категорий в данных - можно попробовать обучить BERT и оценить, как хорошо он справляется.

#️⃣ Подводя итог, можно сказать - перед выбором между BERT моделями и классическими LLM отталкиваемся от инфраструктуры и требований к системе. Также анализируем решаемую задачу и те данные, с которыми модель должна работать. Ответив на эти вопросы, можно принять первое решение и в дальнейшем отталкиваться от него.

Максим Максимов // IT, AI