Пересмотрел доклад с прошедшего Practical ML Conf 2024 про сервис «Нейро» Яндекса.

Несколько ключевых вещей, на которые я обратил внимание в их решении:

Снижают дисперсию (разнообразие) текстов разметки за счет инструкций.
И фишка в том, что модель таким образом не учит второстепенную информацию (стиль асессора), а фокусируется на извлечении информации из инфо-контекста (нагугленных ссылок.)

Подбирают оптимальную архитектуру и находят баланс между количеством необходимых данных и необходимыми мощностями при запуске в продакшен

Взяли Encoder-Decoder полегче вместо более «жирного» Decoder’а - потому что у ED архитектуры каждый токен аккумулирует всю информацию из инфоконтеста, в том время как у D архитектуры матрица между токенами треугольная и информация теряется.

Добавлена метрика «подверженность» - чтоб максимально фокусировать и тюнить модель на извлечении информации вместо фантазерства (галлюцинаций).

Остальные доклады с конфы можно посмотреть здесь.