Thinking Machines Миры Мурати показала, как превратить закрытую экспертизу компании в обучающий сигнал для модели.

Кейс сделали с Bridgewater. На вход модели давали финансовые статьи, отчёты, документы центробанков и письма. Задача: определить, что инвестор или аналитик должен прочитать первым.

Для LLM это оказалось сложнее, чем кажется. Обычные промпты давали 46–50% accuracy, почти уровень угадывания. Экспертные промпты поднимали качество до 74–78%, но лучший результат дала разметка от опытных инвесторов Bridgewater.

Подход в том, что модель обучали по решениям экспертов. Один заголовок про тарифы может быть важным рыночным сигналом, другой громкий геополитический инфоповод останется ни на что не влияющим шумом. ственные метрики экспертов.

Bridgewater отдельно вручную спорные кейсы. Если модель расходилась с разметкой, пример возвращали экспертам на повторную проверку. Так в датасет попадали решения, за которыми стоит реальный профессиональный контекст.

В обучении смешивали разные типы задач, аккуратно ограничивали слишком резкие обновления модели и дообучали её на ответах более сильных версий. Без перегруза: модель постепенно училась повторять экспертное суждение и меньше цепляться за случайные признаки.

Результат: на 29.8% меньше ошибок, чем у лучшей frontier-модели, и в 13.8 раза ниже inference cost.

Как применять в работе- брать узкий процесс, где у команды есть сильная экспертиза, собирать решения лучших специалистов, прогонять спорные случаи через повторное ревью и обучать модель на этих метках. Особенно подходит для triage, risk review, аналитики, поддержки, compliance, отбора документов и внутренних research workflow.

Заметное преимущество, благодаря качеству экспертных решений. Такой датасет конкурент не скачает с Hugging Face.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/