Thinking Machines Миры Мурати превратила закрытую экспертную оценку Bridgewater в обучаемый навык и обошла frontier-модели, снизив число ошибок на 29.8%.

В ии подавали финансовые статьи, отчёты, документы центробанков, письма. ИИ должен был определить что аналитик должен прочитать первым. Для LLM это оказалось тяжёлой задачей. При обычных промптах модели держались на уровне 46–50% accuracy, почти как угадывание.

Экспертные промпты поднимали качество до 74–78%, но лучший результат дала разметка от опытных инвесторов Bridgewater. Неэкспертные метки провалились: здесь важны рыночный контекст, приоритеты и профессиональное чутьё. Один заголовок про тарифы может быть сильным сигналом, другой громкий геополитический инфоповод останется шумом.

Bridgewater чистила датасет через спорные рейсы. Если модель расходилась с разметкой, пример возвращали экспертам на повторную проверку. Так в обучение попали паттерны принятия решений, которые эксперты видят интуитивно, но редко могут описать полноценной инструкцией.

В обучении использовали три приёма. Во-первых, смешивали разные типы задач, чтобы модель училась применять экспертную оценку в похожих сценариях, а не запоминала один узкий шаблон.

Во-вторых, аккуратно ограничивали обновления при обучении. Это снижало риск, что модель зацепится за случайные признаки в данных и начнёт уверенно ошибаться.

В-третьих, модель дообучали на ответах более сильных версий. Так лучшие checkpoints постепенно становились учителями для следующих итераций.

Результат: на 29.8% меньше ошибок, чем у лучшей frontier-модели, и в 13.8 раза ниже inference cost.

Заметное преимущество, благодаря качеству экспертных решений. Такой датасет конкурент не скачает с Hugging Face.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/