«Internal OpenAI model» — что это за штука, и с какого перепугу DeepSeek уже дышит OpenAI в затылок?

То, что варят внутри фронтирных лабораторий, наружу не выкатывают. Модель, на которой сидят их же исследователи, и модель, которую гонят через API, — не одно и то же. Лаборатория собирает не одну сетку, а целый конвейер: research-чекпоинты, экспериментальные модели, reward-модели, модели-учителя, модели для генерации синтетических данных, модели-evaluators, дистиллированные студенты и production-модели. А до публики доезжает только последний пункт из этого списка.

Окей, допустим, обучили чудовищно дорогую модель. Ризонит будь здоров, код пишет, математику щёлкает. Беда одна: каждый запрос к ней сжирает прорву вычислений. Для исследователя внутри конторы это нормальный рабочий инструмент. А для продукта со 100 млн юзеров её профитнее превратить в учителя: она штампует годные ответы, решения, траектории ризонинга, синтетику, а иногда и сами распределения вероятностей — и на этом поведении дрессируют студента поменьше. Это одна из форм дистилляции знаний, и настолько распространённая, что OpenAI не постеснялась выложить официальный Model Distillation workflow: берёшь ответы модели посильнее, хоть GPT-4o, хоть o1-preview, и учишь на них модель подешевле — «взять продвинутую модель и получить сопоставимое качество на конкретной задаче при существенно меньшей стоимости».

Отсюда простой вывод: лучшая research-модель и лучшая production-модель тянут разные функции. Первая качает максимум возможностей. Вторая тащит всё сразу — intelligence, latency, стоимость GPU, throughput, reliability и safety. Читать далее

👉 Telegram | Max