OpenAI разрабатывают (и, возможно, скоро выкатят) сразу две модели под кодовыми названиями Shallotpeat и Garlic

Утром мы писали о том, что Альтман объявил в OpenAI "код красный": стартап будет мобилизировать все возможные ресурсы, чтобы наверстать отрыв от конкурентов и снова выйти в абсолютные лидеры.

Так вот, оказывается, что в той же служебной записке фигурировала модель "Shallotpeat", которую компания, якобы, собирается выпустить очень скоро. Модель, по словам инсайдеров, призвала решить проблемы, возникшие во время претрейна.

Видимо, OpenAI возлагали большие надежды на скейлинг. Но, к сожалению, если это работало для GPT-4 и 4.5, то теперь (цитируя классиков) эра масштабирования в каком-то роде закончилась, и скейлинг уже не дает такого вау-эффетка.

В общем, Shallotpeat, с помощью дополнительного пост-трейнинга, должна закрыть эту дыру и существенно улучшить качество ответов для сложных задач и ризонинг, а также снизить количество галлюцинаций. В этом смысле название Shallotpeat довольно говорящее: с английского так называют специальный торф, который насыпают сверху на "базовую" почву, чтобы улучшить ее качество.

Вторая модель, о которой узнали в The Information, – Garlic – выйдет немного позже Shallotpeat, но тоже довольно скоро. Этот релиз будет уже помасштабнее.

Garlic, судя по всему, уже обучали с нуля с учетом прошлых ошибок в претрейне: речь в служебных записках идет о более крупной модели.

Ждем?