Новые gpt-oss-20B и gpt-oss-120b от OpenAI

Вчера OpenAI представили gpt-oss-20B и gpt-oss-120b - полностью открытые размышляющие модели размерами 21 и 117 миллиардов параметров соответственно.

Несмотря на то, что они OpenAI, а не SometimesWeReleaseOpenModelsAI - это их первый открытый релиз со времён GPT-2 (6 лет уже прошло)

По бенчмаркам там просто фантастика - маленькая модель сравнима с o3-mini, а большая с o4-mini в плане написания кода, что является невероятно хорошими результатами.

Бенчмарки можно видеть на скриншотах - не только код, но и математика.

Архитектура - Mixture of Experts.
Многие начали писать, что модели очень плохи в языках и плохо переводят. Я решил это проверить и запустил локально модель поменьше, благо она полностью влезает в 16гб на видеокарте и уже доступна в LM Studio.

Дал на вход кусок документации по NumPy и попросил перевести на русский. И первоначально у меня выходил перевод (а с третьего-четвёртого абзаца уже и не перевод, а просто оригинальынй текст) такого вида:

Добро пожаловать в абсолютный руководство новичкам для NumPy!

...

NumPy содержит многомерные массивы данных, такие как homogeneous N-dimensional ndarray, и большой набор функций, которые эффективно работают с этими данными. Узнайте больше о NumPy в разделе "What is NumPy", и если у вас есть комментарии или предложения, пожалуйста, обращайтесь!

или

Это распространённая convention позволяет доступ к NumPy‑функциям с короткой, распознаваемой префиксом (np.) и разделяет NumPy‑функции от других функций с одинаковым именем.

Понять можно, конечно, но зачем?

Потом я полез в настройки и увидел, что количество активных экспертов в LM Studio выставлено на 32, хотя на страничке в OpenAI вполне ясно сказано "The specifications describe the gpt‑oss‑120b as a 120 B‑parameter mixture‑of‑experts model with 36 layers, each containing 128 experts (with 4 of them active for any token)."

После исправления числа экспертов в LM Studio качество перевода внезапно стало отличным лучше (но всё равно ужас, в комментариях я это уже признал), а скорость, ожидаемо, выросла.

Добро пожаловать в полное руководство по NumPy для абсолютных новичков!

NumPy (Numerical Python) — это открытая библиотека Python, которая широко используется в науке и инженерии. Библиотека NumPy содержит многомерные структуры данных массивов, такие как однородный N‑мерный ndarray, а также большой набор функций, которые эффективно работают с этими структурами данных. Узнайте больше о NumPy на странице «Что такое NumPy», и если у вас есть комментарии или предложения, пожалуйста, свяжитесь с нами!

Влезает в 16 Гб., а возможно и в 12 Гб. Есть ли что-то лучше, что целиком влезет в такой объём памяти?

На конфиге из 4070 Ti Super 16Gb + 13600K выдаёт 98 ток/сек при 6000 токенов контекста на вход.

Только на CPU выдаёт 9 ток/сек

Приятная скорость.

https://gpt-oss.com/ - если хотите поиграться онлайн и бесплатно
https://openai.com/index/introducing-gpt-oss/ - про релиз