Открытая модель WizardLM-2 8x22B в задачах на кодинг оказалась на уровне GPT-4!

Помните я недавно рассказывал про супер-пупер модельку llama-3-70b? Так вот, на самом деле, примерно в это же время Microsoft выпустили другую модель под названием WizardLM-2 8x22B. Только они почти сразу ее удалили, то ли из-за цензуры, то ли еще из-за чего. Но было уже поздно, т. к. пользователи ее быстро "форкнули".
В общем, ресерчу сейчас разные бенчмарки, и наткнулся на один любопытный (ProLLM), в котором авторы не поленились добавить эту самую мифическую LLM WizardLM-2 8x22B. Так вот, в их бенчмарке в задачах по кодингу WizardLM-2 8x22B даже немного опережает Claude Opus и почти достигает уровня GPT-4 Turbo.
Размер контекстного окна WizardLM-2 8x22B на вход и на выход аж 65к токенов - для открытой LLM даже на input это крутые показатели. Что касается output, то на практике мне не удалось получить от нее больше 3к токенов (но и это тоже хорошо, ведь большинство моделей и не может выдать больше 4к токенов в ответе).
А теперь, самое интересное: цена на эту модельку в OpenRouter начинается от 0.65$ за 1 миллион токенов - это в десятки раз дешевле, чем топовые модели от OpenAI и Claude. То есть, по сути, модель уровня GPT-4 можно использовать по цене ниже GPT-3.5 Turbo! Еще, я заметил, что это моделька пишет неплохие тексты на русском.
Ну, а вишенка на торте то, что эту модельку можно запустить и бесплатно, например, в Together.AI или в Lepton.AI - доступ открывается после регистрации.
—
Кстати, а что это за бенчмарк вообще такой ProLLM, спросите вы? ProLLM - это новый бенчмарк (апрель 2024), проверяющий то, как хорошо LLM смогут ответить на вопросы с StackOverflow - выглядит годно. Удобно, что можно выбрать не только конкретный ЯП, но и категорию (оптимизация, отладка, реализация). Подробное описание тут.