🥇 Как понять, какая нейросеть лучше?

Мы уже рассказывали про сайт Chatbot Arena, где пользователи слепым тестированием оценивают и сравнивают разные нейросети.

Вот еще один полезный сервис.

📊 Artificialanalysis.ai сравнивает и ранжирует более 30 больших языковых моделей (LLM) по ключевым параметрам: качество (понимание языка на тесте MMLU + результаты на Chatbot Arena), цена, скорость и другие.

Лидеры в рейтинге «Скорость» (количество токенов в секунду):

🔍 Gemma 7B — 875
🔍 Gemini 1.5 Flash — 213
📱 Llama 3.1 (8B) — 169

«Качество», индекс (макс. 100%):

📱 GPT-4o — 77
🖥 Claude 3.5 Sonnet — 77
📱 GPT-4 Turbo — 74

«Цена», $ за 1 млн токенов:

🐋 OpenChat 3.5 — 0,13
🔍 Gemini 1.5 Flash — 0,13
🔍 Gemma 7B — 0,14

Image Arena

На сайте также есть отдельная Image Arena, сравнивающая популярные нейросети для генерации изображений. Лидируют новички FLUX.1 и Ideogram 2.0, оставив позади знаменитую Midjourney 6.1.

Качество генерации, индекс ELO (чем выше, тем лучше):

🫡 FLUX.1 [pro] — 1151
🏠 Ideogram 2.0 — 1130
📱 Midjourney 6.1 — 1126

Подробнее о методологии можно прочитать здесь.

#news @hiaimedia