Свой бенч: RTX 5070 Ti против российских облаков

Много кто говорит, что 131K контекста — мало, а IQ3 — это глупость. Автор взял одну RTX 5070 Ti, запустил Qwen3.8-27B IQ3 и проверил на деле.

Вышло так: успех 91.1%, индекс 82.3, 68.3 tok/s в один поток. От лучших российских облаков это отстаёт всего на пару пунктов индекса — то есть в пределах шума. А цена за успешную задачу на своём железе — 0.09 ₽ против рублей и единиц рублей у облаков.

Вторая локальная строка, Gemma4-12B, выдала 88.9% и 78.0 индекса при 94.4 tok/s за 0.03 ₽ — ещё дешевле и быстрее, хоть и чуть слабее по качеству.

Метод честный: два набора задач (синтетика с инструментами + русскоязычные письменные), по три прогона, оценка не ниже 0.6 считается успехом. Облака скрыты под кодами — разрешение на имена ещё уточняется.

Источник: habr.com

@ai_n_hardware