На взломанной PS5 запустили Qwen на 27 млрд параметров 😱

Разработчик под ником abhi245y выпустил приложение PS5LM Plus, которое гоняет LLM прямо на GPU консоли. Звёздный номер программы — Qwen 3.8 с 27 млрд параметров, ужатая 2-битным квантованием. Выдаёт около 20 токенов в секунду, всё считается локально, а запросы отправляются с телефона или компьютера через веб-интерфейс — в одной сети с PS5.

Квантованная Qwen UD-IQ2_XXS занимает 6,8 ГБ и генерирует 20,7 токена/с при контексте 64 тыс. токенов; версия UD-Q2_K_XL весит 9,2 ГБ и даёт 20,3 токена/с при контексте 32 тыс. Модели помельче летают куда бодрее: Gemma 4 E4B — 61 токен/с, Llama 3.2 3B — 124 токена/с.

Sony от всего этого вряд ли в восторге 🤣

🥸 godnoTECH - Новости IT