Из PS5 сделали домашний ИИ-сервер

Энтузиасты выложили PS5LM Plus — проект, который гоняет нейросети прямо на видеочипе джейлбрейкнутой консоли. Не на процессоре, а на GPU — и в этом вся соль.

Фокус в том, что нативное приложение получает все 12 ГиБ памяти консоли и доступ к видеочипу, тогда как обычный payload довольствуется шестью и без GPU. Внутри — llama.cpp на Vulkan.

Цифры автора говорят сами за себя: сжатая Qwen 27B выдаёт около 20 токенов в секунду, а лёгкая Llama 3.2 3B разгоняется до 124. Для сравнения, та же 27B на процессоре еле выдавала один токен в минуту.

Управление удобное: модели выбираешь геймпадом из меню на телевизоре, видишь дашборд со скоростью, температурами и питанием, а общаешься с моделью с телефона или ноутбука через браузер — или подключаешься по OpenAI-совместимому API.

@ai_n_hardware