PS5LM - llama.cpp на PS5 с джаилбреком: запуск любой модели GGUF на консоли, начиная с Qwen 3.8.llama.cpp на взломанной PlayStation 5, на её графическом процессоре. Нативная программа, которая запускает языковые модели GGUF непосредственно на консоли, с панелью управления на телевизоре, магазином моделей, а также чатом и API, совместимым с OpenAI, для каждого устройства в вашей сети.
Полезная нагрузка получает около 6 ГБ памяти и не использует графический процессор. Нативный приложение (игра) получает 12 ГБ прямой памяти консоли и графический процессор, поэтому PS5LM Plus работает как единое целое: llama-server с бэкендом Vulkan от ggml на порту RADV от Mihawk-99, в одном хранилище данных размером 11,44 ГБ.
Возможности:
- панель управления: скорость генерации с историей, использование
GPU и CPU, энергопотребление SoC и энергия на единицу токена, температура и вентилятор, пул памяти и распределение памяти между моделью, KV-кэшем и остальными компонентами, используемый контекст, хранилище на каждом диске и загруженная модель. - библиотека моделей: все файлы
.gguf, хранящиеся во внутренней памяти, на M.2-накопителе или USB-накопителе, сгруппированы по типу накопителя. Для каждого файла отображается контекст и кэш ключ-значение, а также информация о его совместимости; выполняется кросс-загрузка. - настройки: загрузка модели при запуске и выбор модели, самый длинный контекст, тип кэша KV, инструменты для работы с файлами в чате и время предупреждения о папке, звуки и диск, на который будут сохраняться загрузки. Сохранено в /data/PS5LM/settings.json.- журналы:
app.log и llama.log на телевизоре, с фильтром только ошибок.- получение моделей: репозитории
GGUF от Hugging Face, большинство из которых загружены или сгруппированы по семействам. Для каждого файла указан его размер и совместимость с данной консолью (Square проверяет это по запросу, считывая первые 16 МиБ файла). Загрузка осуществляется через Cross.- загрузки: очередь, которая сохраняется после разрыва соединения, паузы и перезапуска приложения. Каждая загрузка возобновляется с того места, где остановилась, повторяется самостоятельно и отображает скорость и оставшееся время. Cross приостанавливает или возобновляет загрузку, Square отменяет её. Файлы проверяются по хешу
SHA-256.На
Qwen3.8-27B показывает скорость примерно 20.7 tok/shttps://github.com/abhi245y/PS5LM
опубликовано в @gitgate
#ai #llm #ps5 #jailbreak