Популярный пользователь antirez - выложил
ds4.c, небольшой C/Metal-движок для запуска DeepSeek V4 Flash локально на мощных Mac.Идея узкая: один конкретный модельный стек, свои GGUF-кванты, проверка по официальным векторам и нормальная интеграция с агентами. Q2-вариант рассчитан на машины со 128 ГБ RAM, Q4 - скорее на 256+ ГБ.
Что внутри:
🔵Metal-граф для инференса, 19 compute-kernel файлов.
🔵CLI и локальный сервер.
🔵OpenAI-совместимые эндпоинты
/v1/chat/completions и /v1/completions.🔵Anthropic-совместимый
/v1/messages, чтобы подключать Claude Code-подобные клиенты.🔵Поддержка tool calls.
🔵SSE-стриминг.
🔵Дисковый KV-кэш для длинных агентских сессий: сервер может переиспользовать стабильные префиксы вместо повторного префилла с нуля.
Самая интересная часть - ставка на длинный контекст локально. В README прямо говорится про контекст до 1M токенов и про то, что KV-кэш для таких моделей пора считать дисковым состоянием, а не только RAM-состоянием.
Код пока alpha качества, Metal-only, под конкретные GGUF-файлы из
antirez/deepseek-v4-gguf. Зато это не очередная абстрактная обвязка вокруг всего подряд, а попытка сделать один локальный агентский стек законченным: модель, рантайм, API, тесты и клиенты.Чат | OpenClaw One-Click | CloseRouter