Создатель oMLX перешёл работать в Hugging Face, проект остался открытым

Hugging Face объявила о найме Jun Kim (jundot), автора и ведущего разработчика oMLX.
Лицензия Apache 2.0 сохраняется: Kim продолжает руководить проектом. Из хобби проект переходит в полностью финансируемую разработку. (под крышей NVidia :) )

⚙️ oMLX это сервер локального запуска моделей на Apple Silicon поверх фреймворка MLX. Главное решение: постраничный кеш KV-блоков на SSD. Агентские сессии постоянно сдвигают контекст и обнуляют кеш, поэтому на длинных промптах первый токен приезжал через 30-90 секунд. oMLX кладёт блоки кеша на диск в формате safetensors и восстанавливает совпавший префикс за миллисекунды, в том числе после перезапуска сервера.
Дальше по списку: непрерывная пакетная обработка запросов с ускорением до 4,14 раза на восьми параллельных, одновременная работа языковой, зрительной, эмбеддинговой модели и реранкера, совместимость с API OpenAI и Anthropic, вызов инструментов и MCP, приложение в строке меню macOS. С февраля проект собрал 22 тысячи звёзд и 125 релизов.

🎯 Для MLX Hugging Face отводит oMLX роль испытательного полигона, а удачные решения поднимает в mlx-lm и mlx-vlm. Отдельный фокус: быстрый перенос описания модели из transformers в эталонную реализацию на MLX, чтобы новые модели заводились во всех движках сразу.

💼 Вывод хотите устроиться в ИИ гиганта, - сделайте стартап, который бы они купили вместе с вами :)
Openclaw вот в начале года, теперь oMLX.

#oMLX #MLX #HuggingFace
———
@tsingular