Кто сказал, что запуск больших моделей локально обязательно должен быть тяжёлым и раздутым?

Shimmy — это односоставный бинарник на Rust размером всего 5 МБ, который явно бросает вызов Ollama.

Что обещает проект:

→ один исполняемый файл размером 5 МБ
→ запуск примерно за 100 мс
→ потребление памяти около 50 МБ
→ 100% совместимость с OpenAI API

Если Ollama кажется слишком громоздким, а запускать локальные модели всё равно хочется — стоит присмотреться к Shimmy.

https://github.com/Michael-A-Kuykendall/shimmy

@WebDev_Plus