Ollama оказался медленным и небезопасным – лучше брать оригинальный llama.cpp

#ai #ии #новость #Ollama

Zetaphor опубликовал в своем блоге “Sleeping robots” резонансный пост. Автор, известный в сообществе локальных LLM, жёстко раскритиковал самый популярный инструмент для запуска нейросетей на собственном железе – Ollama (стартап, прошедший Y Combinator W21 и привлёкший венчурные деньги). Поводом послужила многолетняя череда проблем: от игнорирования лицензии MIT и замалчивания реального движка llama.cpp до выпуска закрытой десктоп-программы.

Ollama появилась в 2023 году как удобная обёртка над llama.cpp – тем самым C++-движком, который Георгий Герганов набросал за один вечер в марте 2023 года. Именно llama.cpp, с его форматом GGUF и поддержкой более 450 контрибьюторов, сделал возможным запуск LLM на обычных ноутбуках.

Проблема в том, что больше года в README Ollama не было ни слова про llama.cpp, а бинарные сборки не включали требуемое лицензией MIT уведомление об авторских правах. Когда в начале 2024 года открыли issue #3185 с требованием соблюсти лицензию, мейнтейнеры молчали более 400 дней. Позже, под давлением сообщества, один из сооснователей Майкл Чианг добавил в самый низ README одну строчку: “llama.cpp project founded by Georgi Gerganov”.

В середине 2025 года Ollama отказалась от llama.cpp в пользу собственной реализации поверх библиотеки ggml (низкоуровневого тензорного движка). Формальная причина – стабильность для корпоративных клиентов. Реальный результат – возвращение старых багов, которые llama.cpp побеждал годами. Сломалась поддержка структурированного вывода, полетели vision-модели, посыпались assertion-крэши.

Сам Георгий Герганов заметил в твиттере, что Ollama форкнула GGML и внесла в него плохие изменения. А бенчмарки показали катастрофу: llama.cpp быстрее Ollama в 1,8 раза (161 токен/с против 89) на GPU, а на процессорах разрыв достигает 30–50%. Тест на Qwen-3 Coder 32B продемонстрировал ~70% преимущество llama.cpp по пропускной способности.

Читать новость

Life-Hack - AI