В релиз вошли 4 модели: от компактной 2B до на 31B. По метрикам это новая открытая SOTA.
Любую из моделей семейства можно поднять в DS Lab за несколько минут на арендованных мощностях: без настройки окружения, установки библиотек и прочего. Удобно для локального инференса, файнтюнинга или разработки продуктов и петпроектов.
1. Создаете проект с готовым ML-окружением, выбираете подходящий GPU и прописываете в терминал:
sudo apt-get update && sudo apt-get install -y zstd pciutils lshw
curl -L https://github.com/ollama/ollama/releases/download/v0.20.0-rc0/ollama-linux-amd64.tar.zst -o /tmp/ollama.tar.zst
cd /tmp && tar -xf ollama.tar.zst
sudo cp bin/ollama /usr/local/bin/ollama
OLLAMA_HOST=0.0.0.0:11434 OLLAMA_ORIGINS=* ollama serve &
ollama pull gemma4:31b
2. Открываете вкладку «Порты» в IDE: там уже готов публичный HTTPS-адрес.
3. Готово, теперь вы можете использовать модель, которая поднята у вас в DS Lab, в любом клиенте через OpenAI-совместимый API, просто поменяв base_url на этот адрес.
Попробовать: dslab.tech