Теперь можно запускать Thinking Machines Inkling локально.

Это огромная open-модель на 975B параметров с поддержкой текста, изображений, аудио и контекста до 1M токенов. На Hugging Face её описывают как мультимодальную модель с 41B активных параметров и поддержкой agentic-сценариев.

Unsloth уже выложила GGUF-кванты и гайд по запуску. Самый жёсткий вариант — Dynamic 1-bit, который режет размер примерно на 86% и требует около 270–290 ГБ RAM/VRAM для запуска.

Главный момент не в том, что модель «маленькая».

Она всё ещё гигантская.

Но 1-bit-квантизация делает локальный запуск таких монстров хотя бы технически реалистичным для очень мощных машин.

Для тех, кто тестирует локальные агенты, мультимодальные пайплайны и long-context задачи, Inkling выглядит как модель, которую точно стоит потрогать.

Guide: https://unsloth.ai/docs/models/inkling
GGUF: https://huggingface.co/unsloth/inkling-GGUF