#полезное
❤️‍🔥 Tinker — первый продукт Thinking Machines

Tinker это облачное API для файнтюна LLM направленное на ресёрчеров. Оно берёт берёт на себя менеджмент инфраструктуры, при этом оставляет контроль над данными и алгоритмами.

Выглядит это так: пользователям дают крайне простой интерфейс в виде forward_backward, sample, optim_step и ещё парочки функций для сохранения/загрузки тюнов. Остальное (трейнинг луп, энвайроменты и т.д.) можно спокойно запускать у себя на ноутбуке. Результаты тренировки можно скачать.

Пока что тренировать можно только LoRA, поддержку полноценного файнтюна тоже обещают, но полноценный тюн будет явно дороже. Судя по ресёрчу Thinking Machines, LoRA не отличаются по качеству от полноценных файнтюнов на небольших датасетах. Но у LoRA есть большое преимущество по эффективности — для их тренировки нужно на 30% меньше флопс, кроме этого использование LoRA даёт дополнительную экономию при тренировке большого количества за раз.

Из моделей пока доступны последние версии Llama 3 (кроме 405B) и Qwen 3, для части из них даже доступны Base модели. Пока что доступ по вейтлисту. В первое время сервис будет бесплатным, ввести оплату обещают уже в ближайшие недели.

Вышел очень крутой продукт, надеюсь цена будет не конской. Ну и следующий шаг компании очевиден — API для инференса, чтобы эти модельки где-то можно было запускать.
Блогпост

👉Новости 👉База вопросов