Сегодня прям релиз за релизом!

Выложили SAM 3 — это новая версия модели, которая по текстовому или визуальному запросу находит, выделяет и трекает нужные объекты на картинках и видео. Главный сдвиг: модель понимает абстрактные «концепты» вроде «жёлтый автобус» или «люди в касках» и сразу сегментирует все такие объекты, а не один, как в старых SAM.​

Новое для этой версии:
🔘Promptable Concept Segmentation: пишешь фразу или даёшь пример‑картинку, и SAM 3 находит и сегментирует все экземпляры этого класса, в том числе по кадрам видео.​
🔘Объединены текстовые и визуальные подсказки: можно и написать «автомобиль», и прокликать мышкой спорные объекты в одном и том же интерфейсе.​
🔘Открытый словарь: модель не привязана к фиксированному списку классов и работает с любыми осмысленными запросами, которые можно визуально приземлить.​

Выводы простые: базовую задачу «найти и аккуратно вырезать любые объекты по запросу» по сути закрыли, и большинству из нас нет смысла писать свои сегментаторы с нуля. Задача смещается в сторону адаптации SAM 3 под свой домен, построения пайплайнов разметки и интеграции такого зрения в агенты и продукты, особенно там, где нужна тонкая работа с конкретными классами объектов.

Код в репо, веса на хагинфейсе, на видео пример работы модели.

@neuro_channel