Заметки Computer Vision инженера

Что-то в последний месяц меня много народу спрашивали что надо сделать чтобы переехать в разные другие страны (доки, и.т.д.). Я подумал что надо на мой второй канал бахнуть на эту тему видео чтобы в будущем просто его присылать. Собственно краткий рассказ про базовый комплект доков которые лучше подготовить заранее (хейтеры скажут чтобы бы не делать, только бы ВПН не настраивать!) 😁. Так как опыта переезда в разные страны достаточно, возможно кому-нибудь поможет. Сам был очень благодарен что мне когда-то эти базовые вещи проговорили.
Ну и да. Если вопросы есть - спрашивайте в треде, попробую ответить.
https://youtu.be/r2wpX6Off_0

Нормальное видео выложу завтра + одну любопытную плату тестирую, надеюсь до отпуска что-нибудь ещё выложу.

Давно не рассказывал что с RemBrain. Четыре года назад мы хотели делать мозги для роботов. "Интегрируем мозг в ваш проект". Потом поняли что это не работает. Долго экспериментировали, но кажется нашли рабочую нишу. С осени уже три интеграции. Сборка медицинских девайсов, сборка электроники. Главное что поняли - надо делать решение на уровне "воткнул в розетку - работает". Стандартизация всего и все. Максимальное упрощение интерфейсов.
А дальше поверх этого можно и классический CV втыкать и VLA и вообще без моделей работать. По сути железка - это средство доставки мозгов.
Чуть подробнее можно почитать в one pager.
Есть серьезное подозрение что в робототехнике это единственный подход. Как только появляется интегратор или посредник он сразу начинает думать "а зачем тут мне кто-то ещё, сейчас я сделаю все сам и заберу прибыль". И, естественно, все проваливает.
Видео выше - демка с последней выставки.

Меньше года назад я уже писал про галлюцинации и куда это на заведёт. Кажется что галлюцинации становятся все более эпичными и сложными. С другой стороны - люди тоже галюцинируют. Может просто модели поднимутся до их уровня?
На картинках:
1) текущее качество чатгпт
2) текущее качество нанобананы
Второе куда ближе, но и ошибки эпичнее:)

Какую галюцинацию вы пытались пофиксить дольше всего?

Завтра и послезавтра буду на выставке про роботов в Ставангере https://erf2026.eu/
Если кто то там окажется, пишите/подходите!

Сделал видео и статью про топовые платы для VLM и LLM. В первую очередь фокусировался на том что имело NPU, но немного в GPU + RISK-V тоже!

Сегодня уникальное видео
https://youtu.be/HI47y_-Af3U

Looper Robotics прислали мне их камеру на обзор до официального старта продаж.
И надо сказать что это определённо одна из самых интересных 3д камер сейчас на рынке:) Это не значит что она лучшая, это значит что они попробовали перепридумать парадигму. Получится у них или нет - не знаю, но выглядит круто.
так же сделал статью
https://medium.com/p/7965df470f60

Вчера решил таки послушаться ботов и посмотреть, не починили ли плату Radxa NIO 12L про которую у меня когда-то уже было видео на канале. Все же было бы круто если бы MediaTek тоже включился в гонку. Radxa за это время на удивление даже обновила прошивку, выложила Ubuntu сборку для ядра. Но... Там не было предустановлено никаких NPU драйверов.
Так что для меня все так же и остаётся загадкой. Для кого вообще сделан NeuroPilot? На какой плате он должен работать? Кажется кроме радксы больше плат нет.
Вообще есть ли у кого-то опыт с не-андроид MediaTek NPU? Расскажите!

Вчера я выложил видео про World Models.
Прогресс огромный - не только в World Models, но и в VLA. Но… действительно ли это препятствует внедрению роботов? Низкое качество моделей?

И да, и нет.
Когда модели научатся делать всё, что умеют люди, это откроет путь гуманоидным роботам. Но человечество пока далеко. Есть проблемы с грипперами, сенсорами, механикой и с самими моделями.

При этом 95% задач уже могут быть автоматизированы сейчас. Но в большинстве случаев это просто невыгодно экономически.

Например, в супермаркете нет человека, который занимается только «раскладкой». Сотрудник может убирать магазин, принимать товары, работать на кассе — и выполнять ещё множество других задач. Если поставить в такой магазин робота для раскладки товара, это будут дополнительные расходы, потому что человека всё равно нельзя будет уволить.
Если же где-то есть сотрудник, который всё время занят только одним, тогда его уже можно автоматизировать. Но для этого гуманоидные роботы не нужны — и к тому же они слишком дороги.

Давно хотел сделать видео про World Models.
А тут ещё недавно статья неплохая от Nvidia была. Пожалуй хороший повод.
Между прочим, почему-то именно в робототехнике Nvidia лидер OpenSource сейчас. Многие прошлые вещи которые они выпускали были сомнительные. Ну да, можно использовать, но обычно не понятно зачем, если есть конкурирующие сети с State-of-the-art уровнем.
А с роботами прямо во многих вещах State-of-the-art только у Nvidia
https://youtu.be/6hDSWPb0_Rc

Сделал небольшое видео по вопросу который у меня часто спрашивают. На удивление много народу до сих пор не разобрались когда надо использовать OpenRouter а когда самохостить:)
Я не поднимаю тут вопрос про секьюрити из прошлого поста. Но про остальное достаточно подробно.

Я думаю вы сегодня уже видели этот ресерч от OpenAI 😆🤣😌. Если что, там даже пропагандисты засветились, наряду с вашим умершим дядюшкой из Нигерии.

Короче, всё достаточно предсказуемо.
Когда я ходил и показывал всем SnitchBench - все ржали и никто не верил что это будет внедрено в реальности.
Но да, внедрено будет. Но не надо бегать кругами и кричать "the end in near! 🔔" и отказываться от AI. Разве что если у вас есть много денег и сил.
А для нищебродов типа нас надо грамотно разделать сущности:
▪️Для личного использования - используйте что хотите, до момента пока вы не грузите личные документы / компрометирующие вас сведения / свои бизнес планы. Вы не сможете сделать результат лучше чем OpenAI/Antropic из коробки. И глупо не использовать эту мощь.
▪️Для корпоративного использования:
🔹Минимальная предосторожность - корпоративная подписка. OpenAI / Antropic / Gemini мамой клянутся что не будут использовать ваши данные для обучения. Но вот стучать.... Хз-хз. Не должны. Но вы сами помните как Antropic отрубал всем налево и направо подписку. Уверен это было не на бесплатном/персональном тире.
🔹Чуть лучше - использовать через корпоративные AWS / Azure аккаунты. Они типа как "SOC compliance". Я не лазил глубоко в эти дебри. Есть кто-то кто знает - могут ли как-то понять что происходит или нет? Подозреваю что могут.
🔹Идеально - самохостинг.
▪️Что делать точно не надо в бизнесе?
🔹Наши сотрудники сами купят себе подписки / пусть сами разбираются. НЕТ, НЕТ, НЕТ. Стратегия использования должна быть согласована на уровне компании. Начиная с 5 человек. Вы же не хотите чтобы ваши сотрудники использовали бесплатный Qwen для ваших секретиков?
🔹Ща сделаем всё через Open Agent и Open Router через открытые модели! Нет! Вы не знаете кто эти модели хостит и что делает с вашими промптами!
▪️Вы делаете что-то сомнительное / goverment-related? Только самохостинг:) Все кто таким занимается - должны страдать.

В своих видео я неоднократно говорил что следующий шаг в нейроночках - печать сетки напрямую на кремнии. Либо какие-то промежуточные варианты, например "загружать веса при прошивке". Даже как-то помогал товарищам оценивать перспективы одного такого стартапа.
Я думаю все уже видели эти недавные картинки. А вот тут можно потыкать и почувствовать это в реальном времени - https://chatjimmy.ai/

Что прикольного. Вместо "загрузить веса напрямую" Taalas делают это всё через LORA.
У всего этого есть существенный минус. Если ты делаешь что-то заточенное на определённую сетку/архитектуру/веса - то ты зарелизишь железку через год-полтора. А сетка уже может устареет. А когда ты подтянешь маркетинг и продажи - уже сетка безвозвратно устареет.
Год назад был Qwen 2. Сейчас уже Qwen 3.5. Даже Qwen 2 -> Qwen 2.5 это был огромный скачок.
В эту железку Taalas загружена Llama3.1 (23 Jul 2024). Полтора года - это огромный срок сегодня. Да, Lora чуть чуть патчит, но не сильно.

Сегодня такие проекты могут существовать:
1) Либо если срок печати сети будет в пределах нескольких месяцев. Я видел стартапы которые такое обещали. Но пока не видел результата:)
2) Либо если нейроночки глобально прекратят менять архитектуру. Но мы видим за последний год появление мультимодальности, цепочки размышлений, мультиагентности, и.т.д. Часть это аффектило архитектуру.
3) Либо если цена на такую железку будет ~100 USD или меньше. Тогда можно будет заменять напрямую для edge устройств. Но тут и 15к токенов / сек не надо

Я верю что 1-2-3 произойдёт в течении лет двух. Наблюдаем:)

Сыну в мае будет 6. Но в целом уже вполне дорос до понимания того что такое "вайб-кодинг":)
Результатом что у него получилось был очень доволен.

Ну а я записал небольшое видео о том насколько важны сейчас агенты и вайбкодинг, что надо делать через них в Computer Vision'е и нейронках:

https://youtu.be/TkWXotR-rLM

(видео на русском на втором канале)

Как только говорю "следующее видео будет такое" - почти сразу значит что что-то пойдёт не так.
Так вот. 4 месяца назад я подумал что следующее видео после A7A будет про A5E. Но что-то пошло не так:)
Оказалось что Radxa прислала мне версию без NPU. Это не было написано на коробке, надо было прочитать надпись на чипе.
Попробовав раза 3 переустановить разные системы стало понятно что что-то не так.
Новая плата пришла перед НГ, но там уже был план и не было лишних сил. Так что добрался только что.

По сути видео - короткое добавление к A7A. Плюс пара картинок.

https://youtu.be/dcBqIn4fu18

Не на все комментарии на YouTube отвечаю, но читаю все.
И, надо сказать, что среди всех вендоров NPU/3д камер/бордов есть только один который не брезгует нагнать ботов под видео.
Причем обычно волнами идёт:)

Самое забавно в это ситуации: видео негативное.
И это настолько очевидно что под него даже пришёл представитель Radxa и сказал что да, у них тут с OpenSource коллабом с медиатеком не вышло, и плата вышла не очень по софту.

За последние пару недель вышло пару алгоритмов которые могут принципиально поменять как выглядит StereoDepth.
Эта область зависала в прошлом последние 5 лет. И наконец кто-то сделал что-то новое. Я надеюсь что эти алгоритмы через пару лет придут в дешевый сегмент камер. Эти алгоритмы смогут бегать на обычных NPU + давать разумный FPS.
https://youtu.be/m6WsI_pxvYw

Давно что-то на Хабр ничего не постил.
Решил собрать прошлые три статьи в стройную статью и бахнуть туда
https://habr.com/ru/companies/recognitor/articles/992476/

После прошлого видео я не удержался и захотел натренировать Qwen-3VL на той же кваке. Но он оказался чудовищно медленным для неё. Так что таки решил обучить робота про которого раньше рассказывал.
Он все же сильно проще нормальной роборуки, да и раздолбать не так жалко😈
Видео - https://youtu.be/Vd8sQ-O7blI
Статья - https://medium.com/p/551cf9bf2e60

Мне кажется что когда VLM-ки можно применять вместо VLA - так делать и надо. Они проще поддерживаются всем, проще обучать.
Но, конечно, я не вижу пока что смысла для реальных производственных задач ни в VLA ни в VLM. Знание мира в них пока никакое, а обучать проще простую свертку.

У Gemini и у ChatGPT есть две больших проблемы. Причем одна проблема у Gemini, а вторая у ChatGPT.

И то и то последние пол года-год, и то и то становится только хуже.

1) ChatGPT считает что он умеет работать с аудиофайлами. Настолько упорно считает что расшифровывает текст которого внутри нет.
При этом русский он воспринимает хорошо (если надиктовывать прямо туда). И через API он аудио тоже хорошо распознаёт.
2) Gemini очень плохо работает с контекстом последнего года. До последнего уверяет что того что я прошу не существует. Пока не ткнёшь ссылку отказывается использовать новый синтаксис, эвойдит просьбу гуглить все термины, и.т.д. Более того - ацки галлюцинирует время выхода любых вещей. Например я просил его найти VLM модели за последние пол года. И, надо заметить, что SmolVLM2 это февраль 25ого.
———
Ах, ещё вспомнил в огород ChatGPT. Он не умеет генерировать картинки заданного размера. Gemini тоже не очень умеет, но его можно обмануть через "рисуй поверх", а вот ChatGPT уверен в своей непогрешимости