Глеб Кудрявцев — мастер AI

Движения в Лабе.

А я воюю с гермес-агентами для нашего карманного бота, не позволяя им падать из-за объема контекста.

Поковырял его потроха, скажу так — нифига не мелкие там запросы, авторы явно не сосредотачивались на экономии. Юзерам Гермеса на заметку 🙂

Бот лабы будет ее операционным ядром, и его задача — делать всё.
Странно даже, что для этой задачи нет готовых решений из коробки, но ничего, из скотча и изоленты можно построить в наше время что угодно.

Заскринили, как я работаю с моделями и деливерю по два проекта/наносек

Делюсь с вами секретной техникой

Apple анонсировали M5 ультра с 512гб быстрой памяти по $17k, что чуть дороже одной 6000 видеокарты (96 памяти)

Плюс специальный быстрый интерфейс между машинами, так что четыре таких штуки смогут крутить kimi k3 всего за $71к

Это все еще дофига для консьюмеров, но уже подъемно для множества компаний, так что приватный инференс больших моделей скоро придет в каждый дом.

Я много говорил, что верю в Apple и их железо, вот и предвестники изменений.

С консьюмерским железом тоже подтянутся (жаль, нам не видать на них линукса, так и будем пользоваться убогой макосью😬, но это другой вопрос)

Накидайте бустов плз, голосовалку эмоджиками надо прикрутить, а то я как лох со стандартными иконками 🥲

Ллм фронтир-уровня, которая выполнит любой ваш каприз.

Не смейте нарушать с ее помощью безопасность 🫵

А вы спрашиваете, зачем локал инференс 🙂

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8

Как вы знаете, один из моих больших интересов — ИИ проектирование и осмечивание, а попросту — нейронки для стройки.

На этой ниве есть успехи, работаю сейчас на дубайских застройщиков, считаем за день то, что команды сметчиков по 20 человек считают неделями.

Но не про это речь.

Мои пайплайны предполагают очень много картинок, поэтому я постоянно тестирую фронтир VLM моделей.

Так вот, Qwen 3.8 Max сейчас лучшая нейронка на рынке по зрению.

Они и раньше неплохо видели, но мне лично важна точность. И это первая нейронка, которая реально научилась расставлять ббоксы не от балды. (ббокс от "bounding box" - квадратики которыми объекты выделяют на изображении)

Почему важны точные ббоксы? Потому что на крупных чертежах это позволяет делать рекурсивный поиск — детектируем общую картину, вырезаем детали, детектируем внутри них и так далее. Крайне востребованный пайплайн.

Нюансы
— на выдачу ббоксов ее нужно промптить. Параметров инференса для этого нет
— модель ест кучу разрешений, но ббоксы склонна выдавать в диапазоне 0-1000, и нуждается в последующей нормализации. Вообще, связка входного разрешения с качеством ббоксов довольно эзотерическая, нужно подбирать.

Но в целом это прям очень крепкий рабочий вариант для медленной качественной детекции объектов.

Пример на фото.

Конверсия продактов в вайбкодеры вокруг меня примерно 100%. А вот разработчики на удивление отстают. Некоторые до сих пор не то что код читают (ну ок), а пишут руками (ужас-ужас).

С другой стороны, ничего удивительного, т.к. по для продактов ИИ это по сути идеальная команда, которая усиливает то, что они уже умеют делать. А для разрабов — это замена, которая сильна в их традиционной части, но мало дает как раз этой продуктовой истории, которую нужно качать, чтобы что-то запустить.

И вот для таких разрабов у меня на платформе вышел курс с одной очень сильной тренершей по продуктам — Кариной Ждановой.

"Менеджер продуктов в эпоху ИИ"

На курсе Карина покажет, как применять ИИ для решения продуктовых задач в компании или для запуска своего бизнеса:

• работать с метриками и исследованиями,
• находить и проверять гипотезы,
• приоритизировать идеи,
• писать PRD,
• создавать прототипы
• планировать эксперименты

Что в результате
За курс вы соберёте свой AI PM toolkit — набор промптов, шаблонов и подходов, которые помогут быстрее разбираться в задачах, находить сильные решения и увереннее работать с продуктом.

Ну а навайбкодить и сами сможете (кто не сможет — тому сюда)

Старт курса 7 сентября
Подробнее и регистрация:
https://cases.careerfactory.ru/

Много раз писал, что не читаю код. И правда, считаю, что эра чтения обычного кода завершена.

Но что я делаю — дотошно распрашиваю модель о реализации после того, как что-то сделано. Мне важно понимать потоки данных и условия. Иногда в этих распросах проявляется дичь, и ее сразу фикшу, опять же, не читая код.

Вторая важная штука — читать скиллы. Модели пока очень плохо абстрагируются, им тяжело в мета-промптинг (это когда модель должна представить, что исполняет инструкцию другой модели и написать ее соответственно). В итоге скиллы из-под моделей обычно оставляют желать лучшего и требуют ручного чтения/доработки. Благо, редактировать руками не нужно, главное показать, в чем проблема.

Этот ваш вайб-кодинг сожрал терабайт моего ssd за пол-года, не успел я моргнуть глазом. Явный мусор уже давно почистил, но совершенно необходимых артефактов промежуточных запусков при работе с 2d/3d копится столько, что караул. Да и работа с локальными моделями весьма расточительное удовольствие.

Думал брать внешний ссд, но чатик уговорил на отдельно корпус с thunderbolt5 + топовый стик памяти.

Заказал сетап WD SN850X 4 TB + UGREEN TB5 80 Gbps.

Попробуем.

Дебажим агентов в Лабе 🥰

Одного я не понимаю. У меня реально полтора скила в агентах, я полный лох так-то, фактически работаю на ванильном кодексе. И ДОХЕРА всего успеваю делать. Не Ковальский (кодовая кличка — 120 минут, за столько он делает любой проект), но все равно очень быстро.

А вокруг как будто куча людей, у которых агенты высаживают месячные лимиты за день, и при этом они по сути ничего при этом и не релизят 🙈

И вот думаю — блин, выкидывайте нафиг ваши суперхьюманы всякие, спеки, консилиумы и прочую ботву, походу ничего из этого не нужно. Просто yolo mode, микрофончик, вайб, и кодить прям на серваке 😎 Ну можно чуток правил добавить на пол-странички, чисто где у вас там сервак расположен, а то он случайно что-то нужное снесет и будет обидно.
Раньше над этим ржали, а сейчас походу это самая эффективная парадигма.

Костя топовых гостей собрал, на Бреслава вообще билеты можно продавать как на ходячую знаменитость. А тут бесплатно — заглядывайте на огонек.

Как писать код с AI-агентами?

А если командой?

Что нужно учесть, чтобы этот код не положил продакшн?

Эти и другие не менее интересные вопросы мы обсудим на следующем стриме на моём YouTube-канале.

Для обсуждения я позвал очень интересных гостей:

Андрей Бреслав – один из создателей языка программирования Kotlin. Сейчас Андрей разрабатывает Agentic Engineering Toolkit под названием CodeSpeak.

Валера Ковальский – автор одноимённого канала. Основатель проекта Neuraldeep https://neuraldeep.ru/ и автор множества Open Source проектов, созданных примерно за 120 минут каждый.

Максим Ключников – автор канала Этихлид. Разработчик с огромным опытом, который усилил себя с помощью AI-агентов. Работал на позиции Senior Software Developer, когда я ещё в школу ходил 😊

Дата: четверг, 20 августа

Время: 19:00 (GMT+3)

Проходить будет на моём YouTube-канале.

Добавить событие в календарь

Вопросы для эфира оставляйте в комментариях к этому посту 👇

Как и все уважающие себя AI-first организации, наша Лаба не исключение и будет управляться искусственным интеллектом.

Сделал базовую базу:

— общий сервер
— роутер, postgresql, леджер с авторизацией, деплоилка, машинерия для виртуалок
— под каждый диалог поднимается microvm с движком бота. Каждая виртуалка имеет постоянную память, которая не пересекается с общей
— есть отдельный общий слой памяти с ролевым доступом

Сервер под эти приключения предоставлен волонтерами из uno4dev

Хочу мудрости комьюнити, чего и как правильно туда напихивать. То есть, какие настройки и функции бота вы считаете первостепенными для работы. Буду потихоньку добавлять

Ходишь по встречам про ИИ, там все такие серьезные дядьки и даже деды попадаются настоящие. Думаешь — ну сколько тебе лет, и ты туда же! А потом смотришь в зеркало, а там на тебя седая борода смотрит 😁

А в целом, как-то замечаю, что молодежи в айтишке-то и не так много, кажется наша отрасль будет через 20 лет не менее старперской, чем сейчас классическая инженерия 🙂

Вышел свеженький qwen 3.8-27b
И судя по картинкам в твиторе, нас ждет фронтир лвл на десктопе.

Боюсь только, снова память подорожает 😅