Валера Ковальский

Валера Ковальский pinned a photo

1) Запросы в vllm + grafana
2) Температуры

Вот как выглядит юсадж двух 4090 (48гб) + gpt oss 120b (2 дня без остановки)

Завтра глянем что такой подход даст на проде, (ваще никаких надежд на победу или призовые места) я потратил на это все 3 часа от силы

211 запусков удалось сделать и около 50 итераций эволюции

Собрал Handy + Paste в одно приложение

https://github.com/vakovalskii/copyosity

Рекомендую к изучению как я решал кучу проблем десктопных аппок (невидимых, но использующих команды). После установки нужно на макбуке набрать Cmd+Shift+V, и вы увидите исторический буфер обмена в удобном виде как это вижу я =)
Уже месяц потихоньку пилю и стабилизирую для себя буфер обмена для макбука.
Чтобы работало как надо, чтобы скрины хранило ровно и текст копировался удобно.
Даже подписал его своим кодом разработчика apple (не будет просить карантин).
Как по мне (для себя же делал) удобно, полезно, и нет аналогов

После настроек голосовой модели по урлу, можно получить Option+Space запус голосвого ввода в том месте где стоит курсор

А так, конечно, можно скачать массу таких приложений готовых, но мы-то помним, зачем тут собрались? =)

Download (DMG)

Наконец-то сегодня нашел время что бы отправить видеокарты первому (2080ti) и второму (1660super) месту за прошлый мини ивент =)


Напомню что в следующий раз будем решать чуть сложнее задачки и проведем небольшое соревнование!

Следите за новостями

Взял на тесте 100 (более 3 раз)

Максимально старался не фититься на задачах но так не вишло (пока)

Как итог пришел к схеме skiils search tool + некоторый контекст инжиниринг ну и эвалюция через CC

Data Fusion 2026 идет прямо сейчас!

Не смог приехать но стримы летят фоном весь день пока вкалываю в терминалах
Сейчас на CV сессии, Колмогорова-Арнольда сети для технического зрения, 3D-реконструкция от AIRI, томограф в чемодане от Smart Engines, и доклад

Рината Шакирова из Иннотех про минимизацию фактологических ошибок анализа документов через OCR и дообучение vLM, прям перекликается с моими экспериментами с Qwen2.5-VL и bbox

Стримы тут, ищите темы которые вам интересны, еще идут математическая оптимизация и панелька про ИИ-трансформацию коммуникаций!

PAC1-DEV

Почитать что это такое можно тут (Ринат не перестает удивлять нас бенчмарками и соревнованиями)

Решил пожечь подписку и реализовать свой подход, за старт спасибо (@multiagentsys) он выложил репо от которого я начал)
За ночь(в ленивом ральф лупе через СС + Opus) довел gpt oss 120b + openai agent sdk + skills search + skills classificator до 39 pass 4 failed 90%( не стабильно) в среднем 83-84%

Из приятного сделал полноценный центр управления запуском
Настройки
Запуск
Сравнение
Дефрагментация диска =)
Можно ранить парарельно до 30 агентов (столько держит мои 4090 48гб 2штуки) на сегодня такое добро стоит как сервер с одной ada 6000(96гб) (1.1-1.3 млн рублей)

Весь ран длится примерно 198 секунд или 3.3 минуты (можете оценить, как такая модель будет у вас работать в проде по скорости и точности)

Репо: https://github.com/vakovalskii/phantom-agent

Свежие ai мемчики)

https://karpathytalk.com/ (говорят новая соцсеть)

Быстро побежали постить туда!

Ребят в CodeDash появился лидерборд!

Зачем?
1) Интересно узнать на сколько вы отличаетесь от других вайбкодеров
2) Можно найти друзей по цэху и написать им через github
3) Можно поискать что же за проекты пилит автор если он их выкладывает в open-source
4) Можно поискать и хантить себе вайберов если вы поняли о чем я =)
5) Просто по фану измерить примерно сколько у вас в см запросов на фоне других вайберов
В общем качайте новую версию

codedash update && codedash restart

Синхронизируйте Github и регистрируйтесь в лидерборде!

Вышел наш второй комьюнити-стрим!

Для вас отжигали, на фото: @nobilix, @superbereza, @ai_grably, @aostrikov_ai_agents и маэстро @neuraldeep

📹 https://youtu.be/nUT1YRvjG98

24 вопроса, 2.5 часа стрим, чуть не дожали до бейзлайна Лекса Фридмана.

Поболтали про агентов, будущее, лобстеров, утекший claude code и вероятность продать свой опенкло за миллиард:

00:00 — Приветствие!

06:06 — Как системно строить общую базу знаний для агентов и как вести документацию?

11:57 — Куда сдвинется бизнес-запрос в течение года: к агентным сценариям или к чему-то другому?

20:07 — Что лично мы нашли ценного в утекших исходниках Claude Code?

25:33 — Какой сейчас реальный scope у локальных моделей и стоит ли их уже внедрять в рабочие процессы?

30:15 — Что делать с тем, что часть разработчиков до сих пор не пользуется LLM, и как сокращать разрыв?

39:30 — Какие задачи лучше отдавать агентам и как контролировать качество результата?

45:45 — Как использовать агентов в обычной жизни для снятия рутины?

53:23 — Могут ли AI-инженеры зарабатывать 900k и какие роли будут цениться выше остальных?

01:07:11 — Каковы шансы стать новым Питером Штайнбергом, которого купит OpenAI, или выйти на быстрый первый миллион?

01:10:47 — Что делать маленькому AI-стартапу с клиентами и заказами, если не хватает доменных экспертов?

01:16:32 — Должны ли AI-чатботы быть явно помечены как AI и почему люди боятся отказываться от документации?

01:22:34 — Как убедить безопасников внутри компании разрешить Claude и Codex?

01:25:04 — Как не терять важные детали встреч/отчетов при постоянных AI-суммаризациях?

01:28:49 — Правда ли, что главный тренд сейчас — перевод человеческого опыта в skills и стоит ли туда идти?

01:39:33 — Как дешево и быстро собирать контекст для мультиагентной системы и не заставлять пользователя долго ждать?

01:47:35 — Чем решения вроде OpenClaw/Codex/Claude лучше традиционных агентских фреймворков и как их ограничивать?

01:52:29 — Как правильно декомпозировать сложный процесс на скиллы? 🤾🏻‍♀️

01:58:03 — Как написать skill для получения и анализа таблицы в Pandas и Jupyter Notebook?

01:59:48 — Как опытному фронтендеру научиться backend-разработке: через видео или open source?

02:04:06 — Какие три первых шага внедрять системному интегратору без опыта AI-внедрений?

02:07:48 — Как понять, что после MVP агента пора заводить его в инфраструктуру и переходить с внешних моделей на внутренние? И как убедить стейкхолдеров?

02:13:10 — Насколько часто бизнесу нужна оптимизация процессов разработки и можно ли делать это аутстаффом?

02:16:33 — Что почитать про самоэволюционные системы, если душа требует большего, чем просто self-eval loop?

02:24:11 — Как заново собрать OpenClaw, если он стал слишком дорогим по токенам из-за накопленного контекста?

Стримы идут по нарастающей, следующий займет 3,5 часа и посередине придется устраивать обеденный перерыв.

Были рады всех видеть и увидимся в новых сериях! ☕

CodeDash (3 день развития)

100 звезд на гите
30+ фичей
18 форков
5 новых контрибьюторов 28 issues
30 + PR

Получил уже более 5 положительных отзывов лично (продолжаю улучшать и все так же каждый день пользователя своим же сервисом!
Карточки проектов становятся все информативнее
Добавлена возможность генерировать ИИ тайтлы (берете любую openai api модельку и погнали)

Спасибо что приносите идеи по улучшению сервиса!
Сделаем же работу и ИИ кодингом еще удобнее =)

Репо: https://github.com/vakovalskii/codedash

Tool Calling на максималках для хард инженеров

Как на самом деле работает Tool Calling: от HTTP до парсеров

Саша @polyakovbest затронул тему неточности на курсах ШАД про tool calling
Все правы но каждый в своём слое, я даже ответил достаточно развернуто в комментариях

Давайте закрепим как это работает по-настоящему, я залезал в кишки vLLM и переписывал парсер для тулов чтобы проследить весь путь

Три слоя одной правды

Лектор ШАД говорит: «тулы передаются через системный промпт». Саша поправляет: «тулы объявляются в отдельной секции API-запроса». Оба правы, но на разных уровнях абстракции.

Вот что происходит на самом деле (см. диаграмму):

Слой 1: HTTP-запрос
Ты отправляешь tools: [...] отдельной секцией
На уровне API это отдельное поле, не system prompt
Саша тут прав на 1000%.

Слой 2: Chat Template (Jinja2)
Вот тут начинается магия
Открываем tokenizer_config.json любой модели (Qwen3, Hermes и т.д.):

{%- if tools %}
  "# Tools\n\nYou may call one or more functions..."
  <tools>{tool schemas}</tools>

Chat template берёт твои tools: [...] и рендерит их ПРЯМО в system prompt. Лектор ШАД на этом уровне не врёт (но вводит в заблуждение если не раскрывает сути дальше)

Слой 3: Constrained Decoding (xgrammar)
Параллельно JSON-схемы тулов попадают в guided_decoding=GuidedDecodingParams(json={...})
Это xgrammar/outlines — constrained decoding на уровне логитов та магическая штука что заставляет тулы возвращаться не сломанными и со всеми аргументами что вы заложили на старте
Модель физически не может сгенерировать невалидный JSON, маска токенов не даст

Слой 4: Hermes Parser (post-processing)
Модель генерит обычный текст: <tool_call>{"name": "...", "arguments": {...}}</tool_call>
Это приходит в поле content
Парсер Hermes ловит XML-теги, извлекает JSON и перекладывает в структурированный ответ

Важный нюанс: tool_calls: null, finish_reason: "stop"
Не tool_use!
Парсер делает всю магию post-processing'ом. Инженерия, да и только.

Почему важно изучать матчасть всю а не по кусочкам? И Саша поднимает очень крутую тему с тем что стоит смотреть чуть чуть дальше доки)

Все банально, залезть в chat template, поднять модельку самому, вывести full логи (это уровень тру llm инженеров) и на этот уровень почти никто не заглядывает, редко вижу где авторы разбирают логиты или темплейты или уж упаси того за ногу запуск чего-то экзотического с разбором инференс движка

На сегодня очень небольшой список тех за кем я слежу и читаю, это те кто лезет настолько глубого в инференс и выкладывает что-то на гитхаб что даже я разбираю их посты с гуглом в обнимку!

https://t.me/evilfreelancer (Паша очень хардовый инженер по обучение запуску и девопсу)
https://t.me/sergeinotevskii (Сергей, лично тоже. наком рулит всей AI платформой в Bitrix)

Но вы будете так же правы если на сегодня не сталкиваетесь с проблемами tool call при работе с облачными моделями, оно вам не текущем этапе жизни точно не нужно


Проприетарные API (Anthropic, OpenAI) прячут всё это серверно ты не видишь ни chat template, ни constrained decoding, ни парсер
Получаешь красивый tool_calls: [{...}] и finish_reason: tool_use
Но внутри ровно та же цепочка, это просто стоит понимать

Ранее разбирал историю SO + FC + MCP в трёх частях: [часть 1] | [часть 2] | [часть 3]

В коментариях прислал пример полного запроса в LLM когда включен максимальный уровень дебага в vLLM

Считаю базой то что сюда надо заглянуть любому уважающему себя инженеру
Не обязательно переписывать парсер но понимать контракт между API, chat template и constrained decoding нужно
Между инференс-фреймворком и провайдером существует контракт что и куда попадает через chat template
Старайтесь не нарушать его и изучать как он работает
Иначе ты не инженер, а пользователь чужих абстракций

NeuralDeep апдейт за две недели

(база знаний для агентов)

Пара цифр для затравки:
— 42 навыка и MCP сервера в каталоге (было 15 на старте)
— 38 скиллов + 4 MCP сервера
— 94 зарегистрированных пользователя
— 426 установок через CLI
— 16 авторов-контрибьюторов

За последнюю неделю прилетело 10 новых поинтов от комьюнити:

DaData (скилл + MCP) — проверка контрагентов, валидация адресов, 31 инструмент
Ozon Seller API — работа с маркетплейсом Ozon через агент
ZenMoney — интеграция с финансовым трекером.
MPStats — аналитика маркетплейсов
SberMobile — мобильный Сбер. Автор: Лев
Travel Search RU — поиск билетов и туров
xBSL AI Skills — 1С:BSL разработка
Neural Deep Search — мультимодальный поиск SearXNG+Tavily для self-hosted

Что нового по фичам:

Личный кабинет — теперь каждый автор может редактировать и удалять свои навыки прямо на сайте (neuraldeep.ru/dashboard)

Сортировка по дате — на всех страницах (навыки, MCP, CLI) теперь можно отсортировать по новизне, звёздам

Комментарии на MCP — раньше были только на скиллах

RU-метки — проверили и раздали всем российским сервисам правильные теги

Тесты контента — CI теперь гоняет аудит: пустые теги, кривые имена, битые данные не пролезут
Trending 24h — починен подсчёт (раньше считал с начала времён, теперь честные 24 часа)

Топ по установкам:
1. 1С Enterprise — 94
2. Яндекс Wordstat — 61
3. Яндекс Метрика — 49
4. Яндекс Вебмастер — 33
5. Битрикс24 — 27

Проект open source, любой может залить свой скилл или MCP через GitHub

Сайт: neuraldeep.ru
Репо: github.com/vakovalskii/neuraldeep

Stay Tuned!

Весь мой вайбкод одним предложением!

За мем спасибо Дяде