💬Говорит Антонов

А вот и вышел пост от ИТМО с моим небольшим интервью об обучении в магистратуре УВБ❤️

Читать сам полный пост: https://t.me/itmotech/2581 🔥

#ИТМО🫶

В последнее время я много работаю с проектами вокруг ИИ. Одной из важных задач в рамках реализации ИИ-проектов является интеграция с LLM. При работе с LLM, естественно, приходится учитывать особенности данной технологии, одной из которых является то, что модель выдает непредсказуемый текстовый ответ, который сложно поместить в надёжный пайплайн. И для того чтобы обуздать произвольный характер ответа LLM, подойдет решение под названием Structured Output. Это подход, который заставляет модель отвечать строго по заданной схеме, превращая «рандомайзер» в предсказуемый API. Ниже зафиксирую краткий гайд по четырём способам реализации Structured Output, от простых до более продвинутых.

Еще раз, Structured Output — это подход, который объявляет для LLM строгий контракт ответа, например: в формате предварительно заданной JSON-схемы. В результате чего мы получаем фиксированный структурированный формат ответа, на базе которого можем спокойно строить привычные пайплайны с дальнейшими манипуляциями над данными, как в случае при работе с традиционным REST API.

#1. Первым, так называемым, базовым способом "в лоб" будет объявление структуры в промте + реализация стратегии ретраев при валидации ответа LLM: если ответ LLM не будет соответствовать заданной "маске", то мы будем делать повторный запрос на повторную генерацию. Готовую реализацию данного подхода можно найти в таких библиотеках, как Instructor.

#2. Второй способ это использование BAML. По своей сути это развитие первого подхода с важным дополнением в виде Schema-Aligned Parsing (SAP). SAP — это «мягкий» парсер, который исправляет типовые ошибки в заданном формате схемы ответа, например в JSON это могут быть забытые скобки и запятые, неверное экранирование, лишний текст до/после JSON.

#3. Третьим рассмотрим уже не просто способ по обработке ответа LLM, а то, как не только через промпт влиять на сам процесс генерации. Constrained Decoding — это способ про то, как не просить модель ответить правильно, а не дать ей ответить неправильно. Работает это следующим образом: LLM генерирует ответ токен за токеном, но на каждом шаге библиотека (например, Outlines) "обнуляет вероятность" всем остальным токенам, которые нарушили бы генерацию заданной схемы на текущем шаге, на каждом шаге модель может выбрать только допустимый вариант токена (символа).

#4. И в заключении отмечу Scheme-Guided Reasoning (SGR). Суть этого способа заключается в том, чтобы объединить силу Chain-of-Thought и структурированного вывода, тем самым заставить модель рассуждать внутри заранее заданной схемы. Как это выглядит: допустим, вы проектируете JSON-схему, которая отражает экспертный чеклист или логику решения задачи. Далее модель вынуждена заполнять поля последовательно, что в свою очередь гарантирует прохождение всех шагов рассуждения и позволяет валидировать промежуточные результаты.


#AI #LLM

Сегодня на базе онлайн-площадки ИТМО провели круглый стол на тему Product-менеджмента🎤

Хоть я и не чистый "продакт" по роду деятельности, однако с задачами продуктолога сталкиваюсь регулярно (особенно с позиции технической оснащённости решения). Поэтому было особенно интересно поучаствовать в дискуссии и увлекательно разобрать отдельные темы в формате живого разговора

💡Главный вывод, который выделяю для себя:
Product Owner/Manager это роль исключительно "старшего грейда", к которой приходят по результату получения широкого разностороннего опыта. — Почему же? А потому что для, так называемого, Владельца Продукта невероятно важно обладать кросс-функциональными навыками, которые позволят чувствовать Бизнес вокруг продукта "от и до"

🫶Отдельное спасибо продуктовым рыцарям, которые разделили со мной этот круглый стол:
- Владимир Шувалов
- Сабина Алигьери
- Илья Смирдин

#ИТМО #product_owner

В конце декабря нашу университетскую команду SimpleX пригласили выступить спикерами на встрече Партнёров Декана ФТМИ, организованной Партнёрским офисом ИТМО👨‍🎓

Было по-настоящему вдохновляюще наблюдать за тем, как происходит живой разговор между представителями бизнеса и академического сообщества, которые прямо на глазах превращают диалог в совместные проекты, смелые идеи и практические решения💡

И особенно приятно осознавать, что мы сыграли одну из ключевых ролей в этом процессе построения моста между Бизнесом и Образованием🤝

#ИТМО ❤️

🎄Подводя итоги 2025-го, я рад поделиться значимым достижением в своей карьере — меня признали лучшим сотрудником года в Совкомбанке!🏆

Этот год был полон ярких событий и значимых проектов. Я имел возможность выступать на конференциях, участвовать в имиджевых мероприятиях нашего бренда и работать над амбициозными ИИ-проектами, ежедневно творя highload-решения для крупного ФинТех бизнеса🔥

Однако особенно запоминающимся стал финал года со смелым ИИ-проектом для колл-центра, который я лидировал. Изначально на проект закладывалось полгода, но мы с командой смогли разработать его за 2 месяца, реализовав при этом в рамках Event-Driven архитектуры интеграцию мастер-системы с LLM и CV-модулем — за рекордные сроки мы действительно создали то, что можно назвать волшебным ИИ-агентом🤖
Главное, что несмотря на все вызовы, нам удалось достичь целевого результата для современной коммерческой IT-разработки: мы своевременно предоставили Бизнесу ценность, сохранив при этом техническую изящность решения✔️

Спасибо моей лучшей СовКомКоманде за этот прекрасный 2025 год🔹♥️

#ИтогиГода #SovComTech

В конце августа, пока солнце ещё грело по-летнему, мы организовали ИТ-квартирник под эгидой нашего бренда Совкомбанк Технологий🔹
Мероприятие было нацелено на специалистов middle/senior+ уровня, так что я выступил с соответствующим hard'овым докладом по Брокерам сообщений (естественно, с разговором о Kafka в первую очередь), чтобы задать соответствующий тон

Было по-настоящему здорово погрузиться в живой диалог с коллегами по ИТ-цеху из BigTech и не только — без формальностей, но с глубиной. Успели обсудить ИИ, интеграционные и архитектурные решения, а также  те самые «лучшие практики», которые рождаются в боевых условиях коммерческой разработки 🧑‍💻

Ещё раз убедился: когда обмен опытом идёт на равных — за пару часов можно прокачаться сильнее, чем за месяцы в одиночку. Главное — правильно выстроить коммуникацию в рамках обмена опытом🤝

Обязательно повторим! Ведь следующий квартирник — это отличный шанс увидеть новые лица или встретить старых знакомых, но уже с обновлённым бэкграундом

https://it-kvartirnik.ru/#!/tab/968157346-2

#ИТквартирник #SovComTech

Провели с коллегами отличный тимбилдинг в формате фотосессии 📸

Иногда мы забываем простую вещь: команде важно собираться не только ради рабочих задач. Атмосфера в коллективе напрямую влияет на продуктивность — да, это банальность, но о таких вещах стоит напоминать себе снова и снова.

При этом нет универсального рецепта, как «правильно» выстраивать эту атмосферу. Не существует инструкции с чёткими шагами, гарантирующими успех. Поэтому в моем видении единственным правильным решением остается только ловить любую удачную возможность, чтобы почувствовать себя командой не только в рамках рабочих задач.

всем прочитавшим — продуктивных рабочих будней и насыщенных выходных✌️

Первый пост в канале решил посвятить прошедшей в этом мае 20-ой конференции Analyst Days.

В ней я принял участие в качестве спикера с архитектурным докладом про Kafka. Я был очень рад, что публика тепло встретила мое выступление и наградила его 3 местом по конференции в целом, признав топовым техническим докладом.
(👀плюсом ко всему получил приятный бонус в виде электронной книги — уже сполна успел оценить насколько это удобная вещь, если нет возможности взять с собой обычную книгу в поездку, в которой хочешь отдохнуть от телефона)

Юбилейная конференция прошла на высоком уровне: отличная организация, сильные спикеры и насыщенная программа🔥
Атмосфера была невероятно заряжающей благодаря возможности вживую пообщаться с профессионалами из IT-сферы и обменяться ценным опытом.

Материалы по выступлению для интересующихся Kafka:
- видеозапись выступления: https://vkvideo.ru/playlist/-137540756_9/video-137540756_456239519
- страница с презентацией доклада на сайте Analyst Days: https://analystdays.ru/ru/talk/132295
- моя ранее написанная статья на Хабре по Kafka: https://habr.com/ru/articles/853652/

#Kafka #AnalystDays