Yandex for Backend

🔠 Приглашаем в Архитектурный клуб Яндекс 360

Это открытое сообщество для архитекторов и инженеров. В этот раз мы разберём, как устроен AI-агент, который работает с корпоративными данными и остаётся управляемым.

Даниил Смирнов, руководитель службы бэкенд-разработки антиспама в Яндекс 360, расскажет:

🟢 Что учитывать при поиске по корпоративным данным: как сочетать полнотекстовый и векторный поиск с учётом метаданных, фильтров и устройства источников

🟢 Как наследовать права доступа исходных систем и изолировать данные пользователей и организаций

🟢 Как ограничивать автономность агента и оценивать качество поиска, выбора инструментов и итогового ответа

В финале мы спроецируем решения на референсную архитектуру с использованием опенсорсных технологий и библиотек.

Когда и где:

📆 6 октября, 17:00 мск
💻 Онлайн

🔶 Зарегистрироваться на встречу

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🏆 Международное соревнование для разработчиков

Young&&Yandex открывает регистрацию на Yandex Cup 2026 — международный чемпионат Яндекса по программированию с призовым фондом 9 млн рублей. Принять участие смогут разработчики любого уровня, от юниоров до опытных специалистов.

Выбирайте одно из трёх направлений:

🟢 Машинное обучение
🟢 Алгоритм
🟢 Аналитика

Что вас ждёт:

🟢 Призовой фонд 9 млн рублей и денежные призы в каждом направлении
🟢 Офлайн-финал в Москве для 120 лучших участников и 36 призовых мест

В прошлом году соревнование собрало свыше 21 тысячи заявок от разработчиков из 60 стран. В 2026-м можно вновь проверить свои силы, познакомиться с сильными разработчиками из разных городов и побороться за призовой фонд.

🔶 Успейте зарегистрироваться до 1 ноября

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🐾 Яндексоиды рассказывают про свои пет-проекты: ktoml и diktat

Продолжаем показывать видео про пет-проекты и сегодня обсудим разработки из экосистемы языка Kotlin.

👨‍💻 Андрей Кулешов, руководитель разработки SourceCraft Security, рассказал в нашем новом видео о своих двух петах:

1️⃣ Ktoml — нативная и мультиплатформенная библиотека для сериализации и десериализации формата TOML на основе kotlinx.serialization

🟢 SourceCraft
🟢 Гитхаб

2️⃣ Diktat — легковесный статический анализатор (линтер), а также набор стилистических правил для написания кода на Kotlin

🟢 SourceCraft
🟢 Гитхаб

🔶 Смотрите все подробности на ютубе, а всю серию видео про пет-проекты яндексоидов можно найти в плейлистах на ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

📎 Как сэкономить 1000+ ядер на ровном месте

На связи Миша Иглицкий, бэкенд-разработчик в платформе Яндекс Еды. У нас есть PHP-монолит, в который пишут мало нового кода, поэтому он спокойно работает и не привлекает к себе лишнего внимания. Так оно бы и продолжалось, если бы не случился период повышенной нагрузки и понадобилось зарезервировать побольше мощностей для беспроблемной обработки подобного спроса.

Монолит отлично справился. Но после этой ситуации я случайно обратил внимание, что RPS в пиковые вечерние часы подозрительно совпадает с количеством ядер CPU, выделенных на весь монолит. Нехитрая арифметика показала: 100% загрузки одного ядра приходятся на 2,5 RPS. Я решил разобраться, что к чему.

Спойлер: дело оказалось не только в PHP.

❇️ Perforator vs PHP-монолит

У нас есть Perforator, который установлен почти на все хост-машины в дата-центрах, и с его помощью можно посмотреть, на что уходит процессорное время на подах. Проблема в том, что он видит почти всю работу PHP как вызов zend_execute_ex.

Хорошая новость: коллеги как раз допиливали поддержку PHP в Perforator, но пока не вмержили её в основную ветку. Однако нам залили на одну из хост-машин, где крутился инстанс PHP-монолита, специально собранную версию с поддержкой PHP. И я сразу же увидел пожирателя CPU.

Им оказалась функция getRoutePattern для атрибута http.route. Изначально никто не заметил, что getRouteCollection не возвращает готовый закешированный список роутов, а каждый раз собирает его заново: проходит по всем YAML-файлам и читает аннотации в PHP-файлах.

🦾 Исправление оказалось элементарным: теперь роуты читаются и сохраняются один раз на этапе сборки контейнера, а в рантайме берутся из кеша.

➖ Результат: потребление CPU в 99-м процентиле снизилось почти на 30%.

❇️ Инфраструктурные полтергейсты

На стороне PHP очевидных тормозов больше не было. Но я обратил внимание, что теперь топ потребления CPU выглядит так:

🟢 PHP: 20%
🟢 HAProxy: 19%
🟢 psql: 17%

🔍 Внутри psql мы увидели странный call stack. Оказалось, что в Debian psql по историческим причинам запускается через Perl-обёртку. Она выбирает нужную версию клиента, потому что в системе может быть установлено сразу несколько версий PostgreSQL (этой возможности уже больше 20 лет).

Также монолит на PHP не использует postgres-специфичные connection string, чтобы подключаться к primary-ноде БД — это решение вынесено на уровень HAProxy. А он не умеет делать это нативно, только проверять tcp connectivity. Так что для проверки были написаны специальные скрипты, которые и вызывали psql. В итоге один только запуск Perl-обёртки начал заметно потреблять ресурсы.

🦾 Проблему решили довольно просто: добавили agent-check в HAProxy. Передаём проверку состояния бэкенда отдельному агенту, который может делать то, чего HAProxy не умеет.

➖ Результат: строки с описанием бэкенда теперь длиннее, но зато работа стала быстрее и стабильнее. И после выкатки этого изменения на тестинге Perl пропал в профилях.

🔶 Читайте больше подробностей в статье на Хабре. Там я рассказал, почему HAProxy продолжал расходовать много CPU даже после наших изменений. А ещё поделился, как мы увеличили выделенную под APCu память и реализовали динамическую балансировку.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

📺 «Нерешённые задачи» — премьера к празднику

Сегодня, 13 сентября, мы отмечаем День программиста, а ещё этот праздник совпадает с днём рождения Ильи Сегаловича, сооснователя Яндекса. Так что это идеальный день для премьеры нашего документального фильма «Нерешённые задачи» на Кинопоиске.

🟢 О чём картина

Это 30-минутная история о разработчиках Яндекса, которые каждый день берутся за задачи без готовых решений. Герои из команд Автономного транспорта, Алисы, Yandex Infrastructure и Yandex Cloud расскажут об экспериментах, ошибках и моментах, когда неудача становилась шагом к большому открытию.

Обсудим, почему некоторых пассажиров автономного транспорта укачивает, как подготовить инфраструктуру к трафику, который каждый год растёт вдвое, и что делать программисту, если модели уже пишут код быстрее него.

Готовых инструкций нет. Есть гипотезы, эксперименты, ошибки и новые попытки разобраться. Поэтому если вы не знаете, что делать, — это нормально. Вы просто оказались перед настоящей задачей.

🍿 Смотрим фильм на Кинопоиске или на YouTube

🈯️ Приятного просмотра и с Днём программиста!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🐾 Яндексоиды рассказывают про свои пет-проекты: робот-художник

Хотим познакомить вас с разработкой на стыке программирования и искусства — об этом наше новое видео.

🈁 Мы уже рассказывали о проекте в нашем канале, а теперь представим героя поближе!

Автор пета — Антон Чистяков, ведущий менеджер продукта «Яндекс Магистрали». Он навайбкодил программное обеспечение на Python, которое превращает коллаборативного робота-манипулятора (uFactory Lite 6) в настоящего художника.

📺 В ролике Антон рассказывает:

🟢 Как робот самостоятельно рисует на холсте акварелью и выполняет сложные действия — от набора краски и промывки кисти до нанесения мазков с правильной ориентацией

🟢 Из каких частей состоит проект

🔶 Смотрите все подробности на ютубе, а всю серию видео про пет-проекты яндексоидов можно найти в плейлистах на ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🛎 «Я про бэкенд» × «2718»: ищем сложные задачи для инженеров Яндекса

В карточках знакомим вас с первыми спикерами «Я про бэкенд», а в посте рассказываем про «2718». В прошлом году на конференции инженер Яндекса в прямом эфире разбирал сложную архитектурную задачу. Все участники предлагали свои решения и спорили о деталях, поэтому мы решили повторить формат.

И здесь нам нужна ваша помощь. Присылайте нетривиальные задачи на проектирование бэкенда сервиса в области информационного поиска. Мы выберем самую интересную и подходящую для публичного разбора, а инженеры Яндекса будут решать её в прямом эфире на «Я про бэкенд».

❇️ Примеры тем для задач:

• Сбор данных: обход, обработка, хранение.

• Индексация: построение индексов, хранение, запросы к индексам.

• Кандидатогенерация: отбор первичного множества документов, фильтрация.

• Свежесть данных: добавление новых документов/данных, удаление неактуальных документов/данных.

• Шардирование: деление данных на подмножества.

❇️ Ваша задача должна быть:

• Связана с областью информационного поиска, посвящена одной или нескольким смежным темам.

• Решаема (примерно за час).

• Приближена к реальному миру.

📆 Принимаем задачи до 11 сентября, форма участия и подробные условия «2718» — по ссылке.

🔶 Регистрируйтесь на конференцию «Я про бэкенд». С задачей или без неё — будем рады встретиться на серверной стороне AI-технологий.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🚀 Погружаемся в технологии на deep tech night

Уже 5 сентября пройдёт deep tech night — масштабная онлайн-конференция Яндекса о технологических вызовах, с которыми IT-индустрия сталкивается в эпоху AI: от изменений в разработке до новых требований к архитектуре и инфраструктуре.

Это событие для ML-разработчиков, бэкендеров, фронтендеров, тимлидов, аналитиков, продактов и всех, кто работает в IT-индустрии, внедряет AI в процессы, проектирует сложные системы и ищет новые решения.

🔥 Вас ждут темы от инфраструктуры и железа для нейросетей до AI-агентов и внедрения AI в разработку и два формата:

🟢 Hard — доклады о сложных и масштабных задачах для тех, кто хочет вдумчиво разобраться в технической стороне сферы.

🟢 Experiment — лайтнинги и интерактивные кейсы об экспериментах с AI-агентами, новых подходах и продуктовых находках. Для всех, кому интересно пробовать новое и следить за трендами.

Среди спикеров — Мо Гавдат, десять лет руководивший бизнес-развитием в Google X, Алексей Гусаков, CTO Поисковых сервисов и ИИ, Сергей Мельник, руководитель сервиса Автономного транспорта и роботов, и другие эксперты из Яндекса и других IT-компаний.

🧬 Чтобы подключиться к онлайн-трансляции, нужна предварительная регистрация. Она также даст возможность задать вопросы экспертам в прямом эфире и первыми посмотреть запись после события.

🔶 Смотрите полную программу и регистрируйтесь на deep tech night.

До встречи!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🔍 Как построить здоровый мониторинг

Нам нужны метрики и оперативное подсвечивание инцидентов, чтобы понимать, хорошо ли всё работает, и вовремя узнавать, если что-то идёт не так. Но чем больше новых измерений мы добавляем, тем больше появляется информационного шума.

Меня зовут Настя Кузнецова, я бэкенд-разработчик в Яндекс 360 и отвечаю за надёжность Календаря. Хочу рассказать, как мы приводим в порядок мониторинг, какие метрики стоит взять за основу и в чём суть нашего правила 80/20.

❇️ Два главных принципа здорового мониторинга

1️⃣ Помните, что метрики — это маяки, а не микроскопы. Они сигнализируют о наличии проблемы, но не рассказывают детально, какая из шестерёнок огромного механизма барахлит. С алертами та же история: они просто показывают, есть проблема или нет, без указания на конкретную строку в коде

2️⃣ Стремитесь к балансу. Конечно, хочется замониторить все сервисы так, чтобы нигде и никогда не пропустить ни одну проблему. Однако нельзя полагать, что дашборд на 1000+ метрик будет кому-то полезен, ведь в этом случае никто не знает наверняка, на какой именно график надо смотреть, чтобы найти нужную информацию

❇️ Подход 80/20

Хороший мониторинг помогает быстро понять, что происходит с приложением и куда смотреть в первую очередь. Для этого не нужно пытаться измерить всё: базовый набор технических метрик покрывает большинство типовых проблем (80%). А бизнес-метрики, SLO и анализ аномалий помогают заранее замечать нетипичные отклонения (20%).

🧬 Базовый набор для типичного бэкенда: RED-метрики для HTTP/gRPC, клиентов, очередей и баз данных.

❇️ В HTTP/gRPC-сервере замеряем три вещи:

🟢 Количество запросов. Тут мы можем увидеть, если кто-то решил спустить на нас DDoS или, наоборот, перестал это делать, а также если у нас куда-то утекает трафик

🟢 Ошибки, которые наш сервер отдаёт клиенту. В случае HTTP — это 4xx и 5xx, в случае gRPC — unavailable и прочее

🟢 Длительность запросов. Это помогает узнать, что сервер где-то начал подтормаживать или очень быстро отдавать что-то странное

Всё это даёт возможность понять практически любую проблему на стороне сервера.

❇️ В очереди смотрим на лаги:

Например, мы внесли в неё ряд данных, из-за этого там скопились сообщения, но по какой-то причине их не читают. Поэтому нам и нужны лаги — записанные сообщения минус прочитанные.

Эта метрика позволяет получить разницу позиций в очереди.

❇️ В БД следим за connection pool:

На стороне приложения есть клиентский пул, а между приложением и базой данных — отдельный серверный. Если наблюдать только за одним из них, отклонение на другом уровне останется незаметным, поэтому оба пула нужно включать в общий контур мониторинга.

Метрики клиентского пула обычно можно подключить через Spring Boot и Micrometer. Если в архитектуре есть отдельный серверный пул, его нужно мониторить на стороне компонента, который им управляет.

Такой контур помогает заметить риск заранее — до того, как он повлияет на запросы.

🔶 Читайте больше подробностей на Хабре. Там я поделилась золотыми метриками конкретно для Java-приложений и объяснила, как поймать 20% бизнес-специфичных. А также рассказала, как выбирать полезные алерты.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

💹 Из лидов в разработчики и обратно

Меня зовут Игорь Хураськин, я руководитель группы ML-инференса в Автономном транспорте. У меня за плечами больше десяти лет работы в Яндексе. За это время я успел поработать над поиском картинок, стать руководителем бэкенда в сервисе «Коллекции», перейти в Рекламу, а потом уйти в стартап по созданию 3D-кино. И сейчас я снова руководитель, но уже в беспилотных технологиях 🤯

Хочу объяснить, зачем несколько раз ротировался в разные сервисы, как одни технологии помогают развивать другие и почему я не боюсь перемен и не скучаю в рамках одной компании столько лет.

👩‍⚕️ Читайте все подробности в карточках выше!

🔶 А в статье на Хабре можно подробнее почитать про технологию для создания фотореалистичных 3D-копий сцен из объёмных частиц (сплатов), а не полигонов. И про YaGS Plugin — опенсорс-решение для работы с 3DGS внутри Unreal Engine.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend