Пять материалов о том, как строить агентов, почему метрики врут и что меняет ИИ в разработке

Недавно познакомились с каналом EasyData. Автор — преподаватель и ML-инженер, занимающийся рекомендательными системами. В канале делятся опытом, инструментами и разбирают рабочие задачи.

Выбрали пять публикаций, которые нам показались наиболее интересными:

◾️ Подборка визуализаций, где можно вручную покрутить гиперпараметры и увидеть, как работают алгоритмы, — от градиентного спуска до внутреннего устройства GPT-2.

◾️ Готовые наборы агентов, навигатор по экосистеме (300+ инструментов), курсы от Microsoft и фундаментальные гайды Anthropic. Плюс краткий разбор Claude Opus 4.8 с акцентом на агентные сценарии.

◾️ Обзор исследований: ИИ ускоряет написание кода, но не ускоряет доставку фич; разработчиков скорее трансформируют, чем заменят; 70% компаний используют ИИ, но 89% пока не видят роста производительности.

◾️ Четыре задачи, где оффлайн-метрики радовали, но в проде всё пошло не так. Например, RAG находит нужные документы в 99% случаев, но 25% ответов содержат фактические ошибки.

◾️ Классические ML-задачи: ранжирование, калибровка, прогнозирование
Три кейса с неочевидными причинами провалов: высокий ROC-AUC без роста CTR, падение recall после калибровки и проигрыш в A/B-тесте из-за свежих данных.

Канал EasyData — про то, с чем действительно сталкиваешься в работе над DS-продуктами. В канале регулярно публикуются разборы, подборки и кейсы. Делимся ссылкой: @data_easy