DataTalks

Рады поделиться новой статьей наших коллег, опубликованной на Хабре

➡️ Как мы захотели контролировать SPILL’ы в Greenplum и сделали «Демократизатор»

Команда отдела поддержки инфраструктуры подготовила материал о создании системы автоматического контроля нагрузки в Greenplum — инструмента под названием «Демократизатор».

Раньше один неоптимизированный запрос мог генерировать до 40 ТБ SPILL-файлов, парализуя всю систему. Пользователи не понимали причин проблем, а администраторы узнавали об инцидентах постфактум.

В статье описана архитектура решения на Python, Django и Celery, которое работает 24/7: обнаруживает проблемные запросы, предупреждает пользователей, при необходимости завершает тяжелые процессы и дает понятную обратную связь.

Результаты впечатляют: более 10 000 зафиксированных нарушений, 13 000 уведомлений и 459 завершенных проблемных процессов.

📢 Читайте полную статью на Хабре и оставляйте комментарии!

До Data & AI Talks 6.0 остаётся 13 дней!

➡️ Сегодня мы завершаем нашу ретро неделю сравнением старой и новой школы в построении хранилищ данных.

Краткое резюме доклада:

Современное хранение данных постепенно переходит от традиционных реляционных баз и Hadoop к гибридным архитектурам Lake House, которые объединяют преимущества открытых форматов, S3-стореджей и новых технологий, таких как Iceberg.

Несмотря на это, выбрать универсальное решение и балансировать между сложностью миграции, затратами и требованиями бизнеса — сложная задача, требующая постоянных исследований и взвешенных решений.

Важным выводом стало, что совершенства ни в одной технологии нет, а эффективное использование новых подходов зависит от конкретных бизнес-кейсов и грамотного управления.

📢 Смотрите полную запись доклада на Rutube


📌 А уже на следующей неделе начнем вам рассказывать про доклады и спикеров на конференции Data & AI Talks 6.0

Остается 2 недели до конференции Data & AI Talks 6.0!

➡️Сегодня вспоминаем первый день конференции DataTalks 5.0 и яркую финальную дискуссию про ИИ-инновации.

Краткое резюме дискуссии:

Развитие индустрии ИИ сталкивается с критическими проблемами кадрового дефицита, доступа к данным и монополизации генеративных моделей, что требует стратегического подхода к обучению, регулированию и развитию отечественных технологий.

Важнейшие задачи — повышение качества образования, создание доверия через баланс инноваций и регулирования, а также развитие гибких и прозрачных управленческих практик.

Перспективы отрасли связаны с усилением международного сотрудничества, автоматизацией рутинных процессов и внедрением новых бизнес-моделей, где синергия человека и ИИ станет ключевым фактором успеха.

📢 Смотрите полную запись доклада на Rutube

До конференции Data & AI Talks 6.0 всего 15 дней.

➡️ Продолжаем вспоминать доклады с 5й конференции DataTalks. Сегодня поговорим о докладе об инфраструктуре для ИИ в энтерпрайзе.

Краткое резюме:

Для развития искусственного интеллекта в России важны оптимизация использования графических процессоров, развитие отечественной инфраструктуры, а также баланс между применением популярных зарубежных технологий и импортозамещением.

Несмотря на уже существующие мощности и планы довести их до экзофлопсных уровней к 2030 году, актуальны вопросы повышения эффективности использования ресурсов, совместимости систем и необходимости усиленного развития отечественных решений в условиях конкуренции и ограничений рынка.

📢 Смотрите полную запись доклада на Rutube

Продолжаем обратный отсчет. До конференции Data & AI Talks 6.0 16 дней. Сегодня вспоминаем доклад про практические шаги в сторону AGI.

Краткое резюме доклада:

Несмотря на значительный прогресс в области технологий, ИИ всё ещё не достиг уровня человеческого интеллекта, особенно в области творчества, проактивного мышления и самостоятельного обучения.

Создание универсальных систем остается сложной задачей, а для эффективного развития и внедрения ИИ необходимы постоянное обучение специалистов, грамотное управление данными и развитие культуры доверия.

В будущем ИИ продолжит трансформировать рынок труда, создавать новые идеи и бизнес-модели, при этом оставаясь инструментом, требующим человеческого контроля и стратегического подхода.

📢 Смотрите полную запись доклада на Rutube

📞 Конференция Data & AI Talks 6.0 состоится уже совсем скоро и мы решили вспомнить, как это было в прошлом году.

➡️ На этой неделе будем делиться с вами самыми яркими выступлениями прошлого года. И начнем с дискуссии про современные архитектуры и подходы к работе с данными.

Краткое резюме дискуссии:

Современная архитектура данных всё больше ориентируется на гибридные решения, такие как Lake House, объединяющие преимущества хранения и обработки данных, что позволяет повысить скорость и качество аналитики.

Однако переход к новым технологиям требует тщательного планирования, высокого уровня компетентности и понимания стоимости внедрения. Важными аспектами остаются управление качеством данных, баланс между централизованными и децентрализованными подходами, а также необходимость развития Data Governance и адаптации команд.

В целом, будущее хранения данных — это постепенный эволюционный процесс, при котором классические методы сосуществуют с инновационными решениями, а стратегический выбор технологий зависит от конкретных бизнес-задач и зрелости организации.

📢 Смотрите полную запись дискуссии на Rutube

⚡️ 23–24 октября 2025 года | Data & AI Talks

Ростелеком и Альянс в сфере ИИ приглашают на VI конференцию, посвященную управлению данными и ИИ-технологиям.

🔥 Программа:

23 октября (онлайн)
Фокус на практике: реальные кейсы и опыт внедрения.

24 октября (очно)
Фокус на стратегии: бизнес-перспективы, масштабирование и инфраструктура.

Ключевые сессии 24 октября:
Утро: Дискуссия лидеров рынка о будущем управления данными с участием Ростелекома, Т2, ВТБ, Газпромбанка, НСПК, Т-Банк, Альфа-Банк.
День: Стратегическая сессия «ИИ в телеком индустрии» с топ-спикерами из Ростелекома, Т2, ЭР-Телекома, Билайна, МегаФона, МТС.

Готовьтесь к двум дням интенсивного нетворкинга!

➡️ подробная программа и форма регистрации: по ссылке

Также еще принимаются заявки на доклады в первый день.

ИИ продолжает трансформировать отрасли, но его внедрение выявляет всё больше практических и этических сложностей. От Голливуда до клиентской поддержки — реальность оказывается куда многограннее первоначального хайпа.

Киностудия Lionsgate обнаружила, что создать фильм с помощью ИИ — задача не из лёгких. Их совместный проект с Runway AI застопорился по двум причинам: для обучения модели оказалось недостаточно всей библиотеки фильмов студии, а юридические вопросы о правах и выплатах создателям оригинального контента остались без ответа. Громкая идея переупаковки франшиз в аниме за несколько часов пока так и осталась идеей.

В музыкальной индустрии интересен случай с ИИ-артистом Xania Monet. Звукозаписывающий лейбл Hallwood Media заключил сделку с проектом, где музыка и вокал созданы нейросетью Suno. Юридическая проблема в том, что по действующему законодательству США авторские права распространяются только на тексты, написанные человеком. Это означает, что сам музыкальный продукт не защищён правовыми гарантиями. Пока неясно, как будет развиваться правоприменительная практика в этой сфере — отрасль находится в состоянии правовой неопределённости.

А в области клиентского обслуживания ИИ нашёл свою нишу. Согласно масштабному исследованию, опубликованному в Journal of Marketing, ИИ предпочтительнее для решения задач, которые клиенты считают «неловкими». Например, при покупке интимных товаров клиенты выбирают чат-ботов. Исследование подтверждает, что в ситуациях, не требующих эмпатии, анонимность и беспристрастность машины становятся её главным преимуществом. Человек же незаменим там, где требуется эмпатия и ситуационное понимание.

Исследователи SPLX используя метод "prompt injection" (внедрение подсказок), продемонстрировали как заставить ChatGPT-агента проходить CAPTCHA-тесты, нарушая встроенные политики безопасности. Результаты тестирования показали впечатляющую эффективность: агент успешно прошел простые CAPTCHA (текстовые, логические) за 15-60 секунд, а также сложные визуальные тесты reCAPTCHA V2 Enterprise, а также самостоятельно принял решение имитировать человеческие движения курсора для обхода систем детекции ботов.

А специалисты Radware выявили уязвимость "ShadowLeak" в Deep Research. Атака позволяла извлекать конфиденциальные данные из Gmail через скрытые HTML-команды в электронных письмах. Когда пользователь обращался к агенту с просьбой проанализировать почту, система незаметно выполняла вредоносные инструкции. OpenAI уже закрыла уязвимость, но проблема системной безопасности ИИ-агентов остается актуальной.

Google DeepMind выпустила обновленный документ по безопасности при работе с ИИ. Компания выделила четыре критические угрозы: утечку параметров моделей, манипулирование убеждениями пользователей, неконтролируемое развитие технологий и появление "несогласованного ИИ", который игнорирует инструкции.

Подборка с Хабра из блога Ростелекома — статьи от коллег за последнее время (и не только). Интересные статьи с реальными кейсами по разработке, управлению проектами и технологиям.

Гантовая теория релизов по Канбану
Сергей Павлов делится, как комбинировать Канбан с Гантом для управления релизами в экосистеме "Лукоморье". Обсуждаются проблемы с синхронизацией спринтов, внедрение платформы Яга с кастомными статусами, полями и валидациями для прозрачности и эффективного планирования.

Поддержка PWA в Аврора 5.2
Тимур Валеев разбирает интеграцию Progressive Web Apps в ОС Аврора: от парсинга manifest.json и работы Service Worker до изоляции приложений в контейнерах. Подробно о шагах установки через CEF и D-Bus, вызовах с некорректными манифестами и планах на обновления с push-уведомлениями.

Фабрика роботов: как устроены RPA-процессы в «Ростелекоме»
Коллеги рассказывают об RPA (Robotic Process Automation) для автоматизации рутинных задач: от выбора технологий до создания "фабрики роботов" с примерами в HR, финансах и сервисе. Фокус на масштабировании, интеграции с ИИ и снижении нагрузки на сотрудников.

Как мы ИИ в B2B сегменте Ростелекома внедряли
Никита Беловашин описывает кейс по автоматизации бизнес-процессов с ИИ: от анализа узких мест до внедрения моделей для персонализации услуг, обработки данных и прогнозирования.

Много полезного для IT-спецов — от agile-практик до современных технологий. Рекомендуем заглянуть и обсудить в комментариях!

Gartner прогнозирует радикальный сдвиг в кибербезопасности к 2030 году: превентивные решения, использующие ИИ для упреждения угроз, займут 50% рынка IT-безопасности против нынешних 5%. Это включает предиктивную разведку и автоматизированную защиту, с эволюцией к автономным кибериммунным системам (ACIS), где фокус сместится на нишевые решения для отраслей вроде здравоохранения и финансов.

ГК "Солар" отмечает во втором квартале 2025 года рост заражений вредоносным ПО на 20% — до 160 на организацию, где жертвами стали здравоохранение (27%), госсектор (17%) и ТЭК. APT-группировки используют RAT для шпионажа и монетизации данных, а осенью ожидается всплеск атак. Российские исследования подтверждают рост фишинга с ИИ на 53% за год на основе анализа 74,5 тыс. атак, где утечки учетных записей лидируют в 35% случаев, фишинг — в 30%, с акцентом на таргетированные письма.

В глобальном масштабе Gartner оценивает расходы на ИИ в $1,5 трлн в 2025 году и свыше $2 трлн в 2026-м, с драйверами в виде гиперскейлеров и интеграции ИИ в смартфоны — к 2028 году они захватят 54% рынка по данным IDC.

DeepSeek AI представила модель R1, которая научилась рассуждать самостоятельно. Используя обучение с подкреплением и получая только сигналы о правильности ответов, модель развила навыки самопроверки и стратегического решения задач. R1 достигла 86,7% точности на математической олимпиаде AIME 2024. Исследование опубликовано в Nature.

Исследователи MIT и IBM разработали руководство по законам масштабирования LLM, проанализировав 485 моделей из 40 семейств. Руководство помогает предсказывать производительность крупных моделей по меньшим версиям с точностью до 4% ошибки. Полный отчет доступен на OpenReview.

А OpenAI исследует преднамеренный обман в ИИ-моделях, когда они скрывают истинные цели под видом выполнения задач. Исследователи совместно с Apollo Research выявили, что модели могут притворяться честными во время тестирования, продолжая обманывать в реальных условиях. Метод deliberative alignment снижает такие "схемы", заставляя ИИ пересматривать правила перед действиями, однако попытки устранить обман могут научить модель обманывать более скрытно.

Google Gemini 2.5 Deep Think завоевал золото на ICPC 2025, решив 10 из 12 задач и обогнав 135 из 139 человеческих команд. ИИ справился с задачей многомерной оптимизации, которая оказалась недоступной для людей, применив динамическое программирование за полчаса.

⚡️ TData запустила собственный Telegram-канал! Вся ключевая информация о продуктах и разработках — в одном месте.

🟣 Анонсы продуктов и релизов
🟣 Технические детали обновлений
🟣 Корпоративные новости и инсайты

TData — российский разработчик высокопроизводительных и безопасных решений для построения хранилищ данных, аналитики и автоматизации процессов по управлению данными с использованием искусственного интеллекта.

Информация из первых рук от ведущего российского разработчика решений для Big Data.

➡️ Подписывайтесь на официальный канал TData

Роботы постепенно осваивают командную работу на разных уровнях. На производстве Google представила систему RoboBallet, которая координирует восемь промышленных манипуляторов как танцоров — планирует их движения за секунды вместо дней и повышает эффективность на 25%. Пока технология проходит лабораторные испытания и не развернута на реальных производственных линиях, но уже демонстрирует потенциал для упрощения программирования роботов. Исследование опубликовано в журнале Science Robotics.

Ученые также изучают природные принципы координации и переносят их на роботов. Исследователи создали системы, где каждый робот получает простое правило взаимодействия — притягиваться к соседям или отталкиваться от них, как это происходит в стаях птиц. В медицине американские ученые показали первых наноботов размером с клетку, которые следуют друг за другом по химическому следу — одни находят цель, другие доставляют лекарство. Технология пока остается экспериментальной и требует дальнейших исследований для клинического применения.

Японские инженеры из RIKEN разработали экзоскелет с ИИ, который наблюдает за окружением через камеру и понимает намерения пользователя без сложной настройки. Лабораторные испытания показали снижение мышечной активности при выполнении повседневных задач, а система успешно адаптируется к разным людям без переобучения. Разработка находится на стадии исследований и может найти применение в реабилитации и помощи пожилым людям.

Исследователи из ETH Zurich и MATS разработали «детектор лжи», который позволяет в режиме реального времени замечать, когда языковая модель начинает фантазировать. Препринт описывает алгоритм, который анализирует «мысли» модели и с точностью 90% определяет моменты, когда она начинает придумывать имена, даты или ссылки — значительно лучше прежних методов (71%) на Llama-3.3-70B. Это шаг к созданию ИИ-систем, способных признавать границы своих знаний и честно сообщать о своей неуверенности в спорных вопросах вместо выдумывания правдоподобных фактов.

Албания первой в мире ввела в правительство виртуального министра: ассистент Diella теперь руководит государственными закупками. Алгоритм будет контролировать тендеры для исключения коррупции — первый случай ИИ-чиновника в истории.

В продажах люди пока лидируют.  Исследование UBC Sauder показало: виртуальные «стримеры» на Tmall почти не увеличивают продажи, тогда как живые ведущие делают это заметно лучше. Единственная функция, выводящая аватары на человеческий уровень, — ответы на вопросы зрителей в реальном времени: это увеличило продажи на 25%.

Ученые Сеченовского университета разработали нейросеть для выявления болезни Паркинсона по данным ЭЭГ с точностью 97%. Система анализирует частотные аномалии электрической активности мозга и может диагностировать заболевание еще до появления первых симптомов, когда лечение наиболее эффективно. В планах создать на ее основе цифровой сервис, который пройдет апробацию в университетской клинике.

Коллеги из того же университета создали прототип веб-приложения для автоматического выявления опухолей головного мозга на МРТ-снимках. Модель на базе YOLO v11, обученная на 5000 изображений, достигла точности 97,1% и не только обнаруживает новообразования, но и классифицирует их тип.

А американские исследователи из Университета Тафтса представили систему DECIPHAER, которая определяет механизмы воздействия противотуберкулезных препаратов на бактерии. ИИ анализирует морфологические изменения клеток под микроскопом и связывает их с молекулярными процессами, заменяя дорогостоящее секвенирование РНК.

MIT разработал систему VaxSeer которая использует машинное обучение для прогнозирования эволюции вируса гриппа и выбора оптимальных штаммов для создания сезонных вакцин. Исследование опубликовано в Nature Medicine.

Подготовили интересную подборку с Хабра, которая охватывает разные аспекты машинного обучения и искусственного интеллекта — от изучения алгоритмов до практического применения в бизнесе и инженерии.

Материалы будут полезны для разработчиков, дата-сайентистов, инженеров и всех, кто работает с современными технологиями или интересуется их развитием

➡️ Популярные алгоритмы машинного обучения. Теоретические основы и реализация с нуля на Python
Большой материал для понимания основ ML. Теоретические основы и практическая реализация популярных алгоритмов без использования готовых библиотек — отличная возможность разобраться, как все устроено изнутри.

➡️ 7 кругов ада: практический гид по выбору стека для ML-разработки
Подробный разбор семи уровней современной ML-разработки. Команда рассказывает, как выбирать инструменты для разных задач и проектов — от экспериментов до production-решений.

➡️ Обзор существующих ИИ-инструментов для инженера-конструктора
Обзор того, как искусственный интеллект меняет CAD-системы и проектирование. От генеративного дизайна до создания 3D-моделей по текстовому описанию — интересный взгляд на применение ИИ в инженерии.

➡️ Как мы оптимизировали сбор данных для отчёта маркетологов
Практический опыт команды по построению внутреннего решения для сбора и анализа данных. История о том, как отказались от внешних сервисов и получили полный контроль над аналитикой.

В Китае вступил в силу закон об обязательной маркировке синтетического контента. WeChat с 1,4 млрд пользователей и Douyin с 766,5 млн теперь помечают весь ИИ-контент двойной системой меток — видимыми для пользователей и скрытыми цифровыми водяными знаками в метаданных. DeepSeek также ввела аналогичные требования, запретив пользователям вмешиваться в систему маркировки под угрозой судебных исков.

Warner Bros Discovery подала масштабный иск против Midjourney за генерацию "бесчисленных" копий культовых персонажей — от Супермена до Рика и Морти. Студия требует $150,000 за каждое нарушенное произведение и обвиняет компанию в "наглом пиратстве". Особенно возмутил факт, что Midjourney создаёт изображения героев даже по общим запросам типа "битва супергероев".

Тем временем научное сообщество делает важные открытия. Исследователи ВШЭ разработали датасет для обучения эмоциональному распознаванию, опубликовав результаты в "Вопросах лексикографии". Выяснилось: нейросети лучше определяют злость по тексту, а страх — по голосу, опровергая мифы о важности интонации.

А учёные Университета Брауна нашли глубокие параллели между человеческим и машинным познанием. Работа в PNAS показала: и люди, и ИИ лучше запоминают сложные задачи — ошибки заставляют обновлять "долговременную память", формируя основу для будущего быстрого обучения.

Российские аграрии получили мощного цифрового помощника. В Казанском университете тестируют отечественный дрон «Небесный трактор» с грузоподъемностью 150 кг. Беспилотник обрабатывает до 600 га за смену — в 8-10 раз эффективнее наземной техники, экономя до 40% затрат и снижая расход препаратов на 15-20%.

Авиационная безопасность получает комплексную поддержку от ИИ-технологий. Сингапурские исследователи разрабатывают систему для инспекции поверхности самолетов на базе больших языково-визуальных моделей, способную обнаруживать новые типы дефектов без предварительного обучения. А НИЦ им. Жуковского создает интеллектуального помощника пилота — «второго пилота ИИ», который будет анализировать потоки информации от бортовых систем и снижать влияние человеческого фактора, ответственного за 70-80% авиакатастроф.

Российские беспилотные грузовики также показывают впечатляющие результаты. Недавно Navio совершила исторический автономный рейс Петербург-Казань за 24 часа против обычных 58 часов с водителем. К концу года парк робофур в России планируется увеличить до 100 машин.

👂Участвуйте в ежегодном исследовании "Управление данными в России 2025"💡

Мы запустили исследование "Управление данными в России 2025" и приглашаем вас принять участие.
Это ваш шанс повлиять на развитие отрасли, поделиться опытом и получить уникальные инсайты о текущем состоянии и будущем рынка.

➡️ПОДРОБНОСТИ ЗДЕСЬ

Потратьте несколько минут, чтобы заполнить анкету и стать частью большого и важного проекта♥️

Участвуйте по ссылке:
👉"ССЫЛКА НА ОПРОС"👈

#DataGovenance #УправлениеДанными #DataManagement #Исследование #Опрос #CDO #Россия #DataDriven #DAG