Data Fusion

Мама, мы на всероссе

В этом году уже в четвертый раз прошла всероссийская олимпиада школьников по искусственному интеллекту: ВТБ стал партнером проекта и подготовил для школьников собственную задачу по геоаналитике. В соревновании могли участвовать ученики 8-11 классов, два этапа олимпиады проходили онлайн, а на третий, очный, ребята собрались в подмосковном Долгопрудном — в кампусе МФТИ.

Здесь-то и началась настоящая схватка за дипломы 🎯 После решения задач финалистам было не до отдыха — о том, как ИИ реально работает и применяется в бизнесе, им рассказывали представители топовых российских data-driven компаний. Честь ВТБ перед олимпиадниками защищал Алексей Пустынников, Team Lead DS в управлении моделирования партнерств и ИТ-процессов: Леша сам занимается в банке геоаналитикой и успешно решает ту самую задачу со звездочкой каждый день.

Всего на ИИ-олимпиаде этого года — 12 победителей и призеров. Мы желаем всем участникам блестящих образовательных и карьерных успехов и обязательно ждем на стажировки в наши ds-команды. А вот здесь страница с заданиями и материалами олимпиады прошлых лет — попробуйте решить сходу.

С олимпиадника по лайку — проверим, сколько нас 🔷

🫖 Первый выпуск нового сезона подкаста «Деньги любят техно» уже доступен на всех платформах

Хотя на дворе еще осень, мы уже начинаем активную подготовку к конференции Data Fusion. На этот раз решили поближе познакомиться с теми людьми, на плечах которых стоит отечественная наука о данных. Эта идея легла в основу нашего специального сезона «Лица Data Fusion».

Формат сезона тоже новый: заместитель руководителя департамента анализа данных и моделирования ВТБ Денис Суржко общается с гостями за чашкой ароматного чая. Говорят, что совместное чаепитие — лучший способ настроиться на единое пространство смыслов и идей.

Герой первого эпизода нового сезона — доктор физико-математических наук, профессор РАН, генеральный директор института AIRI, профессор «Сколтеха» и друг конференции Data Fusion Иван Оселедец. Говорим о современных ученых, работе с людьми и будущем, которое уже невозможно представить себе без ИИ.

Старт нового сезона — это всегда волнительно. Пожалуйста, поддержите нас лайком и комментарием!

🔹 Смотреть подкаст в VK
🔹 Смотреть подкаст на Rutube
🔹 Слушать аудиоверсию на всех площадках

Вчера на нашем ComDS, несмотря на дождь и ураган за окном, было жарко 🔥

ComDS — это неформальные встречи data science-сообщества ВТБ: мы делимся друг с другом экспертизой, приглашаем внешних гостей и обмениваемся опытом команд. На этот раз в программе было целых три классных доклада и продуктивный (см. фото 4) нетворкинг за пиццей. О чем говорили спикеры:

- о ML в ride-hailing платформах. Руководитель службы ML в Яндекс.Такси Александр Мамаев убедил нас в прозрачности ценообразования поездок и поделился необычными кейсами применения алгоритмов машинного обучения внутри сервиса.

- о миграции широкой витрины по клиенту на новое хранилище рассказал IT-лид в стриме моделирования РБ Максим Скаржинец. Как обычно, план был прост и понятен, реальность оказалась чуть сложнее 😅

- Об автоматизации обработки отчетности РСБУ. Андрей Ходяков, директор управления моделирования КИБ и СМБ, рассказал, как команде удается оцифровывать с помощью алгоритмов 100 тысяч документов в год.

В следующий раз поставим в зоне фуршета флипчарт 😅 Если вы хотите присоединиться к нашим встречам и тоже рассказать о своем кейсе — будем рады!

Сходили (пешком) в гости к YandexGo на TechTalk 🚕

Делимся основными тейками из доклада Дили Хакимовой "Мифы об A/B-тестировании в ML". Поговорили об ошибках первого и второго рода, сложностях бакетной агрегации данных и особенностях данных в сезонном бизнесе. Было много математики и практики — все то, что мы любим 💙

Миф 1. Данные независимы. На самом деле у пользователей повторяются маршруты, время и категория ТС в заказах.
Миф 2. T-тест можно использовать только на нормальных данных. На самом деле даже небольшого количества наблюдений достаточно, чтобы найти асимптоту. ЦПТ в помощь.
Миф 3. T-тест чувствителен к выбросам — убери их, и все будет хорошо. Выбросы могут быть процессом.
Миф 4. Мощность данных в районе 80% — это норм. На самом деле такая мощность в реальных данных встречается редко.
Миф 5. На "серые" метрики не стоит обращать внимания. Они могут быть частью эффекта эксперимента.
Миф 6. U-критерий подходит для проверки равенства средних и медиан. На самом деле проблема критерия Манна-Уитни — он сравнивает распределения, поэтому прокрашивает чаще других критериев и не показывает падение среднего. Для бизнеса игнорировать среднее нельзя.
Миф 7. Если целевая метрика прокрасилась, можно бежать раскатывать фичу. Подглядывая, мы сильно повышаем ошибку первого рода. Находим эффект там, где его нет.
Миф 8. Чем больше метрик проверяется в ходе эксперимента, тем лучше. Нет — метрики не просто могут прокраситься случайно, но они еще и прокрашиваются зависимо друг от друга, и это повышает вероятность ошибки первого рода.
Миф 9. Метрики медиан (квантили) можно считать только бутстрапом. Есть статья, в которой приведены аналитические формулы.
Миф 10. Если выборка маленькая, бутстрап поможет. Базовое предположение бутстрапа, что данные являются хорошим представителем генеральной совокупности.
Миф 11. Для расчета метрик отношения можно перейти к поюзерному отношению. Это неверно: пользователи неравномерно пользуются сервисом, есть heavy-юзеры, есть эпизодические пользователи. Взвесить всех "одинаково" нельзя. Эта метрика может быть не сонаправлена с исходной.

Спасибо команде DS YandexGo за гостеприимство и классный доклад! Тоже ждем вас в гости🔥

🔒 Узнаем клиентов по голосу — даже несмотря на шум и низкое качество связи.

Как разрабатывалась модель, которая верифицирует личность клиента в контакт-центре? Что такое "голосовой слепок" и может ли модель сформировать его для незнакомого ей человека? Как решались главные проблемы распознавания голоса — шум, перебои в связи, эхо?

Обо всем этом на конференции "Антифрод в финансовых организациях" рассказал Иван Дуля, старший аналитик данных в команде "Модели антифрод". Иван заслуженно вошел в топ лучших спикеров конференции, а мы с удовольствием делимся с вами презентацией и записью его выступления.

Лайк не поставят только мошенники.

🤗 Закон робототехники Азимова-Исправникова: быть осторожнее с регулированием ИИ. Снижать риски там, где есть опасность для человека, но и давать свободу инженерам

Очень насыщенная личным опытом дискуссия об этике и регулировании искусственного интеллекта сегодня прошла в Центре событий РБК на форуме РБК Tech. Запись в свободном доступе — посмотреть можно вот здесь. Кто беседовал:

Иван Оселедец, доктор физико-математических наук, профессор РАН, генеральный директор Института AIRI, профессор Сколтеха
Антон Исправников, начальник управления моделирования РБ ДАДМ
Иван Хворов, директор программы SKOLKOVO MBA
Дмитрий Марков, исполнительный директор, MTS AI
Сергей Марин, директор и основатель ООО «Студия Данных»
Данила Медведев, российский футуролог, популяризатор науки.

Антон, кстати, обладатель самых классных носков среди спикеров, рассказал, что у нас в ВТБ все модели перед выходом на рынок долго обкатывают сами сотрудники. А еще — поделился опасениями, что ограничения ИИ станут сдерживающим фактором для разработчиков.

Если вам интересна тема этики и перспектив госрегулирования языковых моделей и рекомендательных систем — обязательно к просмотру.

Передаем привет с площадки Russia Risk Conference 2024 — мы же всё-таки банкиры, не только ИИ развиваем, но и о рисках думаем. Работа такая:)

За экспертным столом встретились лидеры ИИ в финансах и телекоме. На площадке замечены:

- Юлий Шамаев, ВТБ
- Александр Дьяконов, Т-банк
- Евгений Смирнов, Альфа-Банк
- Никита Зелинский, МТС
- Сергей Афанасьев, Сбер
- Николай Филипенков, Т2.

Модерировал Руслан Морозов (Сбер).

О чем говорили? О галлюцинациях в моделях, которые могут не учесть тот или иной риск; о том, как важно правильно размечать датасеты; о том, может ли ИИ-модель составить психологический портрет человека по фото. Под конец эксперты признались, какую модель используют чаще всего. Особенно нам понравился ответ Александра Дьяконова — о том, использовать нужно все доступные модели. И риски хеджируются, и интереснее.

😎 На наших внутренних митапах все интереснее и интереснее

Вчера на ComDS, оффлайн-встречах для DS-сообщества ВТБ, сошлись огонь и лед.

В гостях у нас были:
- герой второго выпуска нашего подкаста, директор департамента технологий ИИ "Русала" Михаил Граденко
- преподаватель МФТИ, руководитель группы ML-разработки лаборатории ИИ в Яндексе Радослав Нейчев.

Вместе мы обсудили галлюцинации современных нейромоделей, особенности сбора и дрейфа данных в промышленности и то, как обратить все эти особенности себе на пользу. Модерировал и находил точки соприкосновения Юлий Шамаев, начальник управления моделирования партнерств и ИТ-процессов ВТБ.

Вот топ тем со встречи:

🔹Языковая модель может помочь вам отрепетировать собеседование или проверить знания Python, если правильно ее запромптить
🔹 Задача модели — не дать правильный ответ, а понравиться вам
🔹 Упаковывать риски в модели прямо сейчас — очень важная часть работы, потому что на этапе глобальных моделей ни один DS за этим уже не уследит
🔹Open source — это круто: много берешь, много и отдавай
🔹Одна из ключевых целей коммьюнити, по мнению наших экспертов, прямо сейчас — это обучение новых DSoв. Учить/учиться — просто must. Не поспоришь!

Есть, чем поделиться? Смело пишите в комментарии. Мы всегда рады живому обсуждению 🔥