Reliable ML

Секция ReliableML на Датафесте

Хотели сделать две секции - но к нам пришли замечательные люди с интересными докладами, поэтому будет еще одна секция 😉
В дополнение к секциям про карьеру и стратегию развития данных делаем традиционную секцию ReliableML с примерами того, как делать машинное обучение, которое приносит бизнесу реальную пользу. Итого секции будет три:

* Career - карьера, дата-роли и профессиональный рост, оффлайн, Москва
* Стратегия развития данных - про управление данными в организациях, оффлайн, Москва
* ReliableML - про ML, который доставляет, онлайн

Если у вас есть интересные темы / доклады / кейсы, подавайте заявку через форму или пишите Ирине или Дмитрию.

Давайте сделаем круто!

Ваш @Reliable ML

#datafest #offline #ods #career #data_strategy #makeitgreat

Секции Career и Data Strategy от Reliable ML на Датафесте

С 25 мая по 2 июня будет Датафест (смешанный формат онлайн+оффлайн).

Ищем интересных спикеров в две наши секции:

* Career - карьера, дата-роли и профессиональный рост
* Стратегия развития данных - про управление данными в организациях

Если у вас есть интересные темы / доклады / кейсы, подавайте заявку через форму или пишите Ирине или Дмитрию.

Давайте сделаем круто!

Ваш @Reliable ML

#datafest #offline #ods #career #data_strategy

Митап про машинное обучение в физике

В Новосибирском Академгородке, в Институте Ядерной Физики будет митап про машинное обучение в физике. Акцент на ML в управлении ускорителями, RL, байесовскую оптимизацию и проч.

Мероприятие будет оффлайн, 25.03.2024 15:00 - 17:00 в конференц зале ИЯФ СО РАН

Если хотите прийти вживую, зарегистрируйтесь до 22.03.2024

Онлайн тоже будет, ссылки на трансляцию и все материалы разместим в группе мероприятия.
Там же можно будет задать вопрос спикерам.

Один из докладов, например, "Машинное обучение в физике ускорителей - обзор подходов" - от Дмитрия Колодезева и Ксении Карюкиной.

Приходите!

Ваш @Reliable ML

#science #offline #meetup

Winter is coming - Цикл постов про академиков в депрессии - Часть 3
Завершение серии постов по статье Togelius, Yannakakis (2023)

Помните - по мотивам нашумевшей статьи - мы рассказывали вам о том, почему академики сферы AI все чаще оказываются в депрессии? Вспомнить можно вот тут:
- Часть 1: почему грустят AI-академики
- Часть 2: что предлагается делать академикам, впавшим в депрессию.

Далее мы обещали рассказать вам о том, что нас ждет в связи со всем вышеперечисленным, и что же можно сделать.

Ну что ж, прошло всего полгода с этого момента. Самое время выполнить обещание!

Что нас ждет

- Рост зависимости от вычислительных ресурсов. С увеличением потребности в больших вычислительных мощностях, процессы исследований в области AI будут все больше концентрироваться в крупных организациях с доступом к огромным вычислительным ресурсам.

- Более жесткая конкуренция в области AI. Неспособность конкурировать с корпорациями и зависимость от pretrained моделей снизят степень инноваций в академической сфере.

- Смещение приоритетов в академической среде. Как следствие первых двух пунктов, приоритеты в исследованиях академии вынужденно могут сдвинуться - от решения фундаментальных вопросов к сотрудничеству с индустрией и практически ориентированным направлениям (привет, коммерческий эффект!).

Что можно сделать

- Объединения для обмена ресурсами. Помогать созданию и распространению различные объединения (между университетами и не только) для обмена и объединения вычислительных ресурсов и идей. Это может помочь уменьшить зависимость от индивидуальных возможностей каждого университета и лаборатории. Развитию таких объединений также могут способствовать программы госфондирования - по аналогии с недавней историей с вычислительными ваучерами от государства для стартапов в Китае. Как вам идея "талонов на AI" для научных лабораторий?

- Развивать методы анализа малых наборов данных. Продвижение в алгоритмах, позволяющих делать ценные выводы из малых наборов данныхи может повысить эффективность исследований в условиях ограниченных ресурсов.

- Создавать площадки для коммерциализации идей. Поддержка площадок, объединяющих исследователей и предпринимателей, для коммерциализации перспективных идей и создания стартапов на базе академических исследований. Источниками финансирования могут быть как университеты, так и их объединения друг с другом и корпорациями.

А что думаете вы? Есть ли еще пути для разогрева академических исследований в области AI?

P.S. В размышлениях на тему решения проблемы депрессии AI-академиков поучаствовала GPT-3.5-turbo. Нам показалось, что сети будет важно сказать свое мнение. Будущее AI-академии, это ведь и ее будущее.

Ваш @Reliable ML

#business #tech #thoughts #reliable_ml

ИИшница от AIRI
Рассказываем про интересное

Уже завтра AIRI проводит первую в этом году ИИшницу.

В программе:
- Работа с графами знаний с помощью языковых моделей
- Интерпретация языковых моделей
- Оценка неопределенности и галлюцинации LLM
- Проблема генерализации LLM
- Открытый бенчмарк Мера

Трансляция будет тут.

Ваш @Reliable ML

#анонс #tech

Митап по гипотезе лотерейного билета - 27 февраля 18:00
Make offline great again

Снижение затрат на вычисления горячая тема. Можно ли, сжав нейронную сеть в 2 раза без доучивания весов, получить качество не хуже, чем в полной версии? А существует ли золотой лотерейный билет, который позволит еще и улучшить качество?

Об этом 27 февраля на офлайн-митапе нам собираются рассказать Влад Голощапов и Денис Кузнеделев. У Дениса на тему лотерейного билета есть статья на Хабре (и не только!), а у Влада - много наработок, которыми он поделится на митапе.

Гипотеза лотерейного билета

Случайно инициализированная плотная нейронная сеть содержит в себе подсеть, способную достичь того же качества на тестовых данных, что и исходная сеть за то же или меньшее число итераций, что и исходная плотная сеть.

(Frankle & Carbin, 2019)

Всех, кому интересна тема оптимизации нейронных сетей, ждем на 27 февраля вечером. Регистрация и детали тут.

С собой можно брать печеньки и вопросы по прунингу сеток.

Ваш @Reliable ML

#tech #offline #meetup #reliable_ml

Стажировка - IT & Data

Всем привет! Говорят, тут один хороший банк набирает стажеров в классные команды: ссылка тут.

Отличный вариант, чтобы получить опыт и прокачаться в области дата-аналитики и data science.

Ваш @Reliable ML

#internship #tech

Reliable ML - Опрос про ML Design Document

Готовимся запустить мини-курс (открытый, бесплатный) по написанию и внедрению ML Design Doc. Примерно 4 часа видео + упражнения и разбор основных трудностей.

Нужна ваша помощь! Напишите, пожалуйста, в комментариях - с какими трудностями столкнулись при написании ML Design Document?

Если не смогли написать - напишите, на каком шаге сломалось.
Если не смогли начать - напишите, что остановило.
Если внедрили - с чем были проблемы?
Если не собираетесь писать - напишите, почему ;-)

Очень выручите ❤️

Ваш @Reliable_ML

#courses #designdoc

Reliable ML - Итоги 2023
Что было хорошего в прошедшем году

Прошел всего почти месяц нового 2024 года, а мы уже готовы подвести итоги 2023!

Давайте вспомним, что было интересного в канале в прошедшем году.

- Развиртуализировались! Провели 2 офлайн дата-завтрака Reliable ML (есть отчет про второй), и один очень крутой митап про фейлы в ML проектах. Все встречи прошли замечательно, планируем продолжать.

- Провели топовую секцию на Data Fest - Reliable ML. Целых 2 дня огненных докладов и один экспериментальный контест по составлению ML System Design документов (первый день, второй день, контест). Настрой на этот год такой же, надо держать планку.

- Репозиторий ML System Design Doc вырос с 50 до 240+ звезд на Хабре. В нем опубликовали свои документы в открытый доступ уже 4 автора. Каждому из них мы помогли сформировать док. На митапах и конференциях за год мы получили благодарные отзывы от 15+ компаний, внедривших документ в свои процессы. Идем дальше и затеваем международный проект. Скоро расскажем!

- Дима героически сделал второй запуск открытого курса по ML System Design на ODS.ai. Полет нормальный, скоро финал!

- Много думали о том, где живет ODS, и в итоге подняли маттермост ODS.ai. И он становится все активнее. Инструкция, как зайти, тут.

- Опубликовали 2 статьи на Хабре: Интерпретируемость ML-моделей: от инструментов до потребностей пользователя, АБ тесты - это не только ценный мех, но еще и процессы (детально о внедрении АБ-тестирования в процессы компании). А еще была классная серия постов про необычные значения в данных, которая почти статья, только до хабра не доехала.

- Самым популярным постом канала за год стало рассуждение о проблеме оценки финансовых эффектов от дата-команд.

В этом году хочется прям повысить долю реализованных идей из имеющихся!

Всем драйва на новые идеи и сил на их осуществление в 2024м! 😎

Ваш @Reliable_ML

#business #tech

Материалы FailConf - UnReliable ML - декабрь 2023
Презентации спикеров

9 декабря мы провели крутой офлайн FailConf в Москве.
Получилось все очень здорово, лампово и интересно. И с печеньками!

Самый сок - это открытый микрофон в конце, который мы, конечно же, не записали.
А потому что приходите в следующий раз тоже)

Спасибо всем участникам за вашу вовлеченность, открытость и готовность делиться своим опытом. Такие мероприятия сильно заряжают на дальнейшее развитие сообщества.

Будем идти дальше. Планов много.

Материалы презентаций (без открытого микрофона):

- Дарья Шатько - О шишках... или что стоит помнить при решении задач персонализации

- Евгений Никитин - Three FuckUps Inside AI Startup

- Артем Каледин - Здесь могли быть ваши грабли - обзор банальных и не очень проблем, которые периодически нас преследуют

- Роман Бутов - Ожидания и реальность в ML криптотрейдинге

- Александр Гавриленко - Неправильная организация кода в научных проектах

- Ирина Голощапова и Дмитрий Колодезев - Почему ML-модели не доходят до прода

Stay tuned!

Ваш @Reliable ML

#tech #business #reliable_ml #meetup

FailConf - UnReliable ML - 9 декабря 2023
Офлайн митап про фейлы в ML проектах

Расписание на субботу готово! Всех очень ждем!
И напоминаем, что для участия необходима регистрация.

Митап ламповый, своими руками для своих, поэтому помощь в организации очень приветствуется.
Даже запись можем замутить, если с техникой на месте разберемся.

На месте будут чай и немного печенек. Для большей душевности можно приносить с собой еще печенек.

Все вопросы по митапу, фотки и движ будут в канале #reliable_ml в маттермосте ODS.

До встречи! 🤗

Ваш @Reliable ML

#tech #business #reliable_ml #meetup

Reliable ML pinned «Mattermost ODS После отключения ods.ai в slack сообщество разбежалось по разным каналам, чатам и мессенджерам. Кто-то кого-то банил, кто-то с кем-то спорил, где-то все тормозило и так далее. Все это время нас регулярно спрашивали о площадке для общения сообщества…»

Mattermost ODS

После отключения ods.ai в slack сообщество разбежалось по разным каналам, чатам и мессенджерам. Кто-то кого-то банил, кто-то с кем-то спорил, где-то все тормозило и так далее.
Все это время нас регулярно спрашивали о площадке для общения сообщества, есть ли что-то "как раньше".
"Как раньше" уже не будет никогда, но мы подняли сервер Mattermost, на который может зайти любой, имеющий аккаунт на ods.ai.

Технические детали:
Авторизация сделана через OAuth, на бесплатной версии mattermost это работает только через Gitlab. Поэтому мы подняли сервер авторизации, который притворяется Gitlab сервером, а сам берет доступы с сайта ods.ai. Это объясняет, почему авторизация на сервере такая кривая ;-) Потихоньку прикрутим прямее.

Инструкция по подключению - здесь.

Ваш @Reliable ML

#ods #mattermost

Митап UnReliable ML 9 декабря - очень ждем заявок на выступления!
Открытый микрофон по опыту фейлов в ML проектах

По нашей задумке - митап UnReliable ML 9 декабря очень хотелось бы сделать в формате открытого микрофона: когда пришедшие делятся своим опытом, болями и сложностями из мира ML. Рассказывают, с чем столкнулись, как преодолели (или пока нет), на какие вопросы ещё ищут ответы.

Для выступления на открытом микрофоне достаточно 1-2 слайдов о вашем опыте и о том, чем вам хотелось бы поделиться с аудиторией, какие вопросы задать. На выступление и обсуждение: 5-10 минут.

Поэтому очень ждем ваших заявок. Пишите @irina_goloshchapova и @promsoft с вашими предложениями, или сразу присылайте слайды.

Давайте сделаем крутой митап вместе! 🔥

К сожалению, в случае малого количества заявок мы с Димой будем вынуждены немного поменять программу и сместить фокус с фейлов.

Ваш @Reliable ML

#reliable_ml #offline #tech #business

Митап UnReliable ML 9 декабря - ждем заявок!
Разбираемся вместе в фейлах ML-проектов

Всем привет! Мы с Димой задумали офлайн failconf - UnReliable ML. Предлагаем затусить офлайн в Мск 9 декабря и вместе обсудить удивительные и не очень фейлы в ML проектах, а также то, как их преодолеть и что сделать, чтобы не допустить подобного в будущем.

Мы с Димой готовы рассказать разные кейсы из своей практики: про ML и про АБ. Но будет намного круче и ценнее для всех, если будут рассказы от вас!

Если готовы рассказать о любых сложностях, с которыми сталкивались при работе над ML-решениями, то напишите нам: @irina_goloshchapova и @promsoft . Для выступления достаточно пары слайдов.

После митапа сходим куда-нибудь поблизости перекусить и договорить про ML и боль в более неформальной обстановке.

Регистрироваться можно тут.

Ваш @Reliable ML

#reliable_ml #offline #tech #business

Опубликован новый пример дизайна ML системы по шаблону Reliable ML
Учимся писать ML System Design Doc вместе

Сегодня добавили новый пример дизайн-документа - результат работы команды Дмитрия Науменко на экспериментальном контесте по составлению дизайн-доков ML System Design Doc Challenge, проведенном Мариной Завгородней на Data Fest 2023.

Команда Димы за два дня контеста продумала дизайн антифрод-системы для проведения транзакций в банке, а затем защитила его в финале мероприятия. Авторы документа: Дмитрий Науменко, Сергей Артюхин, Артем Савельев, Эдуард Поляков, Сабрина Садиех. Бизнес-цель ML-решения – увеличение эффективности банковской системы антифрода для снижения финансовых и репутационных рисков связанных с мошенническими действиями.

Со своей стороны очень рекомендуем изучить документ - это хороший пример детально проработанного дизайна ML-системы. Задача при этом - общая и актуальная для всех банков. Над постановкой задачи работала Марина Завгородняя, Owner ML Ops Platform в Райффайзенбанке.

Огромное спасибо авторам документа и Марине - это большой труд и крутой вклад в развитие управления ML-проектами.

Шаблон дизайн-документа ML-систем от Reliable ML - тут.
Материалы по работе с дизайн-доком - тут.
Как написать док вместе с Reliable ML - тут.

Stay tuned!

Ваш @Reliable ML

#business #tech #ml_system_design

Где живет ODS?
Список чатов Open Data Science с офлайн-встречами

Мы провели 2 встречи сообщества Reliable ML. Получилось здорово. Ощущается, что все соскучились по живому общению - по тому, что когда-то помогло создать крупнейшее русскоязычное сообщество в области анализа данных - ods.ai.

Планируем делать это и дальше, расширяя формат до митапов. Но это в любом случае пока не очень регулярная и частная история, сильно зависимая от рабочего графика и загруза.

Давайте соберем известные нам сообщества-ответвления ODS с регулярными офлайн-встречами.
Ниже то, что знаем. Пишите еще варианты, будем добавлять!

- ODS MSK: дата-ужины в Москве. И иногда отдельные тематические сборы в другие дни недели.
- ODS SPB: душевные дата-встречи в Петербурге.
- ODS NSK: дата-завтраки в Академгородке и в центре Новосибирска.
- ODS TMK: дата-ужины в Томске
- ODS SRB: дата-завтраки в Нови-Саде.

Ваш @Reliable ML

#business #tech #offline

Офлайн-встреча Reliable ML #2
По следам встречи 30 сентября

Все-таки никакой онлайн не заменит живых встреч - спасибо всем заглянувшим вчера на огонек!

Хлеб Насущный грозился лопнуть от числа посетителей, жаждущих пообсуждать за ML. Это было неожиданно, приятно и очень круто.

Удалось обсудить кучу всего вкусного и интересного. Например:

- Митапу UnReliable ML быть. Мы с Димой давно вынашиваем идею собраться-поговорить о фейлах в ML-проектах.  У самих тоже есть, что рассказать. Ориентировочная дата - 9 декабря (можно забронить календари). Если готовы поделиться болью из своего опыта - можно уже писать @irina_goloshchapova или @promsoft.

- Тренды и карго-культы в АБ-тестировании: как отличить одно от другого и что делать, чтобы найти в АБ-тестах соль земли.

- Как выбрать ML-проект для реализации и вкатывания в DS.

- Как зайти с ноги в causal inference. Есть, например, шпаргалка от Димы и статья от Иры.

- Как понять, лежит ли душа к диссертации и кандидатству в науках, или к суровой индустрии. И в чем вообще смысл ученой степени для работы и жизни.

- Отличия дата-аналитиков и дата-саентистов.

- Ограничения LLM. Ну куда же без этого. Как построить рельсы для LLM и как модели по ним весело едут: в комментах к посту очень ждем скрины про оливье и форматирование жесткого диска.

- Устойчивость моделей: примеры Расемон Сет, статья в Nature про деградацию моделей, и выступление Димы.

- И немного о Confident Learning на пальцах

Очень рады были всех видеть! Будем продолжать!

В комментах пишите, что еще интересного успели обсудить на встрече. Мы написали только о том, что происходило вокруг нас)

Ваш @Reliable ML

#offline #reliable_ml #tech #business

Открытый фреймворк для A/B тестов Kolmogorov ABacus
Opensource от Kolmogorov.AI

Ребята из @noml_community @dmitry_zabavin, @egorshishkovets, @educauchy опубликовали опенсорсный фреймворк Kolmogorov ABacus:
▫️ Код на GitHub→
▫️ Документация→

Видеорассказ про ABacus :
▫️ Дмитрий Забавин, Егор Шишковец, Вадим Глухов - Kolmogorov ABacus: Фреймворк A/B-тестирования (1 час 20 минут).

На прошлой неделе коллеги из Альфа-Банка и GlowByte опубликовали пост на Хабре про кейс применения фреймворка:
▫️ Оценка эффекта персонализации баннеров в Альфа-Банке с применением библиотеки Kolmogorov ABacus (10 минут).

Доклад на весеннем митапе по теме A/B:
▫️ Любовь Кислинская (Альфа-Банк), Александр Косов (GlowByte AA) - Персонализация баннеров на главном экране "Альфа Мобайл" (30 минут).

Ваш @Reliable ML

#tech #ab_testing

Оффлайн-встреча Reliable ML в Москве

30 сентября в 11:00 датазавтрак ReliableML в Хлеб Насущный https://go.2gis.com/l4lkg улица Солянка, 1/2 ст1

Большой стол забронирован на Ирину. Приходите, поговорим про Reliable и Unreliable ML, курс ML System Design, осенние митапы, датафесты, датахеллоуины, найм, карьеру, увольнение, синтетические данные и позавтракаем заодно, там хорошо.

Хотели устроить встречу в пятницу вечером, как вы и проголосовали выше, но жизнь и расписания самолетов внесли свои коррективы.

Ваш @Reliable ML

#tech #ml_system_design