Научный опенсорс

Меньше чем через час стартует DataFest 2025 на площадке VK - трансляция основного зала по ссылке.
Из нашей секции по open-source будет два доклада. Они в зале А1 без live-трансляции - но видео после мероприятия выложат, обязательно про это напишем и скинем ссылки.

А пока - про сами доклады и их авторов:

1) Антон Костин, Иван Литвак - преподаватели МФТИ
Как мы сделали свободный и открытый (GPLv3) бенчмарк в домене российского права
13:05, зал А1

Расскажем, зачем создавать опенсорсные датасеты для дообучения и проверки способностей моделей работать с правовыми вопросами (чтобы сделать опенсорс лучше). Ссылка на бенчмарк: https://huggingface.co/datasets/lawful-good-project/sud-resh-benchmark


2) Михаил Гущин - руководитель проекта по открытому коду ФКН НИУ ВШЭ
Открытый код в научных исследованиях
13:35, зал А1

На ФКН НИУ ВШЭ есть проект по открытому коду, где мы популяризируем открытый код научных исследований наших сотрудников и студентов. Мы рассказываем про них на нашем канале https://t.me/hse_cs_opensource. Некоторые проекты широко используются исследователями в своих работах. Мы бы хотели рассказать про некоторые проекты сотрудников ФКН, о том зачем их выкладывать в открытый доступ и зачем это для науки.

Все докладчики - участники нашего чата, так кто вопросы можно задавать и прямо тут.

А тем временем, близится DataFest 2025, на котором мы традиционно проводим секцию OpenSource. В карточках - описание основных локаций и докладов.

Площадок несколько: 24 мая - в Москве (VK), 25 мая - в Белграде (Yandex), 29 мая - в СПб (Selectel), 1 июня - онлайн.

Кто хочет попасть на очные площадки - регистрируйтесь ASAP, место мало. Для остальных планируется трансляция, записи также выложат.

Запланировано много интересного - не пропускайте! Конечно, ближе к делу обо всем напомним.

Мы тут вместе с учебно-научной лабораторией ИТМО LISA организовали мини-семинар по разборке удачных и неудачных реализаций студенческих репозиториев. Заодно обсудим опыт улучшения некоторых из них с помощью нашего ИИ-инструмента OSA (про который недавно писали на Хабре).

С нашей стороны в роли эксперта участвует Андрей Гетманов - исследователь из NSS Lab, руководитель разработки OSA и активный участник соообщества ITMO OpenSource.

Если интересно послушать - подключиться можно тут в зуме, вот как раз начинаем.

Увидел, что опубликовали результаты грантовой программы Yandex Open Source 2025. Среди проектов-победителей:

- SQL‑линтер sqruff — Андрей Николаев;
- Расширение pg_index_stats для PostgreSQL — Андрей Лепихов;
- Отладчик BugStalker — Константин Деревцов;
- Эмулятор js‑dos — Александр Гурьянов;
- Календарь Vanilla Calendar Pro — Юрий Уваров;
- Библиотека WebMarkupMin для сжатия HTML, XHTML и XML — Андрей Тарицын;
- Инструмент kernel‑build‑containers для контейнеров — Александр Попов;
- Утилита i18n‑unused для локализации — Максим Вишневский;
- Открытая прошивка для паяльников IronOS - Иван Зорин;
- Библиотека Talker для логирования — Станислав Ильин;
- Фреймворк VLMHyperBench для оценки VLM‑моделей — Антон Ширяев;
- Инструмент Faster COCO Eval для ускорения валидации — Михаил Степанов.

Подробнее про суть решений - расписано на Хабре. А про один из проектов - VLMHyperBench, созданный студентами AI Talent Hub ИТМО - скоро можно будет послушать на нашей секции DataFest 2025. Скоро все напишем, следить за анонсами.

Время очередной подборочки интересных около-опенсорсных материалов и активностей:

- Стартовал конкурс проектов с открытым кодом для студентов ФКН НИУ ВШЭ.
Хорошая инициатива, тоже в ИТМО планируем такое сделать.

- Близится дедлайн конкурса Kaicode.
Авторам хорошо проработанных открытых проектов рекомендуем попробовать податься - даже если не выиграете, то получите обратную связь. Там была проблема с формой сабмита, но организаторы оперативно починили.

- Вышло исследование про MLOps в России от ICT.Moscow.
Дал для него пару комментариев с точки зрения не-корпоративных опенсорс-разработчиков

- Мы выложили в ютуб-канале доклады с нашего недавнего онлайн-митапа про способы поддержки научных опенсорс-проектов.
Для удобства разбили единую запись на несколько видео. Если есть вопросы к докладчикам - можно задавать прямо тут.

- В нашем чате в рамках обсуждения лицензирования открытого кода был сегодня хороший пост про то, почему корпорации вовсе не хотят украcть ваш открытый код.

Соглашусь с выводом, что при использовании чужих опенсорс-проектов "этически корректное решение теперь часто совпадает с экономически выгодным". Мы в своих открытых проектах тоже в основном используем BSD-3/MIT вместо GPL-лицензий, чтобы всячески упростить их потенциальное использование.

#пост_по_регламенту

Итак, закрываем долги. Ловите оставшиеся небольшие тематические папочки от нашего Зоопарка - небольшие, но интересные:

Математика

Физика

Технические науки

Если кто хочет добавиться, пишите в комменты до конца дня (после не имеет практического смысла)

"Зоопарк из слоновой кости" вновь включил наш канал "Научный опенсорс" в свою подборку. На этот раз - по близким мне техническим наукам.

По ссылкам в репосте - tg-папки с интересными ресурсами из разных областей, среди которых можно поискать чего-то по душе.

Мы бы тоже собрали свою папку с каналами про open-source, но кажется их не слишком много) Может, кто-то когда-то возьмется.

Всем привет! Мы обновили и расширили документацию с примерами нашей библиотеки TorchCNNBuilder. Инструмент довольно простой в освоении, позволяет быстро создавать сверточные сети для любых целей не задумываясь о внутренних размерностях - достаточно задать размер входных и выходных данных.

Модельки можно собрать легковесные, но в качестве бейзлайнов для прогнозирования, сегментации, автоэнкодеров - отличный вариант. Кто еще не пробовал, но внезапно почувствует потребность в свертках, приглашаем затестировать или поконтрибьютить) ну и поддержите звездочками, нам будет очень приятно ☺️

На Хабре вышла статья Дмитрия Кабанова "«Теплый ламповый» опенсорс — новые мега-подборки, пет-проекты, комиксы и книги, абсурдные и полезные лицензии".

В ней - подборка интересных opensource-related материалов: интересных репозиториев, книг, awesome-листов и т.д.

Среди прочего, упоминают про научный код и нашего ИИ-ассистента для опенсорс-разработки OSA, про которого мы недавно рассказывали в канале.

Всем привет! 👋
Мы — команда probAI, и рады представить applybn — нашу новую библиотеку для прикладного анализа данных на базе байесовских сетей (БС) и каузальных моделей. Разработано в рамках гранта «КодИИ».

Однажды мы собрались и поняли, что существует множество классных алгоритмов на основе байесовских сетей и каузальных моделей, которые умеют детектировать выбросы, отбирать и генерировать признаки, объяснять влияние частей модели на результат и многое другое. Так почему бы не собрать лучших из них в одну удобную библиотеку? Так и появился applybn.

Что умеет applybn?

1. Обнаружение аномалий

✔️Табличные данные: сочетание байесовских сетей и методов близости для поиска плотностных аномалий и аномалий зависимостей

✔️Временные ряды: динамические БС, автоматически учитывающие временные и межпеременные зависимости

2. Генерация синтетических данных и балансировка выборок

✔️Автоматическое выравнивание несбалансированных выборок при помощи гибридных БС и гауссовских смесей с учётом взаимодействий признаков

3. Отбор и генерация признаков

✔️Каузальный отбор: ищет только те фичи, которые имеют ненулевой причинный эффект (без ручных порогов)

✔️MI‑отбор: находит марковские окружения по нормализованной взаимной информации

✔️Генерация фичей на основе БС: дополняет данные вероятностными параметрами условных зависимостей для повышения качества моделей

4. Объяснимый анализ

✔️Каузальный анализ компонентов моделей: строит структурную каузальную модель, чтобы оценить и убрать неважные компоненты модели (например, фильтры CNN)

✔️ACE‑анализ признаков в данных: рассчитывает средний эффект влияния признаков на уверенность модели для интерпретации и отладки

⚙️ Все модули библиотеки совместимы с экосистемой scikit-learn, так что её легко интегрировать в существующие пайплайны анализа данных.

Заглядывайте в репозиторий applybn, ставьте звёздочки ⭐️ и делитесь впечатлениями!

В канун Первомая выпустили статью на Хабре, где рассказываем о деталях реализации нашего проекта OSA — "улучшателя" научных репозиториев на базе LLM.

https://habr.com/ru/companies/spbifmo/articles/906018/

Также в статье поделились примерами использования OSA и обратной связью от коллег, попробовавших проект на своих репозиториях. В их числе — сотрудники лаборатории КТ ИТМО, ФКН ВШЭ и бразильского Universidade Federal de Juiz de Fora.

Приятного чтения!

P.S. Попробовать Осу можно здесь. Будем рады вашим звёздочкам.

🔥 С 24 мая по 1 июня пройдёт Data Fest 2025 — главное событие сообщества Open Data Science! Это отличная возможность выступить с докладом, найти единомышленников, завести новых друзей и просто классно провести время.

В этом году наша лаборатория представит сразу два трека:

🔹 Open Source — про открытые библиотеки и фреймворки для DS/ML, а также обмен опытом в сфере open-source разработок в целом.

🔹 PGM & CausalML — новый трек! Теория, инструменты и практика вероятностных графовых моделей и методов причинного машинного обучения.

Треки будут функционировать как онлайн, так и офлайн: города проведения - Москва, Питер, Новосибирск, Алматы и планируется площадка в Белграде.

Ждём ваши заявки на доклады! 👉 тык
Дедлайн подачи заявок - 7 мая, так что торопитесь!

А мы начинаем наш ITMO Opensource Meetup уже через 15 минут!
Ссылка на подключение - https://telemost.yandex.ru/j/0937487211
Ссылка на трансляцию в youtube - https://www.youtube.com/live/y3ef9TgBhlI

🌿 Весенний митап ITMO Opensource 🌿

Приглашаем вас на онлайн-митап, где поговорим о том, как поддерживать Open Source не только идеями, но и реальными ресурсами 💸

Что вас ждёт:
• Обзор актуальных грантов на разработку Open Source решений
• Инструкции и лайфхаки по подаче заявки
• Реальные истории успеха от победителей конкурсов вроде «КОД ИИ»
• Разбор кейсов и трудностей, с которыми сталкиваются разработчики
• Ответы на главный вопрос: что делать, когда грант заканчивается?

🔊 В программе выступят:
18:00 — Николай Никитин (ИТМО): какие формы поддержки Open Source доступны сегодня?
18:30 — Александр Нозик (МФТИ): существует ли жизнь для open source без грантов?
19:00 — Ирина Деева (ИТМО): как выиграли «КОД ИИ» и во что это вылилось
19:30 — Андрей Остроух (МАДИ): создание учебного курса по Open Source — опыт и выводы

🎯 Митап будет полезен:
— тем, кто уже работает над open source-проектом
— тем, кто планирует привлекать грантовую поддержку
— всем, кто хочет понять, как устроена инфраструктура открытой разработки в России

📢 Не пропустите встречу!
Ссылка на подключение - https://telemost.yandex.ru/j/0937487211
Ссылка на трансляцию в YouTube - https://www.youtube.com/live/y3ef9TgBhlI

📅 Когда: сегодня, 25 апреля, 18:00
📍 Где: онлайн
🔗 Не забудьте зарегистрироваться

Мы в ИТМО много занимаемся применением ИИ для задач автоматизации разработки ПО, поэтому решили поучаствовать в подготовке тематического исследования, которое проводит исследовательская компания Online Market Intelligence (OMI).

В рамках этого исследования, IT-специалистам, студентам IT-специальностей и преподавателям предлагается пройти опрос на тему платформ разработки и кодовых ИИ-ассистентов.

В нем поднимаются следующие вопросы:
- Какие инструменты разработки (платформы разработки, кодовые ИИ-ассистенты) используют компании и ВУЗы с направлениями подготовки IT-специалистов, как измеряется их эффективность использования.
- Как инструменты разработки влияют на метрики эффективности и производительность процессов. Что влияет на эффективность работы разработчиков? По каким параметрам оценивается их эффективность?
- Как ИИ влияет на рынок труда: заменит ли ИИ IT-специалистов? Кто подвержен риску замены ИИ? И какие нужны навыки, чтобы оставаться востребованным?

Среди успешно прошедших опрос организаторы планируют разыграть приз.
Обработанными результатами и их анализом обязательно поделимся в этом канале.

Коллеги из блога ИТМО на Хабре подготовили материал на основе доклада Олега Сиротюка (лидера сообщества OpenScaler) на нашем недавнем опенсорс-митапе.

Теперь про поддержку open-source ИИ-проектов в Китае можно почитать и в текстовом формате - https://habr.com/ru/companies/spbifmo/articles/901346

На днях вышла ещё одна подборка программных решений от ICT Moscow, на этот раз - про MLOps. Не все решения опенсорсные, но и такие тоже представлены:
https://ict.moscow/news/cards-mlops-llmops-platforms/

Про нас тоже пишут - в подборку включены созданные в ИТМО AutoML-фреймворки FEDOT и FEDOT.Industrial, развитие которых мы активно поддерживаем.
Также упомянута созданная студентами ИТМО библиотека mljet (к сожалению, давно не обновляется).