🍳 Датазавтраки ☕️ НСК (Академ)

Рассказывал про модели с фиксированным эффектом https://github.com/py-econometrics/pyfixest

Получение номеров листьев с xgboost https://xgboost.readthedocs.io/en/stable/python/examples/predict_leaf_indices.html

Рассказывал про то как использовать CatBoost для генерации признаков - https://catboost.ai/docs/en/concepts/python-reference_catboost_calc_leaf_indexes получение листьев

Если хочется реализовать Active Learning под свои задачи, можно попробовать https://github.com/RelationRx/pyrelational

Говорили про активное обучение, и вот https://github.com/scikit-activeml/scikit-activeml например

Платформа для оптимизации, любят некоторые физики https://ax.dev/ построена на https://github.com/meta-pytorch/botorch еще ссылки тут https://kolodezev.ru/bayesian.html

Библиотека байесовской оптимизации от ИТМО https://github.com/aimclub/BAMT

Вспоминали топологический анализ данных https://kolodezev.ru/tda.html

Расссказывал про оптимизацию гиперпараметров https://arxiv.org/abs/2410.22854

Рассказывал про IsolationForest https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html

Рассказывал про алгоритм RuleFit (алгоритм не очень, но познавательно) https://christophm.github.io/interpretable-ml-book/rulefit.html

Слайды с DataConf 2021 про пространство ошибок https://kolodezev.ru/download/slides-dataconf-2021.pdf

Shapley Values для ошибки - на примере деревьев https://shap.readthedocs.io/en/latest/example_notebooks/tabular_examples/tree_based_models/Explaining%20the%20Loss%20of%20a%20Model.html

Говорили про цензурированные данные https://kolodezev.ru/censored-data.html

День добрый! Я бы применил EM к этой задаче примерно так: сначала обучаем catboost только на нецензурированных данных. Будто бы, 60% данных должно хватить для того, чтобы хорошо обучиться. Потом предсказываем на цензурированных. Там, где предсказание получилось меньше, чем цензурированное значение, берём цензурированное, где больше - берём предсказанное. Заодно считаем лосс между ними. На увеличенной таким образом выборке обучаем снова. И так до тех пор, пока лосс не перестанет уменьшаться. Вероятно, вы так и делали, но я это не услышал в рассказе сегодня.

02.12.2025 🍳 датазавтрак по вторникам ☕️ в Новосибирском Академгородке с 08:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi

Хотел обсудить тему цензурированных данных - что делать, если нам нужно моделировать продажи, а товар время от времени кончается, и продаж нет. Или, как в авиабилетах - продались все билеты, что были, а сколько на самом деле мы могли бы продать?

Пришлось погрузиться в это опять, собрал несколько наблюдений/техник/подходов.

Ну и просто кофе попить и поговорить про искусственный интеллект тоже хочется

Вот еще опенсоурсный синтез речи https://github.com/snakers4/silero-models

Еще проект от этой же команды https://github.com/vamplabAI/sgr-vampi-code

Обсуждали sgr research https://github.com/vamplabAI/sgr-agent-core

Вот еще хорошая статья - как читать статьи https://pmc.ncbi.nlm.nih.gov/articles/PMC7392212/pdf/pcbi.1008032.pdf