Личный канал Инсафа Ашрапова
Исполнительный директор по исследованию данных в банке (aka Lead DS) — @insafq
Здесь про AI, менеджмент, личные истории и многое другое
Post #97
797
- ❤ 12
- 😁 3
- 🔥 2
- 🙏 2
Channel Public Channel
AI AI.Insaf
@ai_tablet
- Subscribers
- 1.19K
- Photos
- 194
- Videos
- 0
- Links
- 86
Showing posts older than #99 · Back to latest
Older Posts 17 shown
Post #96
781
До следующей поездки нужно написать про прошлую ✈️. Еще в конце февраля мы ездили во Вьетнам (Ханой -> Фукуок), а затем в Малайзию.
Все началось с пересадки в Чэнду (Китай) – это родина панд, и нам удалось попасть в один из главных их заповедников. Кухня там тоже интересная, особенно сычуанский перец, который не столько острый, сколько дает интересное чувство онемения. А панды же там просто сидят и едят бамбук
Ханой неожиданно понравился больше всего в поездке. Очень классная кухня (не только фо бо, но и бун ча – суп с поджаренным мясом, яичный кофе, свежие роллы, которые сам заворачиваешь). Было прикольно сходить в ресторан из гида Мишлен, где суп с пивом стоил 250 рублей и где за соседним столиком сидел сам Обама. Из города удалось съездить в бухту Халонг (более 1000 островов) и в Ниньбинь, где тоже много гор
Фукуок – это уже перелет с самого севера на самый юг Вьетнама. Там много активностей: аквапарк, сафари-парк, огромная канатная дорога и т.д. По ощущениям похоже на Пхукет.
Куала-Лумпур (Малайзия) – жарко и влажно, зато какие классные джунгли в черте города. Старше лесов Амазонии (возрастом 150 млн лет), и город позиционирует себя как единственный в мире с такими древними джунглями в своих границах. Он показался очень похожим на Сингапур, но намного более живым. Башни Петронас вживую – уважение
Все началось с пересадки в Чэнду (Китай) – это родина панд, и нам удалось попасть в один из главных их заповедников. Кухня там тоже интересная, особенно сычуанский перец, который не столько острый, сколько дает интересное чувство онемения. А панды же там просто сидят и едят бамбук
Ханой неожиданно понравился больше всего в поездке. Очень классная кухня (не только фо бо, но и бун ча – суп с поджаренным мясом, яичный кофе, свежие роллы, которые сам заворачиваешь). Было прикольно сходить в ресторан из гида Мишлен, где суп с пивом стоил 250 рублей и где за соседним столиком сидел сам Обама. Из города удалось съездить в бухту Халонг (более 1000 островов) и в Ниньбинь, где тоже много гор
Фукуок – это уже перелет с самого севера на самый юг Вьетнама. Там много активностей: аквапарк, сафари-парк, огромная канатная дорога и т.д. По ощущениям похоже на Пхукет.
Куала-Лумпур (Малайзия) – жарко и влажно, зато какие классные джунгли в черте города. Старше лесов Амазонии (возрастом 150 млн лет), и город позиционирует себя как единственный в мире с такими древними джунглями в своих границах. Он показался очень похожим на Сингапур, но намного более живым. Башни Петронас вживую – уважение
- 🔥 11
- ❤ 5
- 🙏 2
Post #95
885
Проспонсировал AI-гонку, купив годовую подписку Perplexity. 300 запросов в день - удобно, может быть и o4-mini завезут 🍷
- 👍 8
- 😁 4
- 🤔 1
Post #94
871
AI.Insaf GroupKFold по регионам + cross time series validation
Почему AutoML не стал той серебряной пулей 😔
Чтобы построить [хорошую модель], нужно всё равно полностью разобраться в решаемой задаче и, очевидно, правильно поделить данные обучающие и тестовые выборки. Например, если в данных есть группы и применить для валидации обычный KFold, то будет переобучение и как итог слабая модель. Справедливости ради, такой параметр (group) есть в LAMA, но если не знать, зачем он нужен в конкретном случае, AutoML не сделает правильный выбор за тебя, а в документации это не всегда объяснено достаточно очевидно. Так что пока кожаные мешки нужны 🤝
Чтобы построить [хорошую модель], нужно всё равно полностью разобраться в решаемой задаче и, очевидно, правильно поделить данные обучающие и тестовые выборки. Например, если в данных есть группы и применить для валидации обычный KFold, то будет переобучение и как итог слабая модель. Справедливости ради, такой параметр (group) есть в LAMA, но если не знать, зачем он нужен в конкретном случае, AutoML не сделает правильный выбор за тебя, а в документации это не всегда объяснено достаточно очевидно. Так что пока кожаные мешки нужны 🤝
- 👍 9
- 😁 4
- 🤔 3
Post #93
891
Таки прочитал лучшие решения с соревнований Kaggle за 2023 год (the Best Solution Write-up Authors 🏆), все еще актуально. За статьи в сумме раздали 100 тысяч долларов.
1. Три статьи от одного автора (Chris Deotte) посвящены задачам про временные ряды:
- В одной задаче нужно было предсказать количество микробизнесов на 100 человек в каждом штате на следующие месяцы. Как всегда, важна хорошая валидация: GroupKFold по регионам + cross time series validation для увеличения объема данных и получения более робастных метрик. Так как метрика SMAPE, то и loss обычный MSE, и нужно предсказывать не саму плотность, а только прирост. Таким образом, все данные по штатам становятся ближе друг к другу. Необычно, что лучшая модель получилась с сеткой с GRU слоями. Автор признает, что такой же результат получился бы при использовании магического коэффициента 1.0045 в качестве поправочного коэффициента для соотношения в динамике прошлых месяцев. И, конечно же, LB public probing (для тех, кто знает; кто не знает – ни в коем случае не использовать).
- В следующем соревновании требовалось прогнозировать прогрессирование болезни Паркинсона. Мало кейсов (248 пациентов), много лишних и шумных показателей (1000 показателей). 99% успеха – признак, как часто человек приходит в больницу. Наверное, не для этого запускали соревнование. И понятно, что тут зашли наиболее простые модели, у автора – SVR (Support Vector Regression).
- В 3м соревновании автор перестарался с подходом из пункта а и улетел с 1-го места в предварительном этапе на 967-е. Во всем виноват как раз LB public probing (буквально переобучился). А надо было всего лишь прочитать книжку "Простые правила" из прошлого поста.
2. Распознавание предложений языков жестов: решение через адаптированный Squeezeformer, который изначально был для распознавания речи. С помощью MediaPipe ключевые точки (landmarks) трансформируются в аналогичный входной спектр. Забавно, что dropout здесь называется FingerDropout, то есть буквально зануляются пальцы. А вот в задаче распознавания букв языков жестов – обычный 1D CNN эффективнее трансформеров (by Hoyeol Sohn).
3. Задача - предсказание успеваемости студентов по информации, как студент проходит развивающие игры. Слышал, что в какой-то компании так определяют производительность сотрудников по 5-минутной игре в начале рабочего дня (aka фильм "Особое мнение", только про корпоративную эффективность). Решение – объединение бустингов, лики и использование открытого API игры, чтобы сгенерировать больше данных, погружение в данные, чтобы создать осмысленные признаки. Интересно, что под задачу удалось адаптировать подход, вдохновленный WaveNet, с использованием embedding слоев и объединив с TimeEmbedding + avg_pooling, создать решение с сетками (причем там двухшаговое обучение с претрейном для backbona), и, как они говорят, итерационное обучение ускорил pipeline обучения.
4. Две статьи про физические задачи: детекция гравитационных волн (топ-решение G2Net) и нейтрино (лучшее решение gnn, т.е. графовые сетки).
5. Задача Маммографии: YOLOX для правильного кропа изображения + EfficientNet и ConvNeXt для классификации. Примечательно, что использование label smoothing работало все-таки лучше, чем soft positive label trick (always been).
+там еще про Image Matching Challenge и распознавание пении птиц по пению
Kaggle [Winners' Announcement] Celebrating the Best Solution Write-up Authors of 2023! | Kaggle We're thrilled to award $100,000 to the best solution write-up authors of 2023!
Open sharing after Kaggle competitions is such an important part of our commu... 1. Три статьи от одного автора (Chris Deotte) посвящены задачам про временные ряды:
- В одной задаче нужно было предсказать количество микробизнесов на 100 человек в каждом штате на следующие месяцы. Как всегда, важна хорошая валидация: GroupKFold по регионам + cross time series validation для увеличения объема данных и получения более робастных метрик. Так как метрика SMAPE, то и loss обычный MSE, и нужно предсказывать не саму плотность, а только прирост. Таким образом, все данные по штатам становятся ближе друг к другу. Необычно, что лучшая модель получилась с сеткой с GRU слоями. Автор признает, что такой же результат получился бы при использовании магического коэффициента 1.0045 в качестве поправочного коэффициента для соотношения в динамике прошлых месяцев. И, конечно же, LB public probing (для тех, кто знает; кто не знает – ни в коем случае не использовать).
- В следующем соревновании требовалось прогнозировать прогрессирование болезни Паркинсона. Мало кейсов (248 пациентов), много лишних и шумных показателей (1000 показателей). 99% успеха – признак, как часто человек приходит в больницу. Наверное, не для этого запускали соревнование. И понятно, что тут зашли наиболее простые модели, у автора – SVR (Support Vector Regression).
- В 3м соревновании автор перестарался с подходом из пункта а и улетел с 1-го места в предварительном этапе на 967-е. Во всем виноват как раз LB public probing (буквально переобучился). А надо было всего лишь прочитать книжку "Простые правила" из прошлого поста.
2. Распознавание предложений языков жестов: решение через адаптированный Squeezeformer, который изначально был для распознавания речи. С помощью MediaPipe ключевые точки (landmarks) трансформируются в аналогичный входной спектр. Забавно, что dropout здесь называется FingerDropout, то есть буквально зануляются пальцы. А вот в задаче распознавания букв языков жестов – обычный 1D CNN эффективнее трансформеров (by Hoyeol Sohn).
3. Задача - предсказание успеваемости студентов по информации, как студент проходит развивающие игры. Слышал, что в какой-то компании так определяют производительность сотрудников по 5-минутной игре в начале рабочего дня (aka фильм "Особое мнение", только про корпоративную эффективность). Решение – объединение бустингов, лики и использование открытого API игры, чтобы сгенерировать больше данных, погружение в данные, чтобы создать осмысленные признаки. Интересно, что под задачу удалось адаптировать подход, вдохновленный WaveNet, с использованием embedding слоев и объединив с TimeEmbedding + avg_pooling, создать решение с сетками (причем там двухшаговое обучение с претрейном для backbona), и, как они говорят, итерационное обучение ускорил pipeline обучения.
4. Две статьи про физические задачи: детекция гравитационных волн (топ-решение G2Net) и нейтрино (лучшее решение gnn, т.е. графовые сетки).
5. Задача Маммографии: YOLOX для правильного кропа изображения + EfficientNet и ConvNeXt для классификации. Примечательно, что использование label smoothing работало все-таки лучше, чем soft positive label trick (always been).
+там еще про Image Matching Challenge и распознавание пении птиц по пению
- 👍 14
- ❤ 2
- 🔥 2
- 🤓 2
- 😁 1
- 🦄 1
Post #92
1.03K
Прочитал книжку "Простые правила" (авторы Дональд Сулл, Кэтлин Эйзенхардт). Там про то, что сложным правилам непросто следовать, они могут быть ошибочными – как итог, простые оказываются продуктивнее и точнее. Постулируя это, идет большой разбор множества сфер, где это действительно так (от медицины: например, для борьбы с бессонницей — ложиться спать в одно и то же время, до программы развития стартапов в Чили, где действовало правило исключения — неделовые поездки по стране). Звучит, как будто гуманитарии открыли правило "не переобучись". А так, конечно, рекомендую книжку.
- 👍 11
- 😁 7
- ❤ 4
- 🗿 1
Post #91
1.14K
Топ1 AI-конфу NeurIPS посетило намного меньше людей, чем концерт Taylor Swift (вот где true hype)
- 😁 7
- 🔥 5
- 🥰 3
- 🤔 2
Post #90
8.08K
Как ChatGPT влияют на нашу креативность?
Журнал Science (!) тоже задается этим вопросом. В статье Generative AI enhances individual creativity but reduces the collective diversity исследовали, как меняются истории, написанные людьми, если AI подбрасывает им идеи (0, 1 или 5 идей).
• Ожидаемо чем больше ai идей были доступны тем лучше получался текст. Это валидировали человеком. Особенно если навыки у человека были слабее изначально.
• Но! Чем активнее люди использовали подсказки AI, тем более похожими становились их тексты. Понравилось что тут уже не люди проверяли, а через косинусное расстояние эмбеддингов текстов
Очевидное решение - всем нужно использовать разные сетки и чаты, и температуру поднять
Журнал Science (!) тоже задается этим вопросом. В статье Generative AI enhances individual creativity but reduces the collective diversity исследовали, как меняются истории, написанные людьми, если AI подбрасывает им идеи (0, 1 или 5 идей).
• Ожидаемо чем больше ai идей были доступны тем лучше получался текст. Это валидировали человеком. Особенно если навыки у человека были слабее изначально.
• Но! Чем активнее люди использовали подсказки AI, тем более похожими становились их тексты. Понравилось что тут уже не люди проверяли, а через косинусное расстояние эмбеддингов текстов
Очевидное решение - всем нужно использовать разные сетки и чаты, и температуру поднять
- 👍 12
- 🔥 5
- ❤ 4
Post #89
1.71K
Курс про ai агентов на Hugging Face 🤗
• AI агенты — это способ добавить дополнительную функциональность или навыки чатботу. Все с использованием их либы smolagents. Очень понравилось, что не нужно прописывать логику, когда и как вызывать функции — чат-бот сам это понимает, боль что метод все равно нужно закодить, и если нет готового API, то например парсить сайты/данные сложно. Сейчас вышла только первая часть из шести, но она короткая — всего час, но можно успеть создать первого агента.
• Забавно видеть как оно рассуждает (см. картинку).
• Учебные проекты слушателей курса - мем, например, запрос погоды, но зачем - если проще узнать напрямую. Хотя это закрывает 50% полезного функционала алисы
• AI агенты — это способ добавить дополнительную функциональность или навыки чатботу. Все с использованием их либы smolagents. Очень понравилось, что не нужно прописывать логику, когда и как вызывать функции — чат-бот сам это понимает, боль что метод все равно нужно закодить, и если нет готового API, то например парсить сайты/данные сложно. Сейчас вышла только первая часть из шести, но она короткая — всего час, но можно успеть создать первого агента.
• Забавно видеть как оно рассуждает (см. картинку).
• Учебные проекты слушателей курса - мем, например, запрос погоды, но зачем - если проще узнать напрямую. Хотя это закрывает 50% полезного функционала алисы
- 🤝 8
- 🙏 3
- ❤ 2
- 👍 1
- 😁 1
Post #88
1.33K
Забавная дискуссия: 🎥 vk между Сергеем Марковым (руководитель исследований в проекте GigaChat, Сбер) и Иваном Тюкиным (Центр ИИ Сколтеха) — обсуждают, был ли DeepSeek прогревом. Можно не смотреть самое интересное тут:
GigaChat vs. DeepSeek
💡 Сергей ожидаемо позитивно оценивает GigaChat. Про DeepSeek, хоть и выложил все веса в open-source, в части доработки multi-token prediction (что позволяет опубликовал только половину весов. Это означает, что если повторить модель у себя, скорость инференса (работы модели) будет в 2 раза ниже
Цены на API
💰 DeepSeek на старте оказался очень дешевым — от 0.14$ до 2$ за 1M токенов, тогда как ChatGPT стоит 10–20$, а GigaChat — 10$. Но эта цена, скорее всего, субсидирована и действует только в периоды низкого спроса. Сейчас, например, API отключены ❌
PS: Забавно, но GigaChat доступен в open-source, но многие архитектурные решения основаны на DeepSeek. Структура модели здесь (см. скрин выше)
GigaChat vs. DeepSeek
💡 Сергей ожидаемо позитивно оценивает GigaChat. Про DeepSeek, хоть и выложил все веса в open-source, в части доработки multi-token prediction (что позволяет опубликовал только половину весов. Это означает, что если повторить модель у себя, скорость инференса (работы модели) будет в 2 раза ниже
Цены на API
💰 DeepSeek на старте оказался очень дешевым — от 0.14$ до 2$ за 1M токенов, тогда как ChatGPT стоит 10–20$, а GigaChat — 10$. Но эта цена, скорее всего, субсидирована и действует только в периоды низкого спроса. Сейчас, например, API отключены ❌
PS: Забавно, но GigaChat доступен в open-source, но многие архитектурные решения основаны на DeepSeek. Структура модели здесь (см. скрин выше)
- 😁 5
- 👍 4
- 🔥 3
- 🥰 1
Post #87
1.09K
# knn для поиска аномалий
window_size = 5
X = np.array([time_series[i:i+window_size] for i in range(len(time_series) - window_size)])
knn = NearestNeighbors(n_neighbors=5)
knn.fit(X)
distances, _ = knn.kneighbors(X)
anomaly_scores = distances[:, -1] # расстояние до самого дальнего из 5 ближайших соседей
# Нормализация оценок (выбросы и есть аномалии)
anomaly_scores = (anomaly_scores - anomaly_scores.min()) / (anomaly_scores.max() - anomaly_scores.min())
- ❤ 7
- 🔥 4
- 👍 1
Post #86
1.05K
Dive into Time-Series Anomaly Detection: A Decade Review (link)
📌 Обзорная статья, которая собрала ключевые наработки в области поиска аномалий за последние 10 лет. Так как по работе пришлось плотнее заняться временными рядами, думаю написать несколько постов по этой теме.
📈 Что такое временные ряды и аномалии?
- Временные ряды 𝑋(𝑡) это данные, в которых значения зависят от времени. Пример – курс валют
- Поиск аномалий – это обнаружение отклонений, при которых временной ряд ведёт себя существенно иначе, чем ожидается. Это полезно для:
• Мониторинга и прогнозирования технического обслуживания оборудования.
• Выявления мошенничества (fraud detection).
• Обнаружения DDoS-атак через анализ сетевого трафика
🏷 Виды аномалий
- Точечные выбросы (point anomalies) – одиночные аномальные значения
- Контекстные аномалии (contextual anomalies) – выбросы, которые кажутся аномальными только в определённом окне (например, аномально высокая температура зимой)
- Sequence-based аномалии – аномальные последовательности данных
📊 Типы и особенности временных рядов
- Univariate vs Multivariate – одиночный или множественные временные ряды
- Тренды и сезонность
- Циклические флуктуации (Cyclical fluctuations)
- Шумы (Irregular variations)
🔬 Виды детекции аномалий
- Supervised – обучающая выборка содержит стандартные и аномальные кейсы
- Unsupervised – обучение без разметки
- Semi-supervised – известны только стандартные временные ряды, без аномалий
- Self-supervised – используются дополнительные сигналы для обучения без явной разметки
В целом все методы стремятся спрогнозировать ожидаемое значение в данный момент и, если оно сильно отличается от фактического, то можно говорить об аномалии.
📌 Подходы к детекции аномалий
Классические методы
Используются прогнозирующие модели для дальнейшего сравнения план/факт:
- Деревья решений и бустинг (например, LightGBM, XGBoost)
- Рекуррентные сети (RNN) с LSTM и трансформерами
- Методы SVM (вспомнили даже его 🫡)
- Скользящее среднее 😐
Нестандартные методы
🔹 Reconstruction-based методы. Используют автоэнкодеры, где временной ряд:
1. Сжимается в латентное пространство энкодером
2. Восстанавливается декодером
3. Если получившиеся временной ряд сильно отличается от ожидаемого => аномалия
Популярные методы:
- Autoencoder-based (Buzz, EncDec-AD и т. д.).
- GANs и диффузионные сети (в статье почему-то забыты, хотя, например, в статье Time Series Anomaly Detection using Diffusion-based Models утверждают, что они SOTA - верим?)
🔹 Clustering-based методы. Как можно догадаться аномалии ищутся с помощью кластеризации:
- Distance-based (по расстоянию).
- Density-based (по плотности).
В статье упоминается 10+ примеров, но суть одна:
1. Временной ряд разбивается скользящим окном.
2. Каждый кусок сравнивается с остальными.
3. Используется кластеризация (например, DAG, деревья).
Популярные методы:
- Discord Detection using Matrix Profile (DAD).
- Adjacent Mean Difference (AMD).
- KNN – за счёт малого количества гиперпараметров оказался одним из лучших. Проверил на игрушечных кейсах (см. пример ниже)
📏 Метрики
Часто используются адаптированные метрики классификации:
- ROC AUC и его вариации, есть свои адаптации под каждый тип аномалий
- Precision и Recall
- True Positive Rate (TPR) и другие
📊 Бенчмарки. Популярные датасеты:
- NAB, KDD21, TODS, TimeEval и другие.
Однако в статье не приводится, какие методы лучшие
🎯 Рекомендация. Лучше строить бейзлайны на скользящих средних и бустингах и только потом пробовать deep learning
📌 Обзорная статья, которая собрала ключевые наработки в области поиска аномалий за последние 10 лет. Так как по работе пришлось плотнее заняться временными рядами, думаю написать несколько постов по этой теме.
📈 Что такое временные ряды и аномалии?
- Временные ряды 𝑋(𝑡) это данные, в которых значения зависят от времени. Пример – курс валют
- Поиск аномалий – это обнаружение отклонений, при которых временной ряд ведёт себя существенно иначе, чем ожидается. Это полезно для:
• Мониторинга и прогнозирования технического обслуживания оборудования.
• Выявления мошенничества (fraud detection).
• Обнаружения DDoS-атак через анализ сетевого трафика
🏷 Виды аномалий
- Точечные выбросы (point anomalies) – одиночные аномальные значения
- Контекстные аномалии (contextual anomalies) – выбросы, которые кажутся аномальными только в определённом окне (например, аномально высокая температура зимой)
- Sequence-based аномалии – аномальные последовательности данных
📊 Типы и особенности временных рядов
- Univariate vs Multivariate – одиночный или множественные временные ряды
- Тренды и сезонность
- Циклические флуктуации (Cyclical fluctuations)
- Шумы (Irregular variations)
🔬 Виды детекции аномалий
- Supervised – обучающая выборка содержит стандартные и аномальные кейсы
- Unsupervised – обучение без разметки
- Semi-supervised – известны только стандартные временные ряды, без аномалий
- Self-supervised – используются дополнительные сигналы для обучения без явной разметки
В целом все методы стремятся спрогнозировать ожидаемое значение в данный момент и, если оно сильно отличается от фактического, то можно говорить об аномалии.
📌 Подходы к детекции аномалий
Классические методы
Используются прогнозирующие модели для дальнейшего сравнения план/факт:
- Деревья решений и бустинг (например, LightGBM, XGBoost)
- Рекуррентные сети (RNN) с LSTM и трансформерами
- Методы SVM (вспомнили даже его 🫡)
- Скользящее среднее 😐
Нестандартные методы
🔹 Reconstruction-based методы. Используют автоэнкодеры, где временной ряд:
1. Сжимается в латентное пространство энкодером
2. Восстанавливается декодером
3. Если получившиеся временной ряд сильно отличается от ожидаемого => аномалия
Популярные методы:
- Autoencoder-based (Buzz, EncDec-AD и т. д.).
- GANs и диффузионные сети (в статье почему-то забыты, хотя, например, в статье Time Series Anomaly Detection using Diffusion-based Models утверждают, что они SOTA - верим?)
🔹 Clustering-based методы. Как можно догадаться аномалии ищутся с помощью кластеризации:
- Distance-based (по расстоянию).
- Density-based (по плотности).
В статье упоминается 10+ примеров, но суть одна:
1. Временной ряд разбивается скользящим окном.
2. Каждый кусок сравнивается с остальными.
3. Используется кластеризация (например, DAG, деревья).
Популярные методы:
- Discord Detection using Matrix Profile (DAD).
- Adjacent Mean Difference (AMD).
- KNN – за счёт малого количества гиперпараметров оказался одним из лучших. Проверил на игрушечных кейсах (см. пример ниже)
📏 Метрики
Часто используются адаптированные метрики классификации:
- ROC AUC и его вариации, есть свои адаптации под каждый тип аномалий
- Precision и Recall
- True Positive Rate (TPR) и другие
📊 Бенчмарки. Популярные датасеты:
- NAB, KDD21, TODS, TimeEval и другие.
Однако в статье не приводится, какие методы лучшие
🎯 Рекомендация. Лучше строить бейзлайны на скользящих средних и бустингах и только потом пробовать deep learning
- 👍 9
- 🔥 5
- ❤ 2
- 🙏 1
Post #84
1.01K
AI.Insaf Зарегистрировался на сайте про AI-агентов, и на почту пришло супер персонализированное письмо (это вам не имя подставить под готовый шаблон). Явно спарсили мой гитхаб и linkedIn 🕵️♂️. Ждем больше персонализированной рекламы, а не только на основе соцдема…
- 😁 13
- 👍 4
- 🙏 3
- 🤣 2
- 🤝 1
Post #83
1.1K
Зарегистрировался на сайте про AI-агентов, и на почту пришло супер персонализированное письмо (это вам не имя подставить под готовый шаблон). Явно спарсили мой гитхаб и linkedIn 🕵️♂️.
Ждем больше персонализированной рекламы, а не только на основе соцдема (пол, возраст и тд)
Ждем больше персонализированной рекламы, а не только на основе соцдема (пол, возраст и тд)
- 😁 11
- 👍 8
- 🤯 5
Post #80
1.22K
Прошлую субботу в офисе VK прошла Дата-Ёлка 🎄🎅, запись тут. В 2019 году там выступал Спайдермен 🕷, сейчас не так весело. Лично я не дошёл ногами, но посмотрел доклады онлайн, а коллега сходил вживую. В начале мероприятия было мало людей, большинство начало приходить ближе к афтепати 🍷, про еду не забыли)
интересные треки
🧠 1. Reliable ML. Первая часть: обсуждали старые материалы и дали ссылку на классную книгу 📖 по интерпретации моделей. Основной фокус — важность оценки uncertainties моделей. Например, как оценивать не только вероятность события, но и доверительный интервал 📊. Вот полезная библиотека для этого: https://github.com/scikit-learn-contrib/MAPIE.
Вторая часть: обсудили бизнес-аспекты Reliable ML и вспомнили про system design (ссылка на гитхаб). Не хватило конкретных разборов бизнес-кейсов 🤔
🤖 2. Что нового в NLP? LLM стали лучше. Занавес
🔍 3. Итоги PyData. Было много интересных проектов, многие используют LLM. Запомнились:
- Briefer: новый Jupyter Notebook с интерактивными визуализациями.
- Quak: профайлер данных.
📈 4. Карьерный трек в IT Основан на аналитике с hhru (ссылка тут)
- Динамика роста вакансий превышает динамику роста резюме (вторая производная). В абсолютных значениях: 7+ активных резюме на вакансию. И тут конечно вопрос к аналитикам из hh, вывод на 1й картинке ошибочный
- Сильный дисбаланс у джунов: 10x резюме на вакансию, тогда как у сеньорных позиций — 1x.
- Почему не стоит становиться тимлидом: статья (больше ответственности, сложнее рост, прирост 💵 меньше чем от перехода от джуна к мидлу.
⭐️ 5. Отдельно рекомендовали почитать про аномалии временных рядах Dive into Time-Series Anomaly Detection: A Decade Review Как раз есть задача по временным рядам, правда не дошли руки почитать еще статью. Обзорные статья классная тема, чтобы изучить и резюмировать что придумали за последнее время, все работу по агрегации материалов там уже делают за тебя.
+обзоры решений в рекомендациях
интересные треки
🧠 1. Reliable ML. Первая часть: обсуждали старые материалы и дали ссылку на классную книгу 📖 по интерпретации моделей. Основной фокус — важность оценки uncertainties моделей. Например, как оценивать не только вероятность события, но и доверительный интервал 📊. Вот полезная библиотека для этого: https://github.com/scikit-learn-contrib/MAPIE.
Вторая часть: обсудили бизнес-аспекты Reliable ML и вспомнили про system design (ссылка на гитхаб). Не хватило конкретных разборов бизнес-кейсов 🤔
🤖 2. Что нового в NLP? LLM стали лучше. Занавес
🔍 3. Итоги PyData. Было много интересных проектов, многие используют LLM. Запомнились:
- Briefer: новый Jupyter Notebook с интерактивными визуализациями.
- Quak: профайлер данных.
📈 4. Карьерный трек в IT Основан на аналитике с hhru (ссылка тут)
- Динамика роста вакансий превышает динамику роста резюме (вторая производная). В абсолютных значениях: 7+ активных резюме на вакансию. И тут конечно вопрос к аналитикам из hh, вывод на 1й картинке ошибочный
- Сильный дисбаланс у джунов: 10x резюме на вакансию, тогда как у сеньорных позиций — 1x.
- Почему не стоит становиться тимлидом: статья (больше ответственности, сложнее рост, прирост 💵 меньше чем от перехода от джуна к мидлу.
⭐️ 5. Отдельно рекомендовали почитать про аномалии временных рядах Dive into Time-Series Anomaly Detection: A Decade Review Как раз есть задача по временным рядам, правда не дошли руки почитать еще статью. Обзорные статья классная тема, чтобы изучить и резюмировать что придумали за последнее время, все работу по агрегации материалов там уже делают за тебя.
+обзоры решений в рекомендациях
- 👍 12
- 🔥 5
- 🤔 2
Post #79
1.17K
аналитика hh
- 👍 8
- 🤯 3
- 🤝 2
Post #78
1.16K
Chatgpt внезапно почти справился но потерял суть, правильная расшифровка.
Автор статьи: «Александр Радищев», покорнейше просит Комитет о возвращении ему сей статьи, не допущенной к помещению в журнале. 5 сентября 1836
Автор статьи: «Александр Радищев», покорнейше просит Комитет о возвращении ему сей статьи, не допущенной к помещению в журнале. 5 сентября 1836
- 👍 6
- 🔥 5
- 😁 3