MLinside - школа ML

29–30 мая в Москве пройдет Aha!25 — одна из крупнейших технических конференций года для специалистов в области машинного обучения, аналитики и product-менеджмента!

Что вас ждет:
🟢Более 1200 участников — коллег, партнеров и потенциальных работодателей
🟢16 тематических потоков и 80+ докладов
🟢Выступления топ-экспертов из ведущих компаний: Яндекс, Авито, OZON, Альфа-Банк, Т-Банк и другие
🟢Выступления представителей научного сообщества из ИТМО, РЭШ, Центрального университета.
🟢Разбор реальных бизнес-кейсов и панельные дискуссии

Темы конференции:
🔵Интеграция LLM, ML и AI в цифровые сервисы
🔵Современные подходы к A/B-тестированию
🔵Оцифровка пользовательского опыта
🔵Машинное обучение в управлении продуктом
🔵Математическое мышление и поведенческая экономика

В мероприятии примет участие и команда MLinside: наш основатель Виктор Кантор выступит с докладом о задачах, за которые готовы и будут платить на рынке AI. 

Билеты можно приобрести на официальном сайте конференции. При использовании промокода MLINSIDE — скидка 20% на все виды билетов!

🔥 Ответы на задачи с собеседований

1️⃣В чём различие операторов == и is в Python? + Ответ на код

Ответ: True False True True

Оператор == сравнивает значения объектов, а оператор is проверяет, ссылаются ли переменные на один и тот же объект в памяти. Так как в Python None  - это синглтон-объект, то есть в Python существует лишь один единственный None, то сколько бы мы не создавали переменных с этим значением, они все будут ссылаться на один объект в памяти, потому код "sample_A is sample_B" вернёт True 

2️⃣Что вернёт код A = 13 B = 13 print(A == B) print (A is B), почему?

Ответ: True True

Потому что Python всегда хранит целые числа от -5 до 256 в памяти. Создавая объект с такими значениями вы будете ссылаться на уже выделенное место в памяти для данного значения. Потому в нашем примере A is B вернёт True. Если А и B оба будут равны 257, то A is B вернёт False. Это было сделано в Python для оптимизации работы языка, чтобы не выделять память на очень часто используемые значения при работе кода.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex

#собеседования_MLinside

🔥 Задачи с собеседований

Собеседование на ML-специалиста часто включает не только вопросы по алгоритмам и теории, но и глубокое понимание Python. А знание тонкостей языка может решить исход интервью!

Сегодня предлагаем вам разобрать задачи с реальных интервью. Наши ответы опубликуем в понедельник, а пока — проверьте себя и оставьте свои ответы в комментариях!

📌 Вопросы:

1️⃣В чём различие операторов “==” и “is” в Python? Что вернёт следующий код?

list_A = [1, 2, 3]
 list_B = [1, 2, 3]
 sample_A = None
 sample_B = None

 print(list_A == list_B)
 print(list_A is list_B)
 print(sample_A == sample_B)
 print(sample_A is sample_B)

2️⃣Дополнительная задача повышенной сложности по знанию Python - что вернёт этот код и почему?

 A = 13
 B = 13
 print(A == B)
 print(A is B)

#собеседования_MLinside

💬 Внимание, опрос!

В последние месяцы вопросы о том, как ИИ будет влиять на профессии в области машинного обучения и анализа данных, становятся всё более актуальными.

Мы решили узнать ваше мнение! Поделитесь, как вы считаете — заменит ли ИИ специалистов в этих областях в ближайшие годы?

Давайте разберемся, что думает большинство! 🧐

🤖 🔮 Как ИИ изменит мир к 2027 году?

Будущее искусственного интеллекта уже не кажется таким далеким, как мы думали. Искусственный интеллект спасет нас или приведет к нашему краху? Будет ли развитие ИИ спасением или угрозой? — Эти вопросы ставит перед собой новый отчет AI 2027, созданный исследовательским проектом AI Futures Project.

👤 Кто стоит за этим проектом?
Дэниэль Кокотайло, исполнительный директор AI Futures Project, бывший сотрудник OpenAI. Он решился представить свою версию того, что будет с ИИ в будущем. В 2021 году Дэниэль Кокотайло попытался предсказать будущее ИИ, и многие из его прогнозов уже сбылись.

Отчет AI 2027, который основан на существующих исследованиях и экспертных оценках, дает нам картину того, что может случиться, если ИИ продолжит развиваться такими темпами.

Важные моменты из отчета:
🚀 Конец 2025 года: ИИ станет настолько мощным, что системы будут способны адаптироваться к новым задачам и работать на автопилоте. Это откроет новые возможности, но и создаст риски, связанные с потерей контроля.
🌍 Конец 2026 года: Китай начнет использовать ИИ-агентов для ускорения развития и проникновения на международные рынки. Это приведет к глобальной гонке за лидерство в области ИИ, где каждая страна будет бороться за технологическое превосходство.
💼 2027 год: Массовая автоматизация труда и увольнения — последствия ИИ для рабочего рынка. Рост экономики будет неравномерным: если одни страны и компании будут процветать, то другие окажутся на обочине.
⚠️ Конец 2027 года: В конце концов, мир столкнется с угрозой или примет решение замедлить развитие ИИ и усилить контроль за безопасностью. Это будет момент истины — когда человечество должно будет решить, как двигаться дальше.

🤔 Как вы считаете, насколько реалистичен прогноз, представленный в отчете AI 2027? Возможно ли, что ИИ действительно достигнет такого уровня развития уже в ближайшие несколько лет? И стоит ли нам беспокоиться?

🔍 Как Duolingo с помощью ИИ меняет подход к обучению языкам

Duolingo, когда-то просто приложение для изучения языков, теперь превращается в настоящий ИИ-гигант, который меняет подходы к обучению благодаря внедрению машинного обучения и искусственного интеллекта.

📈 Как Duolingo применяет ИИ?

Space Repetition System: Первая ИИ-система Duolingo, которая помогает предсказать, сколько времени потребуется, чтобы запомнить слово, и автоматически подбирает задачи в зависимости от вашего прогресса.

BirdBrain: Эта система уже знает, когда вам стоит предложить более сложное задание или снизить сложность, даже до того, как вы начнёте его выполнять!

Smart Tips: В реальном времени ИИ анализирует ваши ошибки и предлагает персонализированные подсказки, чтобы помочь вам быстрее освоить материал.

Персонажи с AI-поддержкой для практики разговорного языка: В Duolingo недавно появилась новая функция, основанная на LLM. Пользователи могут общаться с персонажем в формате, напоминающем FaceTime. Этот инструмент позволяет проводить естественные диалоги, моделируя разговорную практику в комфортной обстановке, адаптированной к уровню знаний пользователя.

🧠 Но есть и другой, неожиданный момент... В 2024 году компания уволила 10% своих контрактных сотрудников, переместив фокус на использование ИИ для создания и распространения контента. Подобные шаги показывают, как сильно Duolingo ориентируется на технологии и оптимизацию процессов с помощью ИИ.

🚀 Интересно, как ИИ изменит обучение в других сферах? Поделитесь своим мнением в комментариях! 👇

Когда ты дата-сайентист в 2025 году... и тебе нужно успеть справиться с всем! 😅

Решили разбавить наш канал чем-то лёгким и забавным:) В комментариях делитесь своим мнением, что самое сложное в профессии, и как справляетесь с многозадачностью?

Также можете поделиться своим любимым мемом про DS/ML 🙂

🔥 Ответы на вопросы с собеседований

1️⃣ Как можно бороться с переобучением? Назови основные способы.

1) Для линейных моделей - L1 и L2.
2) Для деревьев - pre-/post-prunning.
3) Для knn - выбор кол-ва соседей, выбор функции расчёта расстояния.
4) Для всех моделей - различные уменьшения сложности модели, например через отбор признаков, уменьшение слоёв или нейронов в нейросетях / Data augmantation / Dropout / проведение кросс-валидации / Early stopping

2️⃣ Чем L1-регуляризация отличается от L2-регуляризации? В каких случаях их применять?

1) L1-регуляризация (Lasso) добавляет штраф пропорциональный абсолютным значениям весов модели. Может занулить веса у неинформативных признаков, потому применяется для их отбора.
2) L2-регуляризация (Ridge) добавляет штраф пропорциональный квадратам весов модели. Значимо уменьшает величину весов. Применяется, когда признаки коррелированы, и важно, чтобы модель учитывала их, но без сильного преувеличения их важности.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex

#собеседования_MLinside

🔥 Вопросы с собеседований

Собеседования по ML-теории, математической статистике, Python и Big Data проводятся на всех уровнях вакансий на ML позиции. Данный этап является ключевым для Junior специалистов.

🔎 Мы подготовили несколько вопросов, которые могут встретиться на интервью! Наши ответы на них мы опубликуем в отдельном посте в понедельник.

А сейчас ждём ваших ответов в комментариях!

📌 Вопросы:

1️⃣ Как можно бороться с переобучением? Назовите основные способы.
2️⃣ Чем L1-регуляризация отличается от L2-регуляризации? В каких случаях их применять?

#собеседования_MLinside

🔍 Что такое регуляризация и зачем она нужна в моделях машинного обучения?

Регуляризация — это техника в машинном обучении, которая помогает предотвратить переобучение модели. Переобучение (или overfitting) происходит, когда модель слишком сильно подстраивается под тренировочные данные, включая случайные отклонения и шум. В результате модель становится слишком "специальной" для этих данных и плохо справляется с новыми, незнакомыми примерами. Регуляризация упрощает модель и помогает модели оставаться более общей и адаптируемой, улучшая её способность работать с новыми данными.

🤔 Как это работает?
Регуляризация вводит дополнительные ограничения в процесс обучения, которые уменьшают свободу модели, заставляя её быть более устойчивой и менее чувствительной к мелким изменениям в данных. Это достигается за счет добавления штрафа за слишком большие коэффициенты в модели.

Основные виды регуляризации:
🔵L1 регуляризация (Lasso): Добавляет к функции потерь сумму абсолютных значений коэффициентов модели. Это способствует тому, что некоторые коэффициенты становятся равными нулю, что в итоге приводит к сжатию модели и выделению наиболее важных признаков.
🔵L2 регуляризация (Ridge): Добавляет сумму квадратов коэффициентов к функции потерь. Это помогает уменьшить величину коэффициентов, не обнуляя их, что делает модель более гладкой и предотвращает излишнюю чувствительность.
🔵Elastic Net: Это комбинация L1 и L2 регуляризаций, которая использует преимущества обоих методов и помогает при работе с сильно коррелированными признаками.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
👀 Спойлер: В пятницу стартует новая серия постов, где мы будем разбирать популярные вопросы с собеседований. В первом посте вопросы на тему регуляризации 🤫

📱 Вирусный тренд в мире ИИ!

Как вам идея создать изображение в стиле Studio Ghibli с помощью ChatGPT? Благодаря новому инструменту генерации изображений, всего за час ChatGPT смог привлечь 1 миллион новых пользователей! Об этом сообщил Сэм Альтман, CEO OpenAI. Для сравнения, при запуске ChatGPT потребовалось 5 дней, чтобы достичь этого показателя.🔥

Недавний тренд в соцсетях — имитация работ японской анимационной студии Ghibli с помощью ИИ — доказал, на что способен этот инструмент.

🎨 Голос Гибли: Миядзаки, соучредитель Studio Ghibli, выразил своё недовольство, назвав ИИ-генерацию искусством "оскорблением жизни". Для него искусство — это результат усилий и ручной работы, а не алгоритмов. "Если вам нравится создавать странные вещи — пожалуйста, но я бы никогда не использовал эту технологию в своём творчестве", — заявил он.

🚀 Тем не менее, технологии продолжают развиваться, и мы не можем не отметить, какой потенциал они открывают для творчества!

Как вам такие изображения, созданные ИИ? Прикрепляем фотографию наших экспертов в стиле Ghibli — а вы сможете угадать, кто на картинке?👀

Сегодня — квиз в нашем канале! ✨

Квиз поможет вам освежить знания и, возможно, узнать что-то новое.

Не упустите шанс проверить себя! 📚

📱Как Netflix объединил разные ML модели в единую рекомендательную систему

Netflix — лидер в мире стриминга, и его рекомендательная система сыграла огромную роль в этом успехе. В своем блоге компания поделилась опытом объединения нескольких отдельных моделей машинного обучения для поиска и рекомендаций в одну многозадачную модель, которая решает несколько проблем одновременно. 🧠

💡 Почему это важно? Традиционно системы рекомендаций создают отдельные модели для различных задач, например: рекомендации на основе пользователя (user-to-item), похожие товары (item-to-item), поиск (query-to-item), и категоризация (category-to-item). Но такой подход приводит к значительным затратам на управление и поддержку множества моделей. Netflix пошёл другим путём и объединил все эти модели в одну.

📊Как это работает?
🔵Ранее используемые модели: Netflix использовал разные модели для разных задач. Например, для рекомендаций по запросу (search) и для рекомендаций похожих товаров (related items) использовались независимые модели. Это создавало сложную архитектуру и увеличивало технический долг, поскольку каждая модель требовала отдельного процесса подготовки данных и обслуживания.
🔵Единая многозадачная модель: Вместо множества решений Netflix построил одну многозадачную модель, которая эффективно решает все эти задачи. Это не только сократило время на обучение, но и значительно повысило производительность и упростило архитектуру.

✔️Преимущества объединения:
• Снижение объёма кода и ресурсов: Меньше моделей означает меньше работы по поддержке.
• Быстрое внедрение изменений: Обновления и улучшения распространяются быстрее на всю систему.
• Упрощение масштабирования: Легче масштабировать единую модель, чем множество независимых моделей.

⚙️ Как обеспечивается производительность? Netflix использует специализированные среды для различных типов задач. Например, для обработки данных с высокой задержкой используется инфраструктура, оптимизирующая время отклика. Модели развернуты через гибкий API, что позволяет интегрировать их с различными сервисами и быстро адаптировать систему под разные условия.

🔄 Итог: Объединение ML моделей для рекомендаций контента в Netflix стало не только техническим улучшением, но и стратегическим шагом к оптимизации затрат и улучшению пользовательского опыта. Такой подход позволяет Netflix быстрее реагировать на изменения и задачи, сокращая сложности и затраты.

🔄 Вопрос к вам: Как вы думаете, можно ли применить этот подход в других отраслях для улучшения систем?

〰️〰️〰️〰️〰️〰️〰️〰️〰️
📚 Хотите разобраться, как работают рекомендательные системы? Мы подготовили демо-курс "ML в бизнесе" на платформе Stepik, который состоит из 6 лекций на тему рекомендательных систем. Присоединяйтесь и расширяйте свои знания!

📌 Когда ИИ «слышит» не то: как Grok от Илона Маска обвинил звезду NBA в вандализме

Продолжаем публиковать кейсы провалов искусственного интеллекта — примеры, где технологии дали сбой даже в крупнейших проектах. Сегодня расскажем о Grok, чат-боте от xAI Илона Маска, который в 2024 году оказался в центре громкого скандала.

🏀 В апреле 2024 года Grok ложно обвинил Клэя Томпсона, известного баскетболиста, в том, что он якобы кидал кирпичи в окна домов в Сакраменто. На самом деле Томпсон «бросал кирпичи» — в переносном смысле. В баскетболе “Throwing bricks” означает грубые промахи по кольцу. В последней игре за Golden State Warriors он действительно провел один из худших матчей в карьере, что и породило волну таких комментариев в соцсетях.
Grok, «поглотив» эту информацию из постов на X (бывший Twitter), буквально интерпретировал сленг, превратив метафору в фейковое обвинение в уголовном преступлении.

🧠 Хотя у Grok есть дисклеймер «может ошибаться, перепроверяйте ответы», ситуация поднимает серьёзные вопросы:
🔵Кто несёт ответственность за подобные ошибки?
🔵Должен ли ИИ понимать контекст и культурные особенности языка?
🔵Как защитить репутацию людей от ложных обвинений со стороны ИИ?

💬 Даже один неправильный вывод ИИ может привести к массовым последствиям — особенно если речь идёт о публичных людях.

Готовы проверить себя?

Сегодня в нашем канале — новый квиз! Несколько увлекательных задач, хорошая разминка для мозга и шанс узнать что-то полезное.

Не пропустите! 🧠 ✨