Библиотека собеса по Data Science | вопросы с собеседований

❓ Почему кто-то может предпочесть иерархическую кластеризацию вместо кластеризации на основе разбиения

1. Многоуровневая структура кластеров
Иерархические методы способны выявлять вложенные структуры: можно увидеть, как малые кластеры объединяются в более крупные. Это особенно полезно, если данные имеют естественную иерархию.

2. Гибкость при выборе количества кластеров
В отличие от методов типа K-средних, где нужно заранее задать число кластеров, иерархическая кластеризация позволяет определить их после построения, анализируя дендрограмму (древовидное представление).

3. Хороша для анализа и интерпретации
Иерархическая кластеризация часто применяется в задачах, где важно понять структуру и взаимосвязи между объектами — например, в биоинформатике (кластеризация генов), лингвистике (группировка слов), маркетинге (иерархия клиентов).

⚠️ Ограничения:

➡️ Сложность по вычислениям: стандартные алгоритмы имеют сложность $O(n^2)$ по памяти и времени, что делает их неэффективными для больших наборов данных.
➡️ Чувствительность к шуму и выбросам: особенно при использовании метрик расстояния без устойчивости к выбросам.

Библиотека собеса по Data Science

🚨 Что на самом деле происходит с увольнениями в ИТ

Каждый день в чатах разработчиков появляются сообщения «ищу работу», «команду сократили», «проект закрыли». Но никто не говорит о причинах и масштабах катастрофы. Мы запустили большое исследование, чтобы раскрыть правду!

🎯 Что мы выясним:
→ Реальные причины увольнений
→ Сколько времени нужно на поиск работы
→ Самые безумные истории смены работы

Понимая реальную ситуацию, мы сможем принимать взвешенные решения о карьере и не попасться на удочку HR-сказок.

👉 Пройдите опрос за 3 минуты и помогите всему сообществу: https://clc.to/yJ5krg

✅ Как понять, какие задачи можно эффективно объединить в мультизадачную модель

Ключевой критерий — наличие общей структуры или схожих признаков между задачами.

🔍 Хорошие кандидаты для мультизадачного обучения:
— Задачи, основанные на одинаковых входных данных (например, текст, изображения).
— Задачи, требующие похожего понимания структуры (например, синтаксического или семантического анализа в NLP).
— Задачи, где одна может обогащать представление для другой (например, часть речи ↔️ определение сущностей).

📌 Пример:
В NLP можно объединить задачи классификации тональности, распознавания именованных сущностей и анализа зависимостей — они все используют текст и извлекают структурированную информацию.

🚫 Плохие кандидаты — риск негативного переноса:
— Задачи с разными типами данных и отдельными признаковыми пространствами (например, изображение + аудио без общего контекста).
— Задачи с конфликтующими целями (например, одна требует обобщения, другая — запоминания деталей).

На что ещё обратить внимание:
➡️ Размер и баланс подзадач — мелкие задачи могут быть подавлены.
➡️ Возможность общей архитектуры (shared encoder + task-specific heads).
➡️ Наличие метрик для оценки взаимного влияния задач.

Библиотека собеса по Data Science

Библиотека собеса по Data Science | вопросы с собеседований pinned a photo

⏰ Последние 2 дня скидки на курс «AI-агенты для DS-специалистов»

Пока большинство дата-сайентистов строят модели и делают аналитику, рынок уже требует специалистов, которые создают автономные системы на базе ИИ-агентов.

Для этого мы подготовили специальный курс и собрали кучу дополнительного контента, который поможет погрузиться в тему еще глубже. Но чтобы получить все плюшки, успевайте до 1 июня.

🎁 Что вы получите при оплате курса до 1 июня:
— Промокод PROGLIBAIна 10 000 ₽ на курс, чтобы изучать AI-агентов еще выгоднее
— Эксклюзивный лонгрид по API и ML от Proglib

💡Что разберем на курсе «AI-агенты для DS-специалистов»:
— Реализацию памяти в цепочках langchain
— Полный пайплайн RAG-системы с оценкой качества
— Основы мультиагентных систем (MAS)
— Протокол MCP и фреймворк FastMCP

Промокод также действует на курсы «Математика для Data Science» и «Алгоритмы и структуры данных».

👉 Успейте до 1 июня: https://clc.to/Cttu7A

👍 Как можно снизить нагрузку на инференс при использовании ансамблей глубоких нейронных сетей

Возможные стратегии:

1️⃣ Дистилляция модели: обучите более компактную «студенческую» нейросеть, которая имитирует выходы ансамбля. Это позволяет значительно сократить время инференса, сохранив при этом качество.

2️⃣ Снижение точности / квантизация: уменьшите разрядность весов и активаций (например, до 8 бит), чтобы ускорить вычисления и уменьшить использование памяти.

3️⃣ Производительное оборудование и параллелизация: если позволяют ресурсы, можно запускать модели параллельно на нескольких GPU или специализированных ускорителях (например, TPU или нейромодулях).

Библиотека собеса по Data Science

🔴 Как системно оценить качество предобработанных данных перед обучением большой языковой модели (LLM)

Перед тем как запускать дорогостоящий процесс обучения LLM, важно убедиться, что ваши данные чисты, релевантны и структурированы.

Оценка должна включать как количественные, так и качественные метрики.

➡️ Количественные метрики:

😶 Распределение токенов
Проверьте, не доминируют ли специальные токены, мусорные фрагменты или нерелевантные конструкции. Ожидаемые токены (например, ключевые слова доменной области) должны иметь разумную частоту.

😶 Покрытие словаря
Оцените, насколько хорошо охвачены часто встречающиеся слова и сабворды в вашей предметной области. Можно использовать частотный анализ на корпусе.

😶 Статистика по длине документов
Сравните среднюю и медианную длину документов с ожидаемыми значениями. Аномально короткие или длинные тексты могут быть ошибками разметки или дубликатами.

😶 Языковое распределение
В мультиязычном корпусе важно убедиться, что каждый язык представлен в правильной пропорции. Используйте модель определения языка (например, fastText или langid.py).

➡️ Качественные проверки:

😶 Ручная выборка документов
Просмотрите случайные примеры: содержимое должно быть осмысленным, без мусора, персональных данных или несоответствий тематике.

😶 Проверка дубликатов и шаблонов
Автоматически найдите повторяющиеся документы или шаблонные страницы (например, элементы веб-навигации).

😶 Оценка перплексии на тестовой модели
Можно применить небольшую предварительно обученную LLM к данным, чтобы вычислить перплексию. Высокая перплексия может сигнализировать о шуме или нерелевантности.

😶 Автоматическое обнаружение аномалий
Используйте кластеризацию или модели выявления аномалий, чтобы найти подозрительные группы документов.

Библиотека собеса по Data Science

Библиотека собеса по Data Science | вопросы с собеседований pinned «👾 AI-агенты — настоящее, о котором все говорят На днях мы анонсировали наш новый курс AI-агенты для DS-специалистов 🎉 Это продвинутая программа для тех, кто хочет получить прикладной опыт с LLM и решать сложные задачи! На обучении вы соберете полноценные…»

👾 AI-агенты — настоящее, о котором все говорят

На днях мы анонсировали наш новый курс AI-агенты для DS-специалистов 🎉

Это продвинутая программа для тех, кто хочет получить прикладной опыт с LLM и решать сложные задачи!

На обучении вы соберете полноценные LLM-системы с учётом особенностей доменных областей, получите hands-on навыки RAG, Crew-AI / Autogen / LangGraph и агентов.

🎓 В рамках курса вы научитесь:
— адаптировать LLM под разные предметные области и данные
— собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
— строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой

Разберете реальные кейсы и научитесь применять похожие подходы в разных доменных областях, получите фундамент для уверенного прохождения NLP system design интервью и перехода на следующий грейд.

Старт 5 июля, а при оплате до 1 июня действует дополнительная скидка и бонус — эксклюзивный лонгрид по API и ML от Proglib.

Начните осваивать тему уже сейчас 👉 https://clc.to/Cttu7A

🔺 Как можно интегрировать экспертные знания в методы обнаружения аномалий на основе плотности

Хотя методы, основанные на оценке плотности, чаще всего являются полностью безнадзорными, в реальных задачах часто доступна частичная информация от экспертов. Это могут быть:

1️⃣ известные валидные диапазоны значений (например, «датчик не может показывать ниже 0»),
2️⃣ примеры аномалий или нормальных состояний, собранные вручную,
3️⃣ логические правила или бизнес-ограничения.

🚩 Как использовать эту информацию

1. Полунадзорная плотностная оценка
— Задать «якорные» точки: явно указать, какие объекты точно нормальные, а какие — аномальные. Это влияет на локальные оценки плотности вокруг них.

2. Постобработка результатов модели
— После работы алгоритма можно применять экспертные правила для фильтрации или повторной оценки найденных аномалий. Например, игнорировать точки, попавшие в известные допустимые диапазоны, даже если модель посчитала их подозрительными.

3. Обогащение признаков
— Добавить признаки, отражающие экспертные соображения (например, флаги «значение превышает допустимый уровень»), которые помогут алгоритму выявлять аномалии более осознанно.

Библиотека собеса по Data Science

Библиотека собеса по Data Science | вопросы с собеседований pinned a photo

😱 Вся правда об увольнениях в IT в 2025-м

Пока все молчат о том, что происходит на рынке, мы решили выяснить реальную картину. Без прикрас и корпоративного пиара.

Но для этого нам нужна ваша помощь! Мы собираем данные от разработчиков, тестировщиков, менеджеров и всех, кто работает в ИТ, чтобы создать честное исследование о:

— реальных причинах массовых увольнений
— судьбе тех, кто остался за бортом IT-рынка
— том, сколько времени сейчас нужно на поиск работы

Почему это важно? Потому что сила в правде. Зная реальную ситуацию, вы сможете лучше понимать тренды рынка и планировать карьеру.

⚡️Пройдите опрос и помогите всему сообществу: https://clc.to/yJ5krg

👌 Когда метод опорных векторов (SVM) может превосходить глубокую нейросеть на практике

SVM может показывать лучшие результаты, когда объём данных небольшой, но признаковое пространство — высокоразмерное и хорошо различающее. Особенно это актуально в узкоспециализированных задачах, где трудно собрать большие размеченные выборки (например, в медицине или биоинформатике).

Если удаётся подобрать подходящую ядровую функцию, SVM может эффективно аппроксимировать сложные границы между классами без необходимости обучения миллионов параметров, как в нейросетях.

⚠️ На что стоит обратить внимание:
— Глубокие нейросети склонны к переобучению на малых данных. Без правильной настройки регуляризации и архитектуры они могут хуже обобщать, чем более простые модели.
— Нейросетям часто нужны хорошие инициализации весов, продвинутые оптимизаторы и большие вычислительные ресурсы. При неправильной конфигурации они могут проигрывать по скорости и стабильности SVM.
— SVM проще интерпретировать и отлаживать в задачах с ограниченными ресурсами или когда важна воспроизводимость.

📌 Вывод:
Если данных мало, но признаки хорошо различают классы — не стоит сразу переходить к нейросетям. Грамотно настроенный SVM может быть не только быстрее, но и точнее.

Библиотека собеса по Data Science

😳 Почему дата-сайентисты застревают на уровне «делаю отчеты и строю модельки»

Проблема большинства спецов: вы отлично знаете pandas, sklearn и даже можете настроить нейронку. Но когда дело доходит до создания автономных систем, которые принимают решения без человека — тупик.

При этом большинство курсов по ИИ либо для программистов (и там про API больше, чем про данные), либо академические (теория без практики).

🔥Поэтому мы запускаем курс «AI-агенты для DS-специалистов»

🧐 Что будет на курсе:
— Рассмотрим реализацию памяти в цепочках langchain и создадим пару простых агентов.
— Соберем полный пайплайн RAG-системы с оценкой качества.
— Изучим основные понятия мультиагентных систем (MAS) и библиотеки для их построения.
— Рассмотрим протокол MCP и фреймворк FastMCP, создадим end-to-end приложение.

🎁 В честь запуска курса мы дарим промокод PROGLIBAI на 10 000 ₽ на два других обучения:
— Математика для Data Science
— Алгоритмы и структуры данных

После этих курсов вы перестанете быть «тем, кто делает отчеты» и станете архитектором умных систем. А это совсем другой уровень зарплаты и востребованности.

👉 Успейте использовать промокод и забрать новый курс по приятной цене до 1 июня: https://clc.to/Cttu7A

❓ Зачем использовать stratifed sampling при разбиении на обучающую и тестовую выборки

Stratified sampling (стратифицированная выборка) используется для того, чтобы сохранить пропорции классов (или других важных характеристик) при разбиении данных на обучающую и тестовую части. Это особенно важно, если классы несбалансированы.

Если разбивать случайно, есть риск, что тестовая выборка окажется смещённой — например, в ней будет слишком мало примеров миноритарного класса. Это приведёт к некорректной оценке модели: она может показывать хорошую точность на тесте, но при этом плохо распознавать важные, но редкие случаи.

Stratified sampling помогает избежать этого перекоса, делая тестовую оценку более надёжной и репрезентативной. Особенно важно использовать этот подход при кросс-валидации и в задачах с дисбалансом классов.

Библиотека собеса по Data Science

❓ Что делать, если в обучающем наборе для методов на основе соседей часть меток отсутствует или указана неполностью

Методы, основанные на ближайших соседях (например, k-NN), предполагают, что каждая обучающая точка имеет метку. Отсутствие меток усложняет обучение и прогнозирование, особенно если таких точек много.

📝 Варианты решений

1. Игнорировать объекты без меток
Можно обучаться только на размеченных примерах, но при этом теряется часть данных, что особенно критично при малом объёме обучающей выборки.

2. Использовать полубезнадзорные методы (semi-supervised)
Например, распространение меток (label propagation): метки итеративно «перетекают» от размеченных точек к близким неразмеченным, если они достаточно похожи.

3. Изучение структуры данных через неразмеченные точки
Даже если метки отсутствуют, сами объекты помогают определить геометрию признакового пространства и уточнить, кто кому «сосед».

📝 Подводные камни:

📝 Полубезнадзорные методы требуют решать, когда доверять сгенерированным меткам — легко получить ложные закономерности.
📝 Если метки отсутствуют не случайно (например, только у сложных или редких объектов), это может внести систематическую ошибку.
📝 Оценка качества модели затрудняется — стандартные метрики предполагают, что мы знаем истинные метки хотя бы на тесте.

📝 Вывод

Если часть меток отсутствует, не всегда стоит их игнорировать. Лучше использовать структуру данных через полубезнадзорные методы и явно учитывать, насколько случайна или предвзята сама пропуск меток.

Библиотека собеса по Data Science

🤔 Что делать, если в небольшом размеченном наборе сильно несбалансированные классы, но среди неразмеченных данных, возможно, есть представители миноритарного класса

Когда классы сильно несбалансированы, модель может вообще не научиться распознавать редкий класс — особенно если в размеченных данных он почти не представлен. Это особенно критично, если модель начинает обучение уже с перекосом в сторону большинства.


🛠 Как с этим справиться

1. Усиливаем вклад миноритарного класса в функцию потерь
— Используем взвешивание классов или focal loss, который автоматически усиливает вклад трудных примеров.

2. Применяем регуляризацию на неразмеченных данных
— Например, consistency regularization, при которой модель должна давать стабильные предсказания при слабых искажениях входа.

3. Активный отбор редких примеров среди неразмеченного пула
— Можно применять кластеризацию и отбирать для разметки точки из «редких» кластеров — это метод active cluster labeling.

4. Анализируем предсказания модели на неразмеченных данных
— Если модель слабо уверена в каком-то сегменте — возможно, это и есть миноритарный класс. Такие точки можно приоритизировать для ручной разметки.

Библиотека собеса по Data Science

❓ Что делать, если распределение данных меняется со временем? Как это влияет на валидацию и Early Stopping

Когда данные со временем «плывут» (то есть меняется их распределение), фиксированный валидационный набор устаревает. В этом случае Early Stopping может остановить обучение в «лучшей» точке для старого распределения, но не для актуального.

🔍 Что можно сделать

1. Обновлять или ротационно менять валидационный набор
— Чтобы он отражал текущее состояние данных, а не прошлое.

2. Использовать скользящие метрики или онлайн-мониторинг
— Особенно в потоковых системах: метрики качества считаются по «живым» данным, а не по статичному отрезку.

3. Переобучать или дообучать модель при обнаружении дрейфа
— Если обнаружили drift, стоит не просто дообучить модель, а пересобрать или адаптировать её с учётом новых данных.

⚠️ Подводный камень:
Если валидация остаётся неизменной, вы можете не заметить, что модель перестала работать. Early Stopping в этом случае остановит обучение слишком рано или слишком поздно — и модель будет плохо обобщать на реальные данные.

Библиотека собеса по Data Science

❓ Может ли одна модель показывать одновременно высокий bias в одних сегментах данных и высокий variance в других

Да, такое вполне возможно. Модель может хорошо работать на одних подмножествах данных, но плохо — на других.

Высокий bias в одном сегменте: например, в задаче регрессии модель систематически занижает предсказания для больших значений признаков — значит, она недостаточно сложна или плохо учится на этих данных.

Высокий variance в другом сегменте: в областях с редкими или шумными данными модель может давать сильно изменяющиеся прогнозы, что говорит об переобучении и чувствительности к шуму.

🛠 Как это исправить

1️⃣ Локальная адаптация модели:

— Разбить данные на сегменты (например, по диапазонам признаков или кластерам).
— Обучить отдельные модели для каждого сегмента (например, ансамбли или модели с разными параметрами).

2️⃣ Использовать гибридные или иерархические модели:

— Методы типа Mixture of Experts, которые «специализируются» на разных областях.
— Иерархические модели или модели с ветвлениями, учитывающие неоднородность данных.

3️⃣ Добавить или улучшить признаки:

— Возможно, проблема в том, что модель не видит важных факторов, объясняющих поведение в разных сегментах.

4️⃣ Улучшить сбор и баланс данных:

— Недостаток данных в некоторых сегментах вызывает высокую дисперсию — собрать больше данных или использовать аугментацию.

Библиотека собеса по Data Science

Библиотека собеса по Data Science | вопросы с собеседований pinned a photo