Библиотека собеса по Data Science | вопросы с собеседований

Что такое темп обучения в градиентном бустинге?

Градиентный бустинг может переобучиться. Если, например, базовые алгоритмы слишком сложные (предположим, решающие деревья слишком глубокие), то при обучении ошибка на обучающей выборке может приблизиться к нулю.

Чтобы смягчить этот эффект, можно ввести темп обучения (learning rate). Это параметр, лежащий в диапазон от нуля (не включая его) до единицы (включая её). Темп обучения позволяет добиться того, чтобы каждый базовый алгоритм вносил относительно небольшой вклад во всю композицию.

Значение параметра обычно определяется эмпирически по входным данным.

#машинное_обучение

✍️ Шпаргалка: Python для Data Science

Охватывает:

▪️основы языка;
▪️Jupyter Notebook;
▪️NumPy;
▪️Matplotlib;
▪️Pandas.

🔗 Ссылка на шпаргалку

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Какие статистические тесты вы знаете?

▪️T-test
Это тест параметрического типа. Он применяется, когда нужно понять, есть ли различия в среднем значении переменной между двумя группами наблюдений. Нулевая гипотеза здесь предполагает, что средние значения переменной в двух группах не отличаются значимо.

Кроме того, прежде чем проводить T-тест, необходимо проверить, что переменная для оценки непрерывна, распределена близко к нормальному и обладает незначительными различиями в дисперсии между двумя группами наблюдений.

▪️ANOVA
Используется для проверки различий между средними значениями трёх или более групп. Нулевая гипотеза предполагает, что все группы имеют одинаковое среднее значение, а альтернативная — что хотя бы одна группа отличается. ANOVA требует выполнения следующих условий:
1. Нормальное распределение данных в каждой группе.
2. Группы имеют одинаковую дисперсию (гомогенность дисперсий).
3. Независимость наблюдений между группами.

▪️Chi-Square тест
Хи-квадрат тест используется для анализа взаимосвязей между категориальными переменными. Нулевая гипотеза утверждает, что между переменными нет связи. Этот тест часто применяется в таблицах сопряжённости (например, для проверки зависимости между полом и предпочтением товара).

#статистика

Опишите какой-нибудь метод подбора гиперпараметров?

Можно использовать метод Grid Search.

✍️ Это перебор по сетке. Алгоритм таков:

▪️для каждого гиперпараметра фиксируется несколько значений;
▪️далее составляются все возможные комбинации;
▪️на каждой из этих комбинаций модель обучается и тестируется;
▪️выбирается комбинация, на которой модель показывает лучшее качество.

К недостаткам метода относятся его вычислительные затраты: если комбинаций параметров слишком много, алгоритм не завершится за разумное время.

#машинное_обучение

Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования

🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

☕Java

Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ

📈 Обучение Data Science: основы науки о данных за 10 минут

Если вы обучаетесь профессии из сферы Data Science с нуля, в море публикаций по теме легко потеряться. Мы собрали короткие ответы на основные вопросы новичков по науке о данных в нашей статье.

🔗 Ссылка

Забирайте наш курс — он точно поможет повысить уровень мастерства:
🔵 Алгоритмы и структуры данных

🎨 Новый канал для вдохновения — UX in GIF

Мы запустили свежий канал, где делимся идеями для дизайна интерфейсов. Всё самое стильное, оригинальное и вдохновляющее теперь в одном месте.

📌 Чем полезен канал?

→ Идеи для дизайна интерфейсов.
→ Анимации, которые можно повторить или адаптировать.
→ Лёгкий способ искать вдохновение перед новым проектом.

👉 Подписывайтесь и вдохновляйтесь: UX in GIF

Что такое степень свободы в статистике?

Степень свободы — это число значений переменной в выборке, которые нам необходимо знать, чтобы вычислить статистику (например, среднее значение или хи-квадрат).

✍️ Например, если у нас есть набор из четырёх чисел, и мы уже знаем их среднее значение, то три из них можно выбирать произвольно, а четвёртое будет определено автоматически. В этом случае степень свободы равна 3.

Чем больше степень свободы, тем больше вариативность данных.

#статистика

🐍⚡ Python для перфекционистов: 10 способов писать идеальный код

Простота Python позволяет разработчикам быстро создавать рабочие программы, но более продвинутые техники могут сделать ваш код более эффективным, гибким и элегантным.

👉 Читать обо всех способах с примерами кода здесь

⚡️Самые полезные каналы по Data Science в одной папке

В ней:
➖канал для подготовки к собеседованиям
➖интересные задачи
➖основной канал (этот)
➖книги по Data Science
➖лучшие вакансии из сферы
➖и наш чат, в котором можно общаться и задавать вопросы

Добавляйте 👉 тык сюда

Какие типы графов как структур данных существуют?

Рассмотрим разные способы классифицировать графы.

▪️По кратным рёбрам и петлям

• Обыкновенные графы: рёбра между двумя вершинами уникальны, петли отсутствуют. Например, транспортная сеть с единственным маршрутом между точками.
• Мультиграфы: допускают кратные рёбра, но без петель. Пример: транспортные сети с несколькими маршрутами между городами.
• Графы с петлями: рёбра могут соединять вершину саму с собой. Подходят для моделирования самоотношений, например, повторного взаимодействия пользователя с объектом.
• Пустые графы: графы без рёбер, только изолированные вершины. Встречаются в теории графов для анализа крайних случаев.

▪️По направленности рёбер

• Неориентированные графы: рёбра двусторонние. Например, социальные связи, где дружба взаимна.
• Ориентированные графы: рёбра имеют направление. Пример: денежные переводы между людьми, где важно указать отправителя и получателя.

▪️По связности

• Связные графы: от любой вершины можно добраться до любой другой. Пример: транспортная сеть, обеспечивающая доступ между всеми городами.
• Сильно связные графы: каждая вершина достижима из любой другой с учётом направлений рёбер. Пример: система внутренних сообщений в компании.
• Слабо связные графы: связность достигается при игнорировании направлений рёбер. Пример: подписки в социальных сетях.

▪️По полноте

• Полные графы: каждая пара вершин соединена рёбрами. Используются для анализа всех возможных связей, например, в задачах кластеризации данных.

#математика

📈 Четыре примера работы аналитиков: кейсы IT-компаний

Читайте нашу статью. В ней: аналитики крупных компаний рассказали Proglib о самых интересных кейсах, над которыми им приходилось работать.

🔗 Ссылка

Подготовься к собеседованию на позицию Data Scientist!

Профессия Data Scientist становится все более востребованной, и компании ищут специалистов, способных превращать данные в ценные инсайты. Но как успешно пройти техническое собеседование?

Мы собрали 10 типичных задач, которые могут встретиться на собеседовании, и эффективные подходы к их решению:

1. Внешнее и тензорное произведение

2. One-hot кодировка

3. Мониторинг осадков

4. Симуляция бросков кубиков в «Монополии»

5. Бурение скважин для добычи золота

6. Вычисление свертки

7. Бэктестинг торговой стратегии

8. Прогноз оттока клиентов с помощью логистической регрессии

9. Обнаружение спама с использованием дерева решений

10. Предсказание цен на квартиры с помощью линейной регрессии

Чтобы начать решать задачи, достаточно ответить на четыре простых вопроса по этой ссылке и получить доступ к вводным занятиям курса Математика для Data Science и 10 задачам.Подготовься к собеседованию на позицию Data Scientist!

Профессия Data Scientist становится все более востребованной, и компании ищут специалистов, способных превращать данные в ценные инсайты. Но как успешно пройти техническое собеседование?

Мы собрали 10 типичных задач, которые могут встретиться на собеседовании, и эффективные подходы к их решению:

1. Внешнее и тензорное произведение

2. One-hot кодировка

3. Мониторинг осадков

4. Симуляция бросков кубиков в «Монополии»

5. Бурение скважин для добычи золота

6. Вычисление свертки

7. Бэктестинг торговой стратегии

8. Прогноз оттока клиентов с помощью логистической регрессии

9. Обнаружение спама с использованием дерева решений

10. Предсказание цен на квартиры с помощью линейной регрессии

Чтобы начать решать задачи, достаточно ответить на четыре простых вопроса по этой ссылке и получить доступ к вводным занятиям курса Математика для Data Science и 10 задачам.

💪Вредные (или нет) советы по кодинг-интервью

Источник