Python & Data Science | Digest

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Размышления над алгоритмами поиска в задачах на Python

◉ Обзор библиотек Python для сетевого и графового анализа

◉ Путеводитель по миру NLP


📚 Почитать на досуге:

◉ ChatGPT пройдёт собеседование по Data Science вместо вас

◉ Трекинг множества объектов без разметки или как следить за пузырьками на производстве


🔈 Послушать на досуге:

◉ Выпуск подкаста "Данные люди" с тимлидами из команды BigData (Мегафон) и Александром Гусевым (ЦНИИОИЗ Минздрав РФ, Webiumed)

➖ Нужно ли разбираться в медицине, чтобы создавать продукты для этой отрасли?

➖ Насколько использование технологий DS врачом снижает риск позднего выявления заболеваний?

➖ Вопросы этики, моделирования и цифровизации в медицине.

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Туториал к автоматизации разметки изображений с использованием OpenCV

◉ Задача прогноза результатов Чемпионата мира 2022 FIFA простой моделью на Python

◉ Кейс организации разметки изображений в CVAT (Computer Vision Annotation Tool)


📚 Почитать на досуге:

◉ Обзор фреймворка Optuna — автоматизированного подбора гиперпараметров для ML-моделей


📺 Посмотреть на досуге:

◉ Запись выступления Сергея Маркова из SberDevices на «НеФоруме х Homo Science» о генеративных ИИ-моделях

➖ Направления развития современных ИИ-моделей

➖ Скорость появления новых нейросетей для решения повседневных задач

➖ Последние достижения ИИ в генерации музыки, изображений и текста

➖ Как повлияли графические карты с тензорными вычислителями на масштабирование моделей

➖ Прогноз периода появления нейросетей, сопоставимых с человеческим мозгом

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Туториал по работе с поверхностными и глубокими копиями в Python

◉ Задача на подсчёт суммы n-ого ряда пирамиды нечётных чисел

◉ Кейс группировки текстовых записей с помощью Python и CountVectorizer


📚 Почитать на досуге:

◉ Советы для написания чистого кода на Python

◉ Обзор проблемы уязвимостей моделей машинного обучения

◉ Прогнозирование продаж на Python. Как находить и сглаживать выбросы с помощью фильтра Хэмплея


🔈 Послушать на досуге:

◉ Подкаст с ML-специалистами Михаилом Бурцевым и Татьяной Шавриной о развитии, применении и перспективах ИИ

➖ Причины создания нейросетей и их развитии

➖ Что такое мультимодальность и мультизадачность

➖ Оценка уровня внедрения технологии ИИ в России по сравнению с другими странами

➖ Проблемы в машинном обучении, в том числе связанные с недостатком данных

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Задача коммивояжера (TSP) точное решение — метод динамического программирования

◉ Туториал по процессам и потокам в Python

◉ Пример использования двухсторонних очередей взамен списков и обзор преимуществ


📚 Почитать на досуге:

◉ К каким вопросам готовиться перед собеседованием на Python-разработчика

◉ Структура команды Data Science: ключевые модели и роли

◉ Кейс рекомендательной системы от Data Science команды Центра развития финансовых технологий Россельхозбанка


📺 Посмотреть на досуге:

◉ Видеоподкаст с Александром Петюшко из Nuro о роли и целях математики в Deep Learning:

➖ Знания из каких разделов математики и других областей науки могут пригодиться ML-специалистам

➖ Используется ли топологический анализ данных в Deep Learning

➖ Когда исследователи смогут широко применять квантовое машинное обучение

➖ Применяется ли в индустрии маломерная теория оптимизации объектов

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Сравнительный анализ Pandas и SQL

◉ Обзор 12 алгоритмов, которые неплохо бы знать каждому разработчику

◉ Примеры 8 паттернов проектирования для ML-разработчика


📚 Рецензии:

◉ Книга «Python. Исчерпывающее руководство»


📚 Почитать на досуге:

◉ Рассказ о сложностях python-разработчиков при внедрении машинного зрения в нефтехимическую индустрию

◉ Кейс нейросетевого анализа клинических, лабораторных и инструментальных данных для диагностики ишемической болезни сердца

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Освещение вопроса распределения памяти в Python в зависимости от типа данных

◉ Кейс восстановления старых фотографий с помощью нейросетей

◉ Обзор двух техник оптимизации гиперпараметров в моделях машинного обучения


📚 Рецензии:

◉ Книга «Знакомство с Python»

◉ Учебники по основам программирования от Яндекс


📺 Посмотреть на досуге:

◉ Интервью с Романом Душкиным из Агентства искусственного интеллекта о развитии и применении ИИ:

➖ Уровень развития существующих систем машинного обучения и ИИ-моделей

➖ Сложности, с которыми сталкиваются разработчики при дообучении ИИ

➖ Особенности разработки интеллектуальных транспортных систем

➖ Необходимость в регулировании использования искусственного интеллекта

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Обзор 10 не самых известных итераторов в Python

◉ Рассуждения о пользовательских исключениях в Python

◉ Пример аннотирования изображений в OpenCV


📚 Рецензии:

◉ Обзор книги «Начинаем программировать на Python»


📺 Посмотреть на досуге:

◉ Лекция Татьяны Шавриной из «Сбера» и AIRI о возможностях ИИ и будущем нейросетей:

➖ Тренды развития нейросетей, которые связаны с ростом параметров, слоев, требовательностью к вычислительным ресурсам и др.

➖ Связь между качеством и масштабированием нейросетей

➖ Прогноз возможного плато, когда конечный результат не будет зависеть от сложности нейросетейвых моделей

➖ Обзор фундаментальных моделей

➖ История с экс-сотрудником Google, который заявил о признаках сознания у искусственного интеллекта

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Решение задачи поиска числа Пи, используя генератор псевдослучайных чисел

◉ Настройка нейронной сети с помощью библиотеки Keras

◉ Кейс обработки линии горизонта на фотографиях городской панорамы


📚 Рецензии книг:

◉ Книга «PyTorch. Освещая глубокое обучение»


📺 Посмотреть на досуге:

◉ Институт искусственного интеллекта AIRI опубликовал доклады, которые были представлены в рамках серии митапов, где рассматривались вопросы применения ИИ в промышленности:

➖ Искусственный интеллект в Индустрии 5.0

➖ Индустриальный искусственный интеллект в нефтедобывающей промышленности

➖ Нейросетевые модели в поиске новых функциональных материалов

➖ Гибридное моделирование с использованием ИИ в задачах предиктивной аналитики промышленного оборудования

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Гайд по магическим методам в Python

◉ Обзор применения библиотек BeautifulSoup4 и Asyncio для нужд веб-скрэпинга

◉ Разбор задачи по распознаванию дорожных знаков на кадрах с автомобильного видеорегистратора



📺 Посмотреть на досуге:

◉ Видеоинтервью с Еленой Еричевой из Botkin.AI о применении ИИ в медицине:

➖ О сложностях с распознаванием медицинских изображений из-за большого числа серых оттенков

➖ Проблемах адаптации данных и переобучении ИИ-моделей в связи с COVID-19

➖ Причины малого количества медицинских датасетов и их неуниверсальность

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Руководство по множествам в Python

◉ Мануал по анализу временных рядов

◉ Рецензия на книгу «Искусственный интеллект и компьютерное зрение. Реальные проекты на Python, Keras и TensorFlow»



📚 Почитать на досуге:

◉ Интервью с представителями IT-профессий, в которых специалисты рассказывают о тонкостях своей работы: плюсах, минусах, подводных камнях и заработной плате.

Джунам и стажерам она поможет больше узнать о том, что их ожидает на карьерном пути, а профессионалам — посмотреть на свою специальность через чужой опыт и, может быть, открыть для себя что-то новое.

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Кейс для начинающих по анализу статистики работающих и безработных людей с проверкой гипотез

◉ Подборка 10 лучших практик для Python

◉ Кейс распознавания жестового языка с помощью глубокого обучения


📺 Посмотреть на досуге:

◉ Лекция Михаила Лазарева из лаборатории методов анализа больших данных НИУ ВШЭ о направлениях развития ИИ

➖ вариации генеративных моделей
➖ проблемы обучения нейросетей
➖ появление новых архитектур
➖ правовое регулирование
➖ и др.

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Обзор 4 пакетов Python для причинно-следственного анализа данных

◉ Подборка 10+ книг по аналитике данных для начинающих и не только



📚 Почитать на досуге:

◉ Статья о том, как «думает» нейронная сеть VGG-19, когда ей прилетает задача скопировать стиль художника из вида Homo sapiens

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Представление о 5 классических алгоритмах машинного обучения

◉ Лонгрид о расчёте и анализе корреляционного отношения в экосистеме Python

◉ Обзор четырёх функции для быстрой работы с большими данными


📺 Посмотреть на досуге:

◉ Видеоподкаст о профессии Data Scientist с руководителем профильного центра компетенции МТС — Евгением Макаровым

➖ отсутствие единой шкалы для оценки специалистов
➖ этапы роста
➖ влияние релевантного опыта при трудоустройстве
➖ особенности работы в российских и зарубежных компаниях
➖ проблемы сообщества
➖ причины отказа после собеседования

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Введение в нейронные сети для начинающих

◉ Пример восстановления отсутствующих данных в датасете

◉ Ответы на общие вопросы о графовых нейронных сетях на основе библиотеки Spektral


📚 Почитать на досуге:

◉ Статья о насущном — что такое пет-проект по анализу данных и с чем его едят

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Туториал обработки изображений подобно фоторедактору при помощи библиотеки Pillow

◉ Кейс по реализации функции Drag-and-Drop — перемещение объектов на экране жестами руки, используя компьютерное зрение

◉ Разбор алгоритма вычисления расстояния Левенштейна


📚 Почитать на досуге:

◉ Перевод статьи от команды VK Cloud Solutions о том, что делать с дрейфом данных и концепций: откуда берутся проблемы, как их распознать и предотвратить


📺 Посмотреть на досуге:

◉ Видеоразбор задачи сегментации клиентов на практическом примере от Senior Data Scientist

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Разбор слепого алгоритма «поиск в ширину» в задаче с лабиринтом

◉ Пара кейсов поиска объектов на фото и видео с помощью компьютерного зрения (библиотека OpenCV)

◉ Инжиниринг признаков в предварительной обработке данных


📚 Почитать на досуге:

◉ Подборка книг по Python 2021-2022 годов от начинающего до профи

◉ Статья о применении машинного обучения в сталелитейной промышленности


📺 Посмотреть на досуге:

◉ Видеозапись сессии медицинского конгресса об автономном ИИ в клинической практике.

В ходе обсуждения участники затронули регуляторику ИИ в здравоохранении, барьеры для внедрения ИИ-решений, взаимодействие разработчиков и врачей.

Эксперты рассказали, что необходимо сделать сегодня, чтобы быть готовыми к появлению «сильного» ИИ в будущем.

#разбор_задач
#python
#numpy
#линейная_алгебра


Салют, друзья!
Разбор задачи с новой темой от нашего куратора 😉

➖ Тема:
Системы линейных уравнений в NumPy

➖ Уровень:
Начинающий

➖ Задача:
Поиск минимального расстояния от точки до прямых

#еженедельная_подборка
#data_science
#python


📎 Материал для развития:

◉ Кейс по распознаванию мошенников в первые минуты телефонного разговора при помощи машинного обучения

◉ Обзор трёх библиотек для генерации синтетических данных — Faker, SDV и Gretel

◉ Алгоритм параллельной обработки и преобразования JSON-файлов в Pandas, сокращающий в 5 раз время на операцию


📚 Почитать на досуге:

◉ Пособие из 7 шагов по подготовке датасета изображений, от качества которого зависит точность определения объектов и время на обучение модели

◉ Проект на тему управления громкостью звука жестами руки, применяя технологию компьютерного зрения


📺 Посмотреть на досуге:

◉ Видеоподкаст с Михаилом Бурцевым — директором по фундаментальным исследованиям Института искусственного интеллекта AIRI. Затронуты темы рынка Data Science, развития NPL, этических проблем больших моделей и как ИИ изменит человеческую занятость в ближайшее время