DataWorkshop - AI & ML

А так выглядит мой новый офис (сегодня 😂).

На самом деле очень удобно, когда офис перемещается вместе с тобой (как и твоя работа). Хоть в шалаше можно ее делать, самое важное и так просходит в голове.

Поставь огонек 🔥 и будут тоже иногда посты про лайфаки и про жизнь.

P.S.  Кстати, чтобы было понятно, это место где начинает ML работать и давать прибыль нашим партнерам и даже большие LLM модели - тюнятся весьма хорошо. 😎

📊 Начало пути в Data Science 📚
Если хочешь погрузиться в мир Data Science, начать учиться и достичь впечатляющих результатов, вот несколько ключевых шагов:

1️⃣ Познакомься со статистикой. Она является основой многих алгоритмов в Data Science. В DataWorkshop есть отдельный курс по статистике.

2️⃣ Освой программирование: Начните с Python, он наиболее распространен в сообществе Data Science. Изучи основные библиотеки для анализа данных, такие как Pandas, Numpy, и Matplotlib. В DataWorkshop есть отдельный курс по Python.

3️⃣ Познакомься с алгоритмами машинного обучения: изучи различные типы алгоритмов, такие как регрессия, классификация, кластеризация и нейронные сети. Понимание их принципов поможет эффективно применять их на практике. В DataWorkshop это можно изучить на курсе по Data Science и нейронным сетям.

4️⃣ Применяй на практике: Работай с реальными данными, участвуй в проектах и соревнованиях по анализу данных, таких как Kaggle. Практика поможет закрепить теорию и позволит Тебе развиваться как специалисту. В DataWorkshop практику можно получить как на курсах (при работе с реальными данными), так и в клубе 💪

5️⃣ Общайся с сообществом: Присоединяйся к сообществу DataWorkshop, где обсуждаются темы Data Science.

Не забывай, что Data Science - это постоянный процесс обучения и развития. Ставь перед собой конкретные цели, стремись к ним и не бойся испытывать новые подходы.

А здесь в коротком видео отвечаю на вопрос, относящийся к этой теме 🙂

@data_work

🏦 Как машинное обучение (ML) меняет банковскую сферу? 🤖💼

🌐 В наше время банковская сфера сталкивается с огромными объемами данных, сложными регуляторными требованиями и постоянно меняющимися потребностями клиентов.

В таких условиях машинное обучение становится незаменимым инструментом для банков, помогающим преодолеть вызовы и сделать множество процессов более эффективными и точными. 👩‍💻📊

✨ Как ML изменяет банковскую индустрию? ✨
1️⃣ Кредитный скоринг и решение о выдаче кредитов: Машинное обучение позволяет банкам анализировать большие объемы данных и создавать модели, которые могут более точно оценить кредитоспособность клиентов и принимать решения о выдаче кредитов.

2️⃣ Обнаружение мошенничества: Машинное обучение помогает банкам выявлять аномалии и подозрительные события в данных, что позволяет оперативно реагировать на потенциальные мошеннические действия и обеспечивать безопасность клиентов.

3️⃣ Персонализированное обслуживание: С помощью машинного обучения банки могут анализировать данные клиентов и предлагать индивидуальные рекомендации и услуги, соответствующие их потребностям и предпочтениям. Это помогает повысить удовлетворенность клиентов и улучшить клиентский опыт.

4️⃣ Автоматизация процессов: Машинное обучение позволяет банкам автоматизировать рутинные и повторяющиеся задачи, такие как обработка документов, снижая риск ошибок и улучшая оперативность.

5️⃣ Прогнозирование и управление рисками: Машинное обучение помогает банкам проводить анализ данных и создавать модели для прогнозирования рисков и оптимизации управления портфелем, что способствует принятию более обоснованных решений.

💡 ML становится сильным союзником банков, позволяя им преодолеть сложности и получить преимущество в современной конкурентной среде. Это всего лишь некоторые примеры того, как банки используют машинное обучение для трансформации своей деятельности.

А в этом видео отвечаю на вопрос - на каких курсах обучаться ML для работника в финансовой сфере (и не только в финансовой сфере ).

Каково же решение?
1. Осознай, что просто сбор большого количества данных (так называемых больших данных) обычно порождает больше неопределенностей (и это нормально, это просто факт, мы не используем их в качестве исходных данных в производстве)...

2. Можешь собрать много данных. Но важным шагом является построение процесса дистилляции больших данных в золотые данные, которым можно доверять (в DataWorkshop мы называем их Trusted Data, дело не в размере). Этот процесс - самая большая проблема (кстати, с привлечением ML, а не только человеческого мышления, и это не только про обычный "шум").

3. Думай про это как про итерационный процесс: пробуй, терпи неудачи, учись и продолжай двигаться вперед.

Большие данные = большие неопределенности (НЕ большая ценность) 🤔.

До сих пор существует большой миф о ценности, которую можно извлечь из больших данных. Давай лучше разберемся, почему это обычно действительно сложно и приносит больше затрат, чем пользы.

Во-первых, нужно помнить, что одна из самых больших проблем при работе с данными - это неопределенность. В бизнесе (даже при выручке в 100 тыс. долл.) неопределенностей очень много.

Несмотря на то что "золотые" данные могут помочь найти ценные сведения и способствовать принятию более эффективных решений, переизбыток собранных данных зачастую порождает больше неопределенности (в результате чего возникает двусмысленность, когда соответствующая информация имеется, но общий смысл остается неизвестным), чем ясности. Но почему?

Краткий ответ:
GIGO (англ. garbage in, garbage out «мусор на входе — мусор на выходе»)

Что дальше?
Существует еще один миф и гонка за сбором "правильных" данных. Почему плохо собирать правильные данные 🤔?

На самом деле правильные данные - это не плохо, но... проблема заключается в том, чтобы понять, для кого они "правильные"? Как расставить приоритеты: какие данные "правильные", а какие нет? Как определить, какие данные работают лучше без предварительного тестирования моделей (а какие применять модели ML, они ведь все время улучшались)?

Почему проблема заключается лишь в том, чтобы время от времени добавлять "очередные нужные данные"? Например, сегодня Ты собираешь данные A и B, а завтра выясняется, что Тебе нужны еще и данные C.

Где проблема? Проблема во времени. Когда начинаешь собирать данные, у Тебя всегда есть начальная точка (иногда можно попытаться найти исторические данные каким-либо способом, но такой подход полон ошибок и подводных камней).

Поэтому, чтобы извлечь из них максимальную пользу (использовать ML-модель и т.д.), обычно необходимо иметь исторические данные.

🔥 Мир найма переживает быстрые изменения, поскольку искусственный интеллект широко внедряется в различные отрасли.

Согласно недавнему опросу, проведенному американской компанией Resume Builder и описанному в Fox Business, уже 10% компаний используют AI-собеседования при отборе кандидатов.

Однако, что еще более удивительно, ожидается, что к 2024 году этот показатель значительно вырастет и составит более 43% компаний.

🤖 Но прежде чем Ты подумаешь, что придется сталкиваться только с ботами на собеседованиях, стоит отметить, что компании не планируют полностью передать решение о приеме на плечи искусственного интеллекта.

Согласно тому же отчету, 80% AI-собеседований используются для предварительного отбора кандидатов, а всего 15% оказывают влияние на окончательное решение.


⚡ Цель использования AI-собеседований заключается в повышении эффективности и оптимизации всего процесса подбора персонала. Как известно всем, кто проходил через процесс собеседования, компании могут различаться по эффективности этапов отбора.

Еще одной причиной, почему искусственный интеллект не займет весь процесс, является опасение возможных предвзятостей.

А по ссылке ниже можно посмотреть ответ на вопрос - сколько нужно учиться на Data Scientist-a 🙂 https://youtu.be/MVPAt7I09U4

@data_work

К последнему видео-ответу - “Какой процент задач можно решить с помощью машинного обучения” поступил такой вопрос:

А в embed-разработке какие задачи с помощью машинного обучения можно решать?

Отвечаем:
Если речь идет о маленьких компьютерах, таких как встраиваемые системы (embedded systems), то машинное обучение также может быть использовано для решения различных задач. Вот некоторые из них:

✔️Классификация и распознавание: Машинное обучение может использоваться для классификации и распознавания объектов или образцов в реальном времени на встраиваемых системах. Например, система видеонаблюдения может использовать машинное обучение для распознавания лиц или обнаружения объектов.

✔️Прогнозирование и предсказание: Машинное обучение может помочь в создании моделей, которые могут анализировать данные и предсказывать будущие значения или события. Например, встраиваемая система умного дома может использовать машинное обучение для прогнозирования энергопотребления или оптимизации ресурсов.

✔️Оптимизация и управление: Машинное обучение может помочь в разработке алгоритмов оптимизации и управления встраиваемыми системами. Например, в автономных роботах машинное обучение может быть использовано для оптимизации маршрутов или адаптивного управления движением.

✔️Анализ сигналов и обработка данных: Машинное обучение может быть применено для анализа сигналов и обработки данных на встраиваемых системах. Например, в медицинском оборудовании машинное обучение может помочь в анализе сигналов ЭКГ или обработке изображений для диагностики.

✔️Определение аномалий: Машинное обучение может использоваться для обнаружения аномалий или необычных ситуаций в работе встраиваемых систем. Например, система мониторинга может использовать машинное обучение для обнаружения нештатных ситуаций или возможных сбоев.

Встраиваемые системы с машинным обучением могут быть полезны во многих областях, от медицины и промышленности до автомобильной промышленности и умного дома. Они позволяют создавать более интеллектуальные и автономные системы, способные принимать решения и адаптироваться к изменяющимся условиям.

Вопрос №4 - какой процент задач можно решить с помощью анализа данных и при помощи машинного обучения?

Ссылка на ответ здесь ​​👉 https://youtu.be/5Rw8-x97ISY

Вопрос №3 - машинное обучение и искусственный интеллект - это одно и то же?
Ссылка на ответ здесь ​​👉 https://youtu.be/sl2bPV5hh0k

Вопрос № 2 - Нужно ли знать английский язык Data Scientist-у
👉 https://youtu.be/G6F07a8ScbM

Мы запускаем рубрику с ответами на самые популярные вопросы.

Вопрос № 1 - Может ли гуманитарий работать в Data Science
👉 https://youtu.be/Q08eDUQBB4U

В прошлом посте я создавал такой опрос - “Я хочу начать работать в DS/ML и сейчас буксую на…”
Большинство ответили - “Нужна помощь, чтобы понять - куда бежать и что делать”.

⚠️Мы решили сделать эксперимент. Я возьму в группу от 1 до 3 человек (больше пока не могу), для которых проведу мастермайнд. Скорее всего это будут видеосозвоны, где я узнаю какая точка A на текущий момент и подскажу, как прийти в точку B. Разберем по полочкам- какие конкретно шаги необходимо предпринять, чтобы начать свою карьеру в сфере Data Science.

Что нужно, чтобы поучаствовать в таком эксперименте - просто заполни✔️ эту анкету, а мы отберем несколько человек и свяжемся.

Участие бесплатно. Оставляй свои данные в анкете - это ни к чему Тебя не обязывает, но есть шанс получить мою личную консультацию, чтобы начать делать конкретные практические шаги.

📊🔍 Данные
✨ В Data Science, данные играют важную роль в понимании мира вокруг нас. Давай поговорим о двух ключевых типах данных - качественных и количественных! ✨

💡 Качественные данные - это описательная информация, которая помогает понять контекст и качественные аспекты исследуемого явления. Они дают представление о субъективном опыте, мнениях и мотивах, позволяя объяснить причины тенденций и обеспечить контекст исследования.

💡 Количественные данные - это числовая информация, которая позволяет проводить объективные измерения и сравнения. Количественные данные используют для выявления тенденций и закономерностей, а также для проведения статистического анализа.

🔎 Оба типа данных играют важную роль в Data Science:
✅ Качественные данные помогают понять причины и объяснить тенденции, обогащая исследование субъективными аспектами.
✅ Количественные данные предоставляют объективные факты и цифры, которые позволяют выявлять закономерности и проводить точный анализ.

Количественные данные используют для выявления тенденций и закономерностей, а качественные данные помогают объяснить причины этих тенденций и обеспечивают контекст.

🔥 В Data Science, сочетание этих двух типов данных открывает двери к глубокому пониманию и принятию обоснованных решений! 🔥

@data_work

Кстати, уже почти собрали 50+ огоньков, ждешь? 🥳

🔔 Сегодня последний день акции! 🎁

Оформляй подписку в наш закрытый клуб и получи в подарок курс "Практическое введение в статистику для Data Science"! 📊

Этот курс разработан специально для тех, кто хочет получить практические знания в статистике без сложных и запутанных формул.

Тебе предстоит изучить статистику на основе реальных примеров, применять ее в Data Science и писать код на Python уже с первых уроков.

И самое замечательное - Тебе не нужно ничего устанавливать, потому что мы подготовили специальную среду для обучения.

Для начинающих у нас есть пошаговое видео с подробными объяснениями. Обучайся в удобном для себя темпе.

Не упусти эту уникальную возможность обрести практическое понимание статистики и сделать первый шаг к успеху в Data Science! 🚀

Акция действует только до конца сегодняшнего дня, поэтому не откладывай решение.

Присоединяйся к нашему клубу и получи ценный подарок - курс по статистике. Расширяй свои знания и навыки уже сейчас!

💡 Оформи подписку и получи доступ к курсу прямо сейчас💡

@data_work

🔍 Почему сейчас такое пристальное внимание к языковой модели LLM! 🔍

1️⃣ Невероятная гибкость: Языковые модели LLM, такие как GPT-3/4, предлагают огромное количество возможностей в области генерации текста. Они способны создавать высококачественный и связный контент, который похож на то, что может написать человек.

2️⃣ Широкий спектр применений: LLM используются в различных областях, включая генерацию контента для новостных статей, создание диалоговых систем, помощь в разработке приложений, перевод текстов и многое другое. Их универсальность и применимость делают их ценными инструментами для различных задач.

3️⃣ Непрерывное развитие: Технология LLM находится в стадии активного развития и постоянно совершенствуется. Компании и исследователи по всему миру работают над улучшением этих моделей, чтобы повысить их качество и точность.

4️⃣ Простота использования: LLM предоставляют простой и удобный способ генерации текста. Они не требуют глубоких знаний в области искусственного интеллекта или программирования, что делает их доступными для широкой аудитории пользователей.

5️⃣ Инновационный потенциал: Языковые модели LLM открывают двери для новых возможностей и инноваций. Они могут помочь улучшить процессы автоматизации, снизить нагрузку на людей в выполнении повторяющихся задач и дать новый импульс для развития интеллектуальных систем.

Поэтому неудивительно, что сегодня наблюдается такое пристальное внимание к языковым моделям LLM. Они представляют огромный потенциал для преобразования нашего способа взаимодействия с компьютерами и расширения возможностей искусственного интеллекта.🌟

@data_work