Big Data Science [RU]

📝💡🔎Подборка датасетов для автопилотов
Berkeley DeepDrive BDD100k - Один из наибольших датасетов для автопилотов. Включает более 100 тыс. видео с более чем тысячью часами записей вождения в различное время суток и в разных погодных условиях
Baidu Apolloscapes - датасет для распознавания 26 семантически разных объектов типа машин, зданий, пешеходов, велосипедов уличных фонарей и т. п
Comma.ai. - больше 7 часов езды по шоссе. В датасете содержится информация о скорости машины, GPS-координатах, ускорении, угле поворота руля
Oxford’s Robotic Car - больше ста повторений одного маршрута по Оксфорду, заснятого в течение года. В датасете есть разные комбинации трафика, пешеходов, погодных условий, а также дорожные работы
Cityscape Dataset - записи ста уличных сцен в пятидесяти городах

⚡️📝💡Платформы для разметки данных под задачи компьютерного зрения
VoTT — это бесплатный инструмент с открытым исходным кодом для аннотирования изображений, разработанный Microsoft. Он обеспечивает комплексную поддержку для создания наборов данных и проверки моделей обнаружения объектов на основе видео и изображений.
LabeIimg - это инструмент графического аннотирования изображений для маркировки объектов с помощью прямоугольников (Bounding Box). Он написан на Python. Размеченные данные экспортируются файлами XML в формате PASCAL VOC.
Labelme - онлайн-инструмент для аннотации данных, созданный Лабораторией компьютерных наук и искусственного интеллекта Массачусетского технологического института. Labelme поддерживает шесть различных типов аннотаций: многоугольники, прямоугольники, круги, линии, точки и линейные полосы.
DataLoop — универсальная облачная платформа для разметки со встроенными инструментами и средствами автоматизации для создания высококачественных обучающих датасетов.
Supervise.ly — это веб-платформа для аннотирования изображений и видео со своим комьюнити. Исследователи и большие группы могут аннотировать и экспериментировать с датасетами и нейронными сетями.

🤖🔥⚡️Немного малоизвестных, но достаточно полезных DL-библиотек на Python
Sketch - использует алгоритмы машинного обучения для понимания контекста пользовательских данных и предоставляет соответствующие предложения по коду. Также Sketch может автоматизировать повторяющиеся задачи, находить ошибки и предлагать исправления, анализировать кодовую базу и предлагать предложения по оптимизации.
MLxtend - включает такие модули как классификатор, кластеризатор, методы оценки, извлечение признаков,предварительная обработка, методы визуализации и т.д. Данный инструмент можно использовать как основной инструмент для задач машинного обучения или в качестве дополнения и вспомогательного инструмента к другим более известным DL-библиотекам
Rembg - библиотека, которая легко поможет удалить фон с изображений. Она использует модели глубокого обучения, предварительно обученные на больших наборах данных.

😎⚡️💥Топ малоизвестных, но достаточно полезных Python-библиотек для анализа Big Data
Pattern - предназначена для извлечения данных в интернете, естественной обработки языка, машинного обучения и анализа социальных сетей. Среди инструментов есть поисковик, API для Google, Twitter и Wikipedia и алгоритмы текстового анализа, которые могут выполняться несколькими строками кода.
SciencePlots - это библиотека, которая предоставляет стили для библиотеки Matplotlib, чтобы получить профессиональные графики для презентаций, исследовательских работ и т.д.
Pgeocode - модуль геокодирования Python, который создан для обработки географических данных и помогает объединять и сопоставлять различные данные. С помощью модуля pgeocode можно получать и предоставлять информацию, связанную с регионом или областью, используя информацию о почтовом индексе. Также поддерживаются расстояния между двумя почтовыми индексами.
pynimate - модуль для анимации линейных графиков статистических данных

⚡️💡Бесплатный инструмент для визуализации данных путей пользователей
MyTracker — мультиплатформенная система аналитики и атрибуции для мобильных приложений и сайтов. Данный сервис также является инструментом для сбора и обработки данных о маркетинговой активности и действиях пользователей в приложении и на сайте. MyTracker работает бесплатно, без ограничений на объём и срок хранения данных. Основные составляющие MyTracker:
1. SDK — программной библиотеки для трекинга мобильных приложений.
2. Веб-счётчик для трекинга данных на сайтах.
3. Веб-интерфейс для создания рабочего окружения, просмотра и выгрузки аналитических отчётов.

📝🔎Каппа-архитектура Big Data: преимущества и недостатки
Каппа-архитектура представляет собой стройную модель обработки данных, где все данные рассматриваются как последовательный поток событий.
K-архитектура находит свое применение в сценариях, где:
1. Необходимо управление очередью событий и запросов в распределенной файловой системе
2. Высокая доступность и устойчивость критичны, так как обработка данных происходит на каждом узле системы.
Например, Apache Kafka, как эффективный брокер сообщений, удовлетворяет эти требования, предоставляя высокопроизводительную, надежную и масштабируемую платформу для сбора и агрегации данных. Таким образом, Каппа-архитектура, построенная на основе Kafka, идеально подходит для проектов, аналогичных LinkedIn, где необходимо эффективно обрабатывать и сохранять обширные объемы информации для обслуживания множества одновременных запросов.
Достоинства Каппа-архитектуры в Big Data:
1. Масштабируемость: архитектура легко масштабируется горизонтально, что позволяет обрабатывать большие объемы данных. Это особенно важно в условиях растущего объема информации, с которым сталкиваются многие предприятия.
2. Низкая задержка: системы, построенные на основе Каппа-архитектуры, способны обеспечивать низкую задержку в обработке данных. Это важно для задач, где требуется оперативная реакция на изменения в данных.
3. Простота обновлений: поскольку данные обрабатываются в режиме реального времени, внесение изменений в обработку данных становится проще. Это облегчает развертывание новых версий и обновлений системы.
4. Поддержка сложных аналитических задач: Каппа-архитектура подходит для сложных аналитических задач, таких как машинное обучение в режиме реального времени, анализ аномалий и другие. Она обеспечивает возможность быстрого реагирования на изменения в данных.
Недостатки Каппа-архитектуры в Big Data:
1. Дублирование данных: одним из основных недостатков является дублирование данных. Поскольку данные сначала попадают в хранилище "сырых" данных, а затем проходят через обработку, это может привести к избыточному использованию ресурсов хранения.
2. Сложности в управлении схемами данных: поскольку данные поступают в систему в "сыром" формате и затем преобразуются, управление схемами данных может стать сложной задачей, особенно при изменениях в структуре данных.
3. Требования к ресурсам: обработка данных в реальном времени может потребовать значительных вычислительных ресурсов. Это может быть вызовом для организаций с ограниченными бюджетами.
Таким образом, Каппа-архитектура вносит значительный вклад в развитие области Big Data, обеспечивая эффективную обработку данных в режиме реального времени. Однако, как и любая архитектура, она имеет свои достоинства и недостатки, которые следует учитывать при выборе подходящего решения для конкретного проекта.

Hightouch - платформа, которая позволяет синхронизировать данные из хранилищ с инструментами CRM, маркетинга и клиентской поддержки.
Census - платформа оперативной аналитики, которая синхронизирует хранилище данных с разными приложениями.
Octolis – облачный сервис, позволяющий отделам маркетинга и продаж легко развертывать сценарии использования, активируя свои данные в своих операционных инструментах.
Grouparoo - обратный ETL с открытым исходным кодом, который легко запускается на ноутбуке или в облаке, позволяя разрабатывать локально, фиксировать изменения и развертывать.
Polytomic – ETL-решение, позволяющее за пару минут создавать в реальном времени все необходимые данные о клиентах в Marketo, Salesforce, HubSpot и других бизнес-системах.
RudderStack - платформа клиентских данных для разработчиков, где инструменты обратного ETL упрощают развертывание конвейеров, собирающих данные о клиентах из каждого приложения, веб-сайта и SaaS-платформ, чтобы активировать их в DWH и в прикладных системах.

💥📝📊Архив из 32 датасетов, которые можно использовать для практики своих навыков
Data Science Dojo создал архив из 32 наборов данных, которые можно использовать для практики и улучшения своих навыков специалиста в области Data Science.
В репозитории представлен широкий спектр тем, уровней сложности, размеров и атрибутов. Наборы данных распределены по категориям в соответствии с различными уровнями сложности, чтобы соответствовать различным уровням подготовки.
Датасеты предлагают возможность получить практические знания для повышения своих навыков в таких областях, как исследовательский анализ данных, визуализация данных, обработка данных, глубинное обучение и др.

💥💯💡В сети появилась новая open-source библиотека для работы с данными
Cleanlab - библиотека, которая помогает очищать данные и метки, автоматически обнаруживая проблемы в наборе данных машинного обучения. Чтобы облегчить машинное обучение на беспорядочных реальных данных, этот пакет ИИ, ориентированный на данные, использует существующие модели для оценки проблем в наборах данных, которые можно исправить для обучения еще более лучших моделей.
В итоге, данная ИИ-библиотека выполняет следующие функции:
1. Обнаружение распространенных проблем с данными (неправильное наложение меток, пропуски, дубликаты, дрейф)
2. Настройка и тестирование обучаемой модели
3. Проводить активное обучение моделей

💡🤔Обзор Grouparoo: преимущества и недостатки
Grouparoo - это инструмент управления данными, который обеспечивает автоматизированный процесс сбора, обработки и синхронизации данных между различными приложениями и источниками данных.
Преимущества Grouparoo:
1. Автоматизация процессов синхронизации данных: Grouparoo предоставляет возможность создавать правила для автоматической синхронизации данных между различными источниками. Это сокращает ручной труд и позволяет поддерживать актуальность данных в реальном времени.
2. Гибкость и настраиваемость: Инструмент позволяет пользователю настраивать правила синхронизации в соответствии с уникальными потребностями и структурой данных организации. Гибкая настройка делает Grouparoo мощным инструментом для различных бизнес-сценариев.
3. Улучшенная точность данных:
Автоматизированный процесс синхронизации данных помогает предотвращать ошибки, связанные с ручным вводом данных, и обеспечивает более высокую точность данных в различных системах.
4. Интеграция с различными источниками данных: Grouparoo обеспечивает поддержку интеграции с различными приложениями и источниками данных, что позволяет управлять данными из различных источников в едином формате.
Недостатки Grouparoo:
1. Сложность настройки: Иногда процесс настройки Grouparoo может быть сложным, особенно для пользователей без технического опыта. Это может потребовать времени и усилий для полноценной реализации инструмента.
2. Необходимость технического понимания: Для полноценного использования Grouparoo требуется понимание технических аспектов синхронизации данных и настройки правил, что может быть вызовом для пользователей без соответствующего опыта.
3. Зависимость от сторонних источников данных: Grouparoo зависит от доступности и структуры данных в сторонних приложениях. Проблемы с этими источниками могут повлиять на эффективность работы инструмента.
В целом, Grouparoo представляет собой мощный инструмент для управления данными, который может значительно упростить процессы синхронизации и обработки данных. Однако, перед использованием, важно внимательно взвесить преимущества и недостатки, учитывая специфику и потребности конкретной организации.

🌎ТОП декабрьских ивентов в Data Science
1 декабря - TeamLead Conf ++ 2023 - Москва, Россия - https://free-track.teamleadconf.ru/
1-3 декабря - Phystech GigaChat Challenge - Москва, Россия - https://gigachat-challenge.tech/
2-3 декабря - Yandex Cup - Алматы, Казахстан - https://yandex.ru/cup/
4-15 декабря - Yandex DataLens Festival - Онлайн - https://cloud.yandex.ru/datalens-festival
4-25 декабря - Brand Analytics ML Сontest - Онлайн - https://ba-contest.ru/
5-6 декабря - YaTalks 2023 - Москва, Россия - https://yatalks2023.com/ru
8 декабря - Conversations 2023 - Москва, Россия - https://conversations-ai.com/

😎🔎Подборка полезных OLAP-сервисов для обработки Big Data
Apache Druid - движок OLAP в реальном времени. Он ориентирован на данные временных рядов, но может использоваться для любых данных. Он использует свой собственный столбчатый формат, который может сильно сжимать данные, и он имеет множество встроенных оптимизаций, таких как инвертированные индексы, кодирование текста, автоматическое сворачивание данных и многое другое.
Apache Pinot - предлагает меньшую задержку благодаря индексу Startree, который выполняет частичное предварительное вычисление, поэтому его можно использовать для приложений, ориентированных на пользователя (он использовался для получения лент LinkedIn). Здесь используется отсортированный индекс вместо инвертированного, который работает быстрее.
Apache Tajo - разработан для выполнения специальных запросов с малыми задержкой и масштабируемостью, онлайн-агрегирования и ETL для больших наборов данных, хранящихся в HDFS и других источниках данных. Он поддерживает интеграцию с Hive Metastore для доступа к общим схемам.
Solr - очень быстрая платформа корпоративного поиска с открытым исходным кодом, построенная на Apache Lucene. Solr является надежным, масштабируемым и отказоустойчивым инструментом, обеспечивая распределенное индексирование, репликацию и запросы с балансировкой нагрузки, автоматическое переключение при отказе и восстановление, централизованную настройку и многое другое
Presto - платформа от Facebook с открытым исходным кодом. Это распределенный механизм SQL-запросов для выполнения интерактивных аналитических запросов к источникам данных любого размера. Presto позволяет запрашивать данные там, где они находятся, включая Hive, Cassandra, реляционные базы данных и файловые системы. Она может выполнять запросы к большим наборам данных за секунды. Presto не зависит от Hadoop, но интегрируется с большинством его инструментов, особенно с Hive, для выполнения SQL-запросов.

📝Немного о ClickHouse: преимущества и недостатки
ClickHouse - это колоночная база данных с открытым исходным кодом, предназначенная для обработки аналитических запросов с большим объемом данных.
Преимущества ClickHouse:
1. Высокая производительность: ClickHouse оптимизирована для выполнения аналитических запросов над большими объемами данных. Она обеспечивает высокую скорость выполнения запросов благодаря своей колоночной структуре данных и другим оптимизациям.
2. Масштабируемость: ClickHouse легко масштабируется горизонтально, позволяя добавлять новые узлы кластера для обработки растущего объема данных.
3. Эффективное использование ресурсов: Благодаря колоночной ориентации и сжатию данных, ClickHouse может эффективно использовать ресурсы хранения, что уменьшает потребление дискового пространства.
4. Низкие накладные расходы на операции чтения: Благодаря структуре данных и оптимизациям, ClickHouse обеспечивает высокую производительность при выполнении операций чтения.
Недостатки ClickHouse:
1. Ограниченная поддержка транзакций: ClickHouse ориентирована на аналитические запросы и не обладает полной поддержкой транзакций, что может быть недостатком для приложений, требующих сильной согласованности данных.
2. Ограниченная поддержка операций записи: ClickHouse предназначена прежде всего для чтения данных, и операции записи могут быть менее эффективными по сравнению с другими системами управления базами данных при больших объемах изменений.
3. Недостаточная поддержка индексации: ClickHouse имеет ограниченную поддержку индексации по сравнению с некоторыми другими СУБД, что может повлиять на производительность операций поиска.
4. Сложность в обслуживании и настройке: Настройка ClickHouse может потребовать определенных навыков и понимания ее архитектуры, что может сделать ее менее привлекательной для менее опытных администраторов.
В целом, выбор ClickHouse зависит от конкретных потребностей проекта. Если задачи связаны с аналитикой и обработкой больших объемов данных, ClickHouse может быть отличным вариантом. Однако, если необходимы транзакции и операции записи с высокой степенью согласованности, стоит рассмотреть другие решения.

💥😎Подборка открытых датасетов по различным областям
Данная подборка представляет собой список открытых датасетов высокого качества для машинного обучения, временных рядов, NLP, обработки изображений и т.д., ориентированный на конкретные темы.
Датасеты доступны по данной ссылке.

📝🔎Apache Flink: преимущества и недостатки
Apache Flink - это распределенный система обработки данных в реальном времени, которая предоставляет возможности для потоковой обработки данных и анализа в реальном времени.
Преимущества Apache Flink:
1. Потоковая обработка данных: Flink предназначен для эффективной обработки данных в режиме реального времени, что позволяет быстро реагировать на изменения и события.
2. Высокая производительность: Flink обеспечивает высокую производительность благодаря оптимизированному выполнению запросов и эффективному распределению задач на кластере.
3. Гибкость и масштабируемость: Flink обеспечивает гибкость в определении и изменении потоковых вычислений. Также следует отметить Повышение производительности при увеличении объема обрабатываемых данных.
Недостатки Apache Flink:
1. Сложность настройки: Настройка и управление кластером Apache Flink может потребовать значительных усилий и опыта.
2. Отсутствие широкой популярности: По сравнению с некоторыми другими системами обработки данных в реальном времени, Apache Flink не так широко используется, что может сказаться на доступности ресурсов и сообществе поддержки.
3. Сложности в интеграции: Интеграция Apache Flink с существующими системами и инструментами может быть сложной задачей, требующей переработку данных для совместимости с форматами и структурами других систем.
В целом, Apache Flink предоставляет мощные возможности для обработки данных в реальном времени, но требует внимательного внедрения и управления для достижения максимальной производительности и надежности.

🤖⚡️🔎Подборка сервисов на базе AI для анализа Big Data
AskEdith - Упрощает анализ данных, позволяя пользователям задавать вопросы и получать мгновенную информацию. Расширяет возможности "аналитики самообслуживания", обеспечивая безопасный и надежный доступ к данным. Совместим со всеми база данных и CRM (Google Sheets, Airtable, PostgreSQL, MySQL, SQL Server, Snowflake, BigQuery и Redshift и тд)
Tomat.AI - Инструмент на базе искусственного интеллекта, который позволяет специалистам по данным легко исследовать и анализировать большие файлы CSV без необходимости кодирования или написания формул. Вы можете открывать и просматривать огромные файлы CSV всего несколькими щелчками мыши
Coginiti - Позволяет пользователям генерировать SQL запросы, используя подсказки на естественном языке, оптимизировать существующие SQL-запросы, объяснять общий SQL в интегрированном каталоге, давать подробные объяснения и решения ошибок, а также объяснять планы выполнения запросов для лучшей оптимизации. ИИ помощник постоянно развивается на основе каждого взаимодействия, адаптируя рекомендации и предложения в соответствии с индивидуальными потребностями
Speak Ai - Платформа для анализа и исследования языковых данных, которая предлагает возможности транскрипции, анализа данных и анализа настроений для различных типов медиа. Он позволяет выполнять автоматическую транскрипцию, массовый анализ, визуализацию и сбор данных для использования в исследованиях, анализе рынка и конкурентном анализе. Инструмент также предлагает общий медиа-репозиторий, систему текстовых подсказок на базе искусственного интеллекта и решение для SWOT-анализа, а также другие функции
Formula God - Инструмент искусственного интеллекта встроен в Google Таблицы. Он использует искусственный интеллект, чтобы помочь пользователям манипулировать и вычислять данные во всем диапазоне ячеек
Simple ML for Sheets - полезен для экспертов по машинному обучению, которые хотят быстро выполнить итерацию или создать прототип на небольших (например, <1 миллиона примеров) наборах табличных данных. Simple ML for Sheets — это надстройка для Google Sheets от команды TensorFlow Decision Forests.

📝📚Подборка книг по Data Mining
Data Mining: Practical Machine Learning Tools and Techniques - книга предоставляет введение в основы Data Mining и использует популярный инструмент Weka для обучения алгоритмов машинного обучении
Introduction to Data Mining - классическая книга, которая охватывает основные концепции и методы Data Mining
Principles of Data Mining - эта книга предоставляет обширное обсуждение принципов и методов Data Mining
Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management - книга ориентирована на использование Data Mining в маркетинге и управлении клиентскими отношениями
Data Science for Dummies - хороший вариант для начинающих, книга охватывает множество тем, включая Data Mining, машинное обучение и анализ данных

📝🔎💥Управлять качеством данных теперь еще проще
Great Expectations (GX) - это open-source инструмент, созданный на базе языка Python, который служит для контроля качества данных. Он предоставляет командам дата-саентистов возможность проводить анализ и проверку данных, а также создавать с ними отчеты. Этот инструмент обладает удобным интерфейсом командной строки (CLI), что упрощает создание новых тестов и редактирование уже существующих отчетов. Важно отметить, что Great Expectations может быть интегрирован с разнообразными инструментами для извлечения, преобразования и загрузки данных (ETL), такими как Airflow и различные системы управления базами данных. Найти полный список поддерживаемых интеграций и официальную документацию можно на веб-сайте Great Expectations.

🌎ТОП ноябрьских ивентов в Data Science
2 ноября - DataStart 2023 - Москва, Россия - https://datastart.ru/
4-5 ноября - BreakPoint 2023: Insert New. Element - Москва, Россия - https://breakpoint23.ru/
9-10 ноября - МАТЕМАРКЕТИНГ - Москва, Россия - https://matemarketing.ru/
16 ноября - TechRec 2023 - Москва, Россия - https://techrec.pro/
22-24 ноября - AI Journey 2023 - Онлайн - https://aij.ru/
28-30 ноября - DATA & ANALYTICS - Москва, Россия - https://techweek.moscow/data_day/

📝🤔Разметка данных: преимущества и обратная сторона
Разметка данных - это процесс присвоения меток или аннотаций определенным элементам в наборе данных, чтобы обучать машины понимать и извлекать информацию из этих данных. Разметка данных играет важную роль в машинном обучении, глубоком обучении и анализе данных, так как она позволяет алгоритмам понимать, какие объекты или факторы в данных являются важными, а какие несущественными.
Преимущества разметки данных:
1. Улучшение точности моделей: Разметка данных способствует созданию более точных и надежных моделей, так как алгоритмы могут учиться на основе правильных меток и избегать ошибок.
2. Обучение алгоритмов: Размеченные данные позволяют более эффективно обучать алгоритмы машинного обучения, что делает их способными к решению сложных задач, таких как распознавание образов, классификация текстов, прогнозирование и другие.
3. Расширение функциональности приложений: Размеченные данные позволяют разрабатывать более интеллектуальные приложения и сервисы, такие как виртуальные помощники, автоматизированные системы и многое другое.
Недостатки разметки данных:
1. Ресурсозатратность: Разметка данных требует значительных усилий и ресурсов, особенно если речь идет о больших наборах данных или сложных задачах.
2. Субъективность: Разметка данных может зависеть от субъективных оценок разметчиков, что может привести к ошибкам и неточностям.
3. Ограниченность задачи: Разметка данных ограничивается конкретной задачей обучения, и изменение этой задачи может потребовать переразметки данных.
4. Обновление данных: Размеченные данные могут устаревать с течением времени, и для поддержания актуальности моделей необходимо периодически обновлять разметку.

В целом, разметка данных является неотъемлемой частью многих проектов в области машинного обучения, и ее преимущества часто превосходят недостатки, особенно при правильной организации и управлении процессом разметки.