Big Data Science [RU]

😱Ошибки в данных, которые привели к глобальным катасторофам

✅Снос не тех домов - из-за некорректных данных геоинформационных систем бригады сноса приезжали на неправильные участки из-за ошибок в данных адресов Google Maps и сносили не те дома. Это приводило к разрушенным жилищам, ущербу на десятки тысяч долларов и судебным тяжбам для компаний

✅Дефибрилляторы Zoll Medical - из-за проблем с качеством данных в процессе производства дефибрилляторы компании Zoll Medical могли отображать сообщения об ошибке или вовсе выходить из строя при использовании. Компания была вынуждена объявить отзыв продукции категории 1 — самой серьезной категории, при которой существует высокая вероятность серьезных травм или смерти. Это подорвало доверие и обошлось компании в $5,4 млн штрафов.

✅Паспортное агентство Великобритании - паспортное агентство Великобритании не раз сталкивалось с серьезными задержками при выдаче паспортов из-за ошибок миграции данных во время обновления системы. Задержки вызвали общественное недовольство и огромный объём накопившихся заявок. Исправление ошибок и найм дополнительного персонала для обработки заявок однажды обошлись агентству примерно в £12,6 млн.

✅Mars Climate Orbiter - Mars Climate Orbiter — зонд, запущенный для сбора данных о Марсе. К сожалению, аппарат сгорел при входе в атмосферу планеты, что сделало миссию полной неудачей и отбросило назад исследования Марса. Ущерб оценили в $327,6 млн. Ошибка в преобразовании единиц измерения между командами инженеров: одна использовала метрическую систему, а другая — английскую.

✅Ошибка Knight Capital - однажды ошибка в новом программном обеспечении Knight Capital привела к нежелательным биржевым сделкам, из-за чего компания закупила 150 различных акций на сумму $7 млрд всего за час. Последствия использования непроверенного ПО включали убыток в $440 млн и банкротство.

✅Сбой AWS от Amazon - во время планового обслуживания AWS из-за опечатки в данных в команде управления было случайно удалено больше серверов, чем предполагалось. На восстановление части системы потребовалось три часа, а на полное восстановление — четыре часа. Компании, использующие AWS, столкнулись с серьезными незапланированными простоями, которые привели к финансовым потерям в размере $150 млн.

✅Испанская подводная лодка "Isaac Peral" (S-81) - во время проектирования подводной лодки ошибка с десятичной точкой в расчётах водоизмещения привела к тому, что судно оказалось на 75–100 тонн тяжелее. Из-за этого подлодка была слишком тяжёлой, чтобы плавать, и её пришлось полностью перепроектировать, что вызвало значительные задержки и затраты более чем €2 млрд.

✅Boeing 737 Max - в 2018 и 2019 годах две катастрофы самолётов Boeing 737 Max унесли жизни 349 человек. В самолётах была установлена новая автоматическая система управления полётом, которая полагалась на данные только одного датчика угла атаки. Неверные данные с датчика активировали систему, которая переопределяла действия пилотов, что привело к катастрофам. Все самолёты 737 Max были затем отстранены от полетов, а Boeing потерял более $18 млрд.

✅Крах Lehman Brothers - низкое качество данных и слабый анализ рисков привели к тому, что Lehman Brothers взяли на себя больше рисков, чем могли себе позволить, а отсутствие точных данных скрывало реальную стоимость активов и обязательств. Что было дальше, известно всем: потери на $691 млрд активов и банкротство, вызвавшее глобальный финансовый кризис, который затронул экономики всего мира.

🤔💡Как Spotify создал платформу для масштабных аннотаций: опыт и результаты

Spotify в своей статье How We Generated Millions of Content Annotations поделился кейсом, как удалось масштабировать процесс аннотаций для разработки ML и GenAI моделей. Эти улучшения обеспечили обработку миллионов треков и подкастов, ускорив создание и обновление моделей.

Основные шаги:
1️⃣ Масштабирование человеческой экспертизы:
✅Основные команды: аннотаторы (первичный обзор), аналитики качества (решение сложных случаев), менеджеры проектов (обучение команд и связь с инженерами).
✅Автоматизация: внедрили систему на базе больших языковых моделей (LLM) для поддержки аннотаторов, что позволило значительно сократить затраты и усилия.

2️⃣ Новые инструменты для аннотаций:

✅Разработаны интерфейсы для сложных задач (например, аннотация аудио/видео сегментов или текстов).
✅Созданы метрики для мониторинга: количество выполненных задач, объем данных, продуктивность аннотаторов.
✅Введен показатель «согласованность» аннотаций, чтобы автоматически отправлять спорные случаи экспертам.

3️⃣ Интеграция с ML-инфраструктурой:

✅Построили гибкую архитектуру с возможностью использовать разные инструменты.
✅Добавили CLI и UI для быстрого запуска проектов.
✅Интегрировали аннотации в производственные ML-пайплайны.

😎Результаты:
✅Объем аннотаций увеличился в 10 раз.
✅Производительность аннотаторов выросла в 3 раза.
✅Снизилось время запуска новых моделей.

💡😎Маленькая подборка больших интересных и полезных датасетов

Sky-T1-data-17k — разнообразный датасет, предназначенный для обучения модели Sky-T1-32B, являющейся ризонингом модели MiniMax-Text-01, которая стабильно обходит GPT-4o и Gemini-2 на бенчмарках с длинным контекстом

XMIDI Dataset — крупномасштабный музыкальный датасет с точными метками эмоций и жанров. Содержит 108 023 MIDI-файла, являясь крупнейшим из известных наборов данных такого рода

AceMath-Data - семейство датасетов, которые использовались NVIDIA для обучения флагманской модели AceMath-72B-Instruct, которая значительно превосходит GPT-4o и Claude-3.5 Sonnet в области решения математических задач

💡Небольшая подборка репозиториев для новичков и не только

SQL Roadmap for Data Science & Data Analytics - пошаговая программа изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы

kh-sql-projects - репозиторий с исходным кодом популярных SQL-проектов для разработчиков разного уровня: от начинающих до опытных. Включает проекты на базе PostgreSQL для различных систем, таких как управление библиотеками, студентами, больницами, бронированием и инвентарем. Отличная возможность для практического изучения SQL

ds-cheatsheet - GitHub-репозиторий, собравший множество полезных шпаргалок для изучения и работы в сфере Data Science

GenAI Showcase - репозиторий, демонстрирующий использование MongoDB в генеративном искусственном интеллекте. Содержит примеры интеграции MongoDB с технологиями Retrieval-Augmented Generation (RAG) и различными ИИ-моделями

📚Небольшая подборочка книг по Data Science и Big Data

Software Engineering for Data Scientists - в книге объясняются механизмы и практики разработки ПО в Data Science. Здесь также приводится масса примеров реализации на Python

Graph Algorithms for Data Science - книга рассматривает ключевые алгоритмы и методы работы с графами в науке о данных, сопровождая их конкретными рекомендациями по реализации и применению. Для её освоения не требуется опыта работы с графами. Алгоритмы объясняются простым языком без лишнего жаргона и сопровождаются наглядными иллюстрациями, что делает их лёгкими для применения в ваших проектах

Big Data Management and Analytics - книга охватывает все аспекты работы с большими данными: от базового уровня до изучения конкретных примеров. Читатели получат представление о выборе моделей данных, извлечении и интеграции данных для решения задач больших данных, моделировании данных с использованием методов машинного обучения, масштабируемых технологий Spark, преобразовании задачи больших данных в графовую базу данных и выполнении аналитических операций над графами. Также рассматриваются различные инструменты и методы обработки больших данных и их применение, включая здравоохранение и финансы

Advanced Data Analytics Using Python - книга рассматривает архитектурные паттерны в аналитике данных, классификацию текста и изображений, методы оптимизации, обработку естественного языка и компьютерное зрение в облачной среде.

Minimalist Data Wrangling with Python - в книге предлагается как общее представление, так и детальное обсуждение ключевых концепций. Рассматриваются методы очистки данных, собранных из различных источников, их преобразования, выбора и извлечения признаков, проведения разведочного анализа данных и снижения размерности, выявления естественных кластеров, моделирования закономерностей, сравнения данных между группами и представления результатов

🧐Распределённая обработка - пан или пропал

В статье Optimizing Parallel Computing Architectures for Big Data Analytics автор рассказывает, как оптимально распределить нагрузку при обработке Big Data на примере Apache Spark.

🤔Однако автор ничего не говорит про основные преимущества и недостатки распределенных вычислений, с которыми нам так или иначе приходиться мириться.

💡Преимущества:

✅Масштабируемость: легко увеличивать вычислительные мощности за счёт добавления новых узлов
✅Отказоустойчивость: система продолжает работать даже при сбоях отдельных узлов благодаря репликации и резервированию
✅Высокая производительность: одновременная обработка данных на разных узлах ускоряет выполнение задач

⚠️Теперь к недостаткам:

✅Сложность управления: координация между узлами и обеспечение их синхронной работы требует сложной архитектуры
✅Безопасность: распределённость данных усложняет их защиту от утечек и атак
✅Избыточность данных: для обеспечения отказоустойчивости часто создаются реплики данных, что увеличивает объём хранимой информации
✅Проблемы согласованности: в системах с большим количеством узлов сложно обеспечить согласованность данных в реальном времени (CAP-теорема)
✅Сложности обновления: внесение изменений в распределённую систему (например, обновление ПО) может быть длительным и рискованным процессом
✅Ограниченная пропускная способность сети: высокий объём передачи данных между узлами может перегружать сеть и замедлять работу

🥸Таким образом, распределённая обработка данных предоставляет мощные возможности для масштабирования, ускорения вычислений и обеспечения отказоустойчивости. Однако её внедрение связано с рядом технических, организационных и финансовых сложностей, включая управление сложной архитектурой, обеспечение безопасности и согласованности данных, а также высокие требования к сетевой инфраструктуре.

⚔️Kafka 🆚 RabbitMQ: столкновение лбами

В своей статье RabbitMQ vs Kafka: Head-to-head confrontation in 8 major dimensions автор сравнивает два известных инструмента: Apache Kafka и RabbitMQ.

Рассмотрим 2 основных различия между ними:

✅RabbitMQ — это брокер сообщений, обеспечивающий маршрутизацию и управление очередями
✅Kafka — распределённая платформа обработки потоков данных, обеспечивающая хранение и воспроизведение сообщений

🤔Ключевые характеристики:

✅Порядок сообщений: Kafka гарантирует упорядоченность внутри одной темы, тогда как RabbitMQ предоставляет только базовые гарантии
✅Маршрутизация: RabbitMQ поддерживает сложные правила маршрутизации, а Kafka требует дополнительной обработки для фильтрации сообщений
✅Срок хранения сообщений: Kafka сохраняет сообщения независимо от их обработки, в отличие от RabbitMQ, где сообщения удаляются после обработки
✅Масштабируемость: Kafka показывает более высокую производительность и лучше масштабируется

🤔Обработка ошибок:

✅RabbitMQ предлагает встроенные инструменты для управления неудачными сообщениями (например, Dead Letter Exchange)
✅В Kafka обработка ошибок требует реализации дополнительных механизмов на уровне приложени

Таким образом, RabbitMQ подходит для задач с гибкой маршрутизацией, управлением временем сообщений и сложными обработками ошибок, тогда, как Kafka лучше справляется с задачами с жёсткими требованиями к порядку, долговременным хранением сообщений и высокой масштабируемостью.

💡Статья также подчёркивает, что обе платформы могут использоваться вместе для решения разных задач в сложных системах.

😎💡Топ подборка полезных инструментов для работы с данными

gitingest — это утилита, созданная для автоматизации анализа данных из репозиториев Git. Она позволяет собирать информацию о коммитах, ветках и авторах, а затем преобразовывать её в удобные форматы для интеграции с языковыми моделями (LLM). Инструмент идеально подходит для анализа истории изменений, построения моделей на основе кода и автоматизации работы с репозиториями

datasketch — Python-библиотека для оптимизации работы с большими данными. Она предоставляет вероятностные структуры данных, включая MinHash для оценки схожести Jaccard и HyperLogLog для подсчёта уникальных объектов. Эти инструменты позволяют быстро выполнять задачи, такие как поиск похожих элементов и анализ кардинальности, с минимальными затратами памяти и времени.

Polars — высокопроизводительная библиотека для работы с табличными данными, разработанная на Rust с поддержкой Python. Библиотека интегрируется с NumPy, Pandas, PyArrow, Matplotlib, Plotly, Scikit-learn и TensorFlow. Polars поддерживает фильтрацию, сортировку, слияние, объединение и группировку данных, обеспечивая высокую скорость и эффективность для аналитики и обработки больших объемов данных.

SQLAlchemy — библиотека для работы с базами данных, поддерживающая взаимодействие с PostgreSQL, MySQL, SQLite, Oracle, MS SQL и другими СУБД. Она предоставляет инструменты для объектно-реляционного отображения (ORM), что упрощает управление данными, позволяя разработчикам работать с объектами Python вместо написания SQL-запросов, а также поддерживает гибкую работу с "сырыми" SQL для сложных сценариев.

SymPy — библиотека для работы с символьной математикой в Python. Она позволяет выполнять операции над выражениями, уравнениями, функциями, матрицами, векторами, полиномами и другими объектами. С помощью SymPy можно решать уравнения, упрощать выражения, вычислять производные, интегралы, приближения, подстановки, факторизации, а также работать с логарифмами, тригонометрией, алгеброй и геометрией.

DeepChecks — это Python-библиотека для автоматизированной проверки моделей и данных машинного обучения. Она выявляет проблемы с производительностью моделей, целостностью данных, несоответствием распределений и другими аспектами. DeepChecks позволяет легко создавать кастомные проверки, а результаты визуализируются в удобных таблицах и графиках, упрощая анализ и интерпретацию.

Scrubadub — Python-библиотека, предназначенная для обнаружения и удаления персонально идентифицируемой информации (PII) из текста. Она может распознавать и скрывать такие данные, как имена, номера телефонов, адреса, номера кредитных карт и многое другое. Инструмент поддерживает настройку правил и может быть интегрирован в различные приложения для обработки конфиденциальных данных.

🤔Чем же отличаются Smart Data от Big Data?

В статье What’s Smart data and how it’s different from Big data? автор рассматривает особенности "Умных Данных". Ниже мы приведем свое видение этой концепции (оно может отличаться, а может и совпадать🥸).

Итак, Smart Data — это концепция, ориентированная на обработку, анализ и использование данных с учетом их актуальности, качества и пользы для принятия решений. В отличие от Big Data, где акцент делается на объем, Smart Data фокусируется на извлечении ценной информации из огромного массива данных.

🤔Особенности Smart Data:
✅Качество данных: Отбор только релевантных, точных и структурированных данных
✅Контекстуальность: Данные обрабатываются с учетом их значимости для конкретной задачи
✅Аналитика в реальном времени: Smart Data используются для возможности быстрого принятия решений

🤔Преимущества:
✅Эффективность: Экономия ресурсов за счет работы только с нужными данными
✅Персонализация: Возможность адаптировать услуги под конкретные потребности
✅Меньше ошибок: Фокус на высоком качестве данных снижает риски получения некорректных результатов

🥸Однако не все так радужно, есть и недостатки:
✅Этические и правовые вопросы: Работа с персональными данными несет риски нарушения конфиденциальности и неправомерного использования информации. Это может привести к штрафам и утрате доверия
✅Высокая зависимость от качества данных: Если исходные данные неполные, неточные или устаревшие, результаты анализа могут вводить в заблуждение и ухудшить принятие решений
✅Высокая стоимость внедрения: Требуется инвестиция в технологии, время и квалифицированный персонал
✅Проблемы интерпретации результатов: Даже с качественными данными аналитика может быть сложной для понимания неэкспертами, что требует дополнительных затрат на обучение сотрудников
✅Технические сбои: Инфраструктура для обработки данных может быть уязвима к сбоям, что особенно критично при работе с реальными процессами, такими как управление в финансовой или медицинской сфере​

🧐Таким образом, Smart Data — это про осмысленное использование данных для достижения конкретных целей. Эта концепция позволяет компаниям не только справляться с информационным шумом, но и получать конкурентные преимущества. Однако внедрение требует продуманной стратегии и ресурсов, иначе есть риск понести огромные убытки

🌎Небольшая обзор Data Science ивентов за 2025 год
18 января - Data Ёлка 2024 – Москва, Россия - https://ods.ai/events/data-elka-2024
22-23 января - Data Fusion Awards 2025 – Москва, Россия - https://awards.data-fusion.ru/
30 января - CX Focus 2025 – Москва, Россия - https://cxfocus.ru/
26 февраля - Качество данных 2025 – Москва, Россия - https://www.osp.ru/lp/dataquality2025
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
25 апреля - Merge 2025 – Казань, Россия - https://tatarstan2025.mergeconf.ru/
1 июня - Saint HighLoad++ 2025 - Санкт-Петербург, Россия - https://highload.ru/spb/2025
19 июня - IT IS conf 2025 – Екатеринбург, Россия - https://itisconf.ru/
23 сентября - Data Conf 2025 – Москва, Россия - https://datainternals.ru/2025
15-16 октября - Innovation Tech Days 2025 – Онлайн - https://smartgopro.com/innovation_tech_days/

😎💡FineMath: новый математический датасет от Hugging Face

Hugging Face выпустили крупный датасет FineMath, предназначенный для обучения моделей на математическом контенте. Датасет был сформирован с использованием CommonCrawl, классификатора, обученного на аннотациях LLama-3.1-70B-Instruct, и последующей фильтрации данных.

По сравнению с OpenWebMath и InfiMM, FineMath демонстрирует более стабильный рост точности моделей с увеличением объема данных. Этот эффект достигается благодаря качеству и разнообразию контента.

На базе FineMath уже создан проект по обучению LLM для математической помощи — репозиторий доступен на GitHub.

🧐Многопоточность PostgreSQL vs. MSSQL Server: преимущества и недостатки

Все мы знаем такие знаменитые СУБД, как PostgreSQL и MSSQL Server, которые часто используются при проектировании различной инфраструктуры веб-приложений. Давайте разберем, как насколько надежно работает многопоточность при выполнении запросов в каждой из этих СУБД.

👍Преимущества многопоточности PostgreSQL:

✅Модель процессов (process-based): каждый клиент работает в отдельном процессе, что минимизирует взаимное влияние соединений.
✅Стабильность и безопасность: независимость процессов уменьшает риск взаимоблокировок.
✅Гибкая настройка: процессная архитектура позволяет эффективно масштабировать ресурсы для отдельных задач.

❌Недостатки:

✅Высокое потребление памяти на каждый процесс
✅Ограниченная производительность при большом количестве соединений
✅Сложности с горизонтальным масштабированием

👍Преимущества многопоточности MSSQL Server:

✅Модель потоков (thread-based): обеспечивает эффективное использование CPU и памяти.
✅Высокая масштабируемость: подходит для большого количества параллельных соединений.
✅Интеграция с Windows: глубокая оптимизация для Windows-серверов
✅Быстрое переключение потоков: повышает производительность в системах с высокой конкуренцией за ресурсы.

❌Недостатки:

✅Сложность диагностики проблем из-за параллельного выполнения задач
✅Высокий риск взаимоблокировок
✅Высокие требования к администрированию для эффективного управления потоками

🤔Что выбрать?

PostgreSQL — для приложений с умеренным числом соединений, стабильной нагрузкой и акцентом на надежность
MSSQL Server — для высоконагруженных систем, требующих максимальной масштабируемости и производительности

😎Небольшая подборка полезных Big Data репозиториев

Complete-Advanced-SQL-Series — репозиторий, который включает всё необходимое для улучшения навыков работы с SQL: более 100 упражнений и примеров.

ds-cheatsheet — репозиторий на GitHub, содержащий множество полезных шпаргалок по Data Science.

postgres_for_everything — репозиторий, который собирает примеры применения PostgreSQL для решения разнообразных задач: очереди сообщений, аналитика, контроль доступа, GIS, работа с временными рядами, поиск, кэширование и многое другое.

GenAI Showcase — репозиторий, демонстрирующий использование MongoDB в генеративном искусственном интеллекте. Включает примеры интеграции MongoDB с технологиями Retrieval-Augmented Generation (RAG) и различными ИИ-моделями.

Data-and-ML-Projects — репозиторий с более чем 50 проектами, охватывающими области Data Analytics, Data Science, Data Engineering, MLOps и Machine Learning.

😎📊Тренды данных, которые преобразят бизнес в 2025 году

Автор статьи The Most Powerful Data Trends That Will Transform Business In 2025 выделяет ключевые тенденции, которые будут определять работу с данными в ближайшем будущем.

🤔Вот некоторые из них:

✅Конфиденциальные вычисления: использование блокчейна и гомоморфного шифрования позволит анализировать данные, не раскрывая их содержимое. Это ключевой шаг для совместной аналитики между компаниями с высокой защитой данных

✅Рост рынков данных: компании начнут продавать свои наборы данных, создавая новые потоки доходов. Возникнут специализированные платформы для торговли данными.

✅Расширение edge computing: обработка данных на периферии сети обеспечит минимальные задержки и повышение безопасности. Развитие технологий вроде tinyML изменит индустрии, где критична скорость обработки данных

✅Поведенческие данные как новый актив: анализ эмоциональных и поведенческих данных станет основой для персонализированных решений.

😎🔥Небольшая подборка полезных датасетов

Synthia-v1.5-I - датасет, включающий более 20 тысяч технических вопросов и ответов. В наборе используются системные промпты в стиле Orca для генерации разнообразных ответов, что делает его ценным ресурсом для обучения и тестирования LLM на сложных технических данных.

HelpSteer2 - англоязычный набор данных, предназначенный для обучения reward-моделей, которые улучшают полезность, точность и связность ответов, генерируемых другими LLM.

LAION-DISCO-12M - включает 12 миллионов ссылок на общедоступные треки YouTube с метаданными. Набор данных создан для поддержки исследований в области машинного обучения, разработки базовых моделей обработки звука, анализа музыкальной информации, работы с аудио-данными, а также для обучения рекомендательных систем и приложений.

Universe — это крупномасштабная коллекция, содержащая астрономические данные различных типов: изображения, спектры и кривые блеска. Он предназначен для исследований в области астрономии и астрофизики.

🥲ТОП факапов с разными СУБД: боль, слёзы

✅PostgreSQL и вакуум в сюрпризе
Все любят PostgreSQL, пока не сталкиваются с автovacuum. Если забыть настроить его правильно, база начинает тормозить так, что проще мигрировать данные на Excel.

✅Cassandra: мастер шардирования и мастер хаоса
О, этот волшебный мир распределённых данных! Пока всё идёт гладко, Cassandra крута. Но стоит одному узлу выйти из строя, и кластеры превращаются в загадку с сюрпризом: какая часть данных уцелела? А кросс-DC репликация в больших сетях — это вообще лотерея.

✅Firebase Realtime Database
Звучит круто: данные синхронизируются в реальном времени! Но когда у вас десятки тысяч активных пользователей, всё превращается в ад, потому что каждый маленький запрос стоит тонну денег. А обновления без контроля затрагивают все клиенты разом.

✅Redis как основная БД
Легко, быстро, всё в памяти. Звучит круто, пока не осознаёшь, что забыли про механизм восстановления данных. Упс, сервер упал — данные улетели в никуда.