Big Data Science [RU]

⚡️Крупнейшая коллекция датасетов из ~ 1 млн пар задач и решений для математических соревнований

NuminaMath - датасеты, состоящие из 1 млн пар задач и решений для различных математических задач.

🔎Цепочка рассуждений (CoT): 860 тысяч пар задач и решений, созданных с помощью CoT.

🛠 Инструментально-интегрированные рассуждения (TIR): 73 тысячи синтетических решений, полученных на основе GPT-4, с обратной связью по выполнению кода для разбивки сложных задач на более простые подзадачи, которые могут быть решены с помощью Python.

По словам исследователей, модели, обученные на NuminaMath, демонстрируют лучшие в своем классе показатели среди моделей с открытым весом и приближаются или превосходят собственные модели по показателям математических соревнований

😎Графовая БД, реализованная на фреймворке Apache Apache TinkerPop3

HugeGraph - open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin.

HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс).

Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа.

Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

💡Крупный датасет видеоданных с большой продолжительностью и структурированными аннотациями

MiraData от Tencent — готовый датасет суммарной продолжительностью видео в 16 тысяч часов, предназначенный для обучения моделей генерации текста в видео. Он включает в себя длинные видеоролики (в среднем 72,1 секунды) с высокой интенсивностью движения и подробными структурированными аннотациями (в среднем 318 слов на ролик).

Для оценки качества датасета была даже специально создана система бенчмарков MiraBench из 17 метрик, оценивающих временную согласованность, движения в кадре, качество видео, и другие параметры. Согласно их результатам, MiroData превосходит другие известные датасеты, доступные в открытых источниках , которые в основном состоят из коротких видеороликов с плавающим качеством и короткими описаниями.

⚡️🔎Полностью синтетический датасет

На Hugging Face появился огромный датасет, состоящий полностью из синтетических данных.

LLM (в данном случае GPT-4o + VLLM) генерирует ответы, представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.

Синтетические данные иногда могут сильно помочь (особенно, когда задача абстрактная и нет структурированной информации), но к ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", однако работа над этим активно идет.

🔎Архитектура Lakehouse: преимущества и недостатки

Архитектура Lakehouse предназначена для обеспечения более гибкой и эффективной обработки данных, включая хранение, обработку и аналитическую обработку данных. Она представляет собой гибридный подход, объединяющий элементы традиционного хранилища данных (Data Warehouse) и озера данных (Data Lake).

Преимущества Lakehouse:

1. Унификация данных: архитектура Lakehouse позволяет хранить структурированные и неструктурированные данные в одном месте. Это упрощает доступ и анализ данных, устраняя необходимость в отдельных системах для каждого типа данных.
2. Экономическая эффективность: За счёт использования дешёвых решений для хранения данных, таких как облачные объекты хранения, архитектура Lakehouse может быть более экономически эффективной по сравнению с традиционными хранилищами данных.
3. Гибкость и масштабируемость: Lakehouse поддерживает масштабируемость, что позволяет легко увеличивать объём хранимых данных и мощность обработки по мере необходимости. Это особенно важно для компаний, работающих с большими объёмами данных и требующих высокой производительности.
4. Совместимость с современными аналитическими инструментами: Многие современные аналитические инструменты и платформы, такие как Apache Spark, Delta Lake и другие, интегрируются с архитектурой Lakehouse, обеспечивая высокую производительность и надёжность анализа данных.

Недостатки Lakehouse

1. Сложность внедрения: Внедрение архитектуры Lakehouse может потребовать значительных усилий и затрат на планирование, разработку и настройку системы. Это может включать обучение персонала и адаптацию существующих процессов и инструментов.
2. Управление качеством данных: Слияние данных из различных источников может привести к проблемам с качеством данных, особенно если отсутствуют строгие процессы очистки и валидации данных.
3. Безопасность и конфиденциальность: Объединение больших объёмов данных в одном месте увеличивает риски, связанные с безопасностью и конфиденциальностью данных. Необходимы дополнительные меры для защиты данных от несанкционированного доступа и утечек.
4. Потенциальная задержка в доступе к данным: В некоторых случаях архитектура Lakehouse может сталкиваться с задержками в доступе к данным, особенно при обработке больших объёмов неструктурированных данных.

Таким образом, архитектура Lakehouse предлагает множество преимуществ, таких как унификация данных, экономическая эффективность и гибкость, что делает её привлекательной для многих организаций. Однако её внедрение связано с определёнными вызовами, включая сложность интеграции, управление качеством данных и вопросы безопасности.

💡Очередная небольшая подборка AI-инструментов для Big Data аналитики

KNIME Analytics Platform - является бесплатной платформой с открытым исходным кодом, что позволяет пользователям оставаться на передовой науки о данных, имеет в своем арсенале 300+ коннекторов к различным источникам данных и интегруется со всеми популярными библиотеками машинного обучения.

Polymer - искусственный интеллект для преобразования данных в оптимизированную, гибкую и мощную базу данных. Все, что нужно сделать пользователю, это загрузить свою электронную таблицу на платформу, чтобы мгновенно преобразовать ее в оптимизированную базу данных, которую затем можно изучить для получения информации.

IBM Cognos Analytics - это компонентный онлайн-сервис бизнес-аналитики (BI), обеспечивающий доступ к широкому диапазону функций для создания бизнес-отчётов, анализа данных, мониторинга событий и метрик с целью выработки эффективных бизнес-решений.

Akkio - инструмент бизнес-аналитики и прогнозирования, позволяющий пользователям анализировать свои данные и прогнозировать потенциальные результаты. Инструмент AI позволяет пользователям загружать свой набор данных и выбирать переменную, которую они хотят предсказать, что помогает Akkio построить нейронную сеть вокруг этой переменной. Как и многие другие инструменты, Akkio не требует предварительного опыта программирования.

Monkeylearn - использует функции анализа данных ИИ, чтобы помочь пользователям визуализировать и реорганизовать свои данные. Его также можно использовать для настройки классификаторов текста и экстракторов текста, которые помогают автоматически сортировать данные в соответствии с темой или намерением, а также извлекать характеристики продукта или пользовательские данные.

⚡️Инструмент для значительного усиления БД

WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG.

Он позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Документация

⚡️💡💻Состоялся релиз СУБД MySQL 9.0.0

Недавно Oracle выпустила СУБД MySQL 9.0.0. Разработчики проекта подготовили и выложили в открытый доступ сборки MySQL Community Server 9.0.0 для основных дистрибутивов Linux, FreeBSD, macOS и Windows.

В 2023 году компания объявила об изменении модели формирования релизов СУБД MySQL. Разработчики начали выпускать два вида веток MySQL: Innovation (новые функции, частое обновление, три месяца поддержки) и LTS (с расширенным временем поддержки и сохранением неизменного поведения).

Как отмечают разработчики, проект MySQL 9.0 отнесён к ветке Innovation, к которым также будут отнесены следующие значительные релизы MySQL 9.1 и 9.2.

Дистрибутивы на базе Innovation-веток рекомендованы для тех пользователей, кто хочет раньше получать доступ к новой функциональности. Они публикуются каждые 3 месяца и поддерживаются только до публикации следующего значительного релиза (например, после появления ветки 9.1 будет прекращена поддержка ветки 9.0).

💻Высокопроизводительная распределенная БД

YugabyteDB - это высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL.

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

🖥 GitHub
🟡 Документация

Создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

🎼Датасеты и проекты для задач генерации и анализа музыки

MAESTRO - (MIDI and Audio Edited for Synchronous Tracks and Organisation) содержит более 200 часов аннотированных записей международных конкурсов пианистов за последние десять лет.

NSynth - датасет состоит из 305 979 музыкальных нот и включает записи 1006 различных инструментов, таких как флейта, гитара, фортепиано и орган. Датасет аннотирован по типу инструмента (акустический, электронный или синтетический) и другим звуковым параметрам.

Lakh MIDI v0.1 - в датасете имеется 176,581 MIDI-файл, из которых 45,129 связаны с образцами из Million Song Dataset. Данный датасет разработан для упрощения поиска музыкальной информации на основе текста и аудио контента в большом масштабе.

Music21 - содержит музыкальные выступления из 21 категории и нацелен на решение исследовательских задач (например, поиска ответа на вопрос :»Какая группа использовала данные аккорды впервые?»)

🌎ТОП июльских ивентов в Data Science
3 июля - DataStart - Онлайн - https://datastart.ru/
4 июля - Data Day - Москва, Россия - https://data-day.ru/
12-14 июля - Volga IT Camp - Самара, Россия - https://volga-it-camp.ru/
5-19 июля - EKF AI Challenge - Онлайн - https://codenrock.com/contests/ekf-ai-challenge#/
26-27 июля - PYCON RUSSIA - Москва, Россия - https://pycon.ru/

⚡️Гиперконвергентная облачная open-source БД

MatrixOne — это гиперконвергентная облачная распределенная БД со структурой, которая разделяет хранение, вычисления и транзакции, образуя единый движок данных HSTAP.
Этот механизм позволяет единой системе баз данных справляться с различными бизнес-нагрузками, такими как OLTP, OLAP и потоковые вычисления.

MatrixOne поддерживает развертывание и использование в публичных и частных облаках, обеспечивая совместимость с различными инфраструктурами.

🖥 GitHub
🟡 Документация

⚔️🔎ACID в Kafka vs ACID в Airflow при обработке Big data: преимущества и недостатки

При рассмотрении двух популярных инструментов для обработки данных, таких как Apache Kafka и Apache Airflow, важно понять, как они справляются с принципами ACID (Atomicity, Consistency, Isolation, Durability). Эти принципы критически важны для обеспечения надежности и предсказуемости обработки данных.

Преимущества Kafka ACID:
1. Долговечность (Durability): Kafka сохраняет данные в дисковой памяти, что обеспечивает их сохранность даже в случае сбоя системы.
2. Консистентность (Consistency): При правильной настройке Kafka обеспечивает, что все потребители получают одни и те же данные в одном и том же порядке.
3. Изолированность (Isolation): Сообщения в Kafka разделены по темам и разделам, что помогает изолировать обработку данных между разными потоками.

Недостатки Kafka ACID:
1. Атомарность (Atomicity): Kafka не всегда гарантирует атомарность на уровне сообщений. В некоторых случаях могут возникнуть дублирующиеся сообщения или пропуски, если не использовать дополнительные инструменты, такие как Kafka Transactions.
2. Сложность настройки: Для достижения ACID-свойств в Kafka требуется сложная настройка и управление, включая конфигурацию репликации и транзакций.

Преимущества Airflow ACID:
1. Атомарность (Atomicity): Airflow обеспечивает атомарность на уровне задач. Если задача завершилась с ошибкой, весь DAG (Directed Acyclic Graph) можно повторно запустить или восстановить с точки сбоя.
2. Консистентность (Consistency): Airflow поддерживает строгую последовательность выполнения задач, обеспечивая консистентное состояние данных.
3. Управление зависимостями: Airflow позволяет управлять зависимостями между задачами, что упрощает обеспечение изолированности и консистентности данных.

Недостатки Airflow ACID:
1. Производительность: В отличие от Kafka, Airflow не предназначен для обработки данных в реальном времени. Его основное назначение – управление долгосрочными и сложными рабочими процессами.
2. Долговечность (Durability): Хотя Airflow сохраняет состояние задач и DAG-ов, он полагается на внешние хранилища данных (например, базы данных) для долговременного хранения данных, что может потребовать дополнительных усилий для обеспечения долговечности.

Таким образом, Apache Kafka лучше подходит для обработки данных в реальном времени с высокой производительностью и долговечностью, но может потребовать сложной настройки для достижения атомарности и консистентности. Apache Airflow, в свою очередь, отлично справляется с управлением и оркестрацией сложных рабочих процессов, обеспечивая атомарность и консистентность на уровне задач, но не предназначен для потоковой обработки данных в реальном времени.

📊Огромный датасет изображений и их подписей

Pixel Prose - набор данных, который содержит более 16 миллионов разнообразных изображений, полученных из трех различных веб-баз данных (commonPool, CC12M, RedCaps), с подписями, созданными с помощью Google Gemini 1.0 Pro Vision.

Для загрузки датасета с помощью API можно использовать следующий Python-скрипт:
from datasets import load_dataset
# for downloading the whole data
ds = load_dataset("tomg-group-umd/pixelprose")

⚡️💡Open-source cистема оркестрации контейнеров обработки данных для запуска AI-систем

dstack— это механизм оркестрации контейнеров с открытым исходным кодом, предназначенный для рабочих нагрузок ИИ в любом облаке или центре обработки данных.

Поддерживаемые этой технологией поставщики облачных услуг включают AWS, GCP, Azure, OCI, Lambda, TensorDock, Vast.ai, RunPod и CUDO.

Если на устройстве имеются стандартные учетные данные AWS, GCP, Azure или OCI, сервер dstack подхватит их автоматически.

🖥GitHub
🟡Документация

😎💡Яндекс разработал и выложил в опенсорс библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей

YaFSDP — это собственная версия Яндекса для реализации подхода FSDP (от англ. Fully Sharded Data Parallel — параллелизм с полным разбиением данных. При этом YaFSDP лучше оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training (предварительное обучение), supervised fine-tuning (обучение с учителем), alignment (выравнивание модели). Благодаря этому библиотека стала использовать ровно столько памяти GPU, сколько нужно для обучения, а коммуникацию между графическими процессорами теперь ничто не замедляет.

На сегодняшний день это наиболее эффективный метод ускорения коммуникации между графическими процессорами (GPU), так как библиотека позволяет сократить до 25% время обучения языковых моделей (LLM) с открытым исходным кодом — результат зависит от архитектуры и числа параметров нейросети. При этом экономия ресурсов графических процессоров может достигать 20%.

YaFSDP оптимизирует загрузку вычислительных ресурсов графических процессоров (GPU). Библиотека лучше всего работает именно с большими моделями, поскольку их обучение требует и больших затрат вычислительных ресурсов.

Теперь YaFSDP могут применять сторонние компании, разработчики, исследователи и учёные как в России, так и в других странах, кто занимается обучением больших языковых моделей.

YaFSDP особенно пригодится тем, кто не может позволить себе использование мощных компьютерных систем и для тех, кто использует GPU в облаке. Например, это касается небольших стартапов и студенческих проектов.

Какую проблему решает YaFSDP?
Эта библиотека отлично подходит для решения проблемы "узкого горлышка", когда коммуникации между GPU существенно ограничивают скорость обучения модели независимо от скорости вычислений. Коммуникации между GPU при этом часто неэффективны, так как они используют не 100% мощностей. Следовательно, обучение LLM — это очень дорогой этап, а GPU везде сильно ограничены (особенно в РФ). Таким образом, YaFSDP позволяет значительно ускорить процесс обучения за счет оптимального использования ресурсов GPU.

Как итог, можно отметить ,что YaFSDP дает существенный выигрыш в производительности и потреблении памяти. Библиотека лучше всего подойдет для использования в текстовых генеративных моделях с архитектурой трансформера с несколькими слоями (многослойный перцептрон). Для претрейна (первого этапа обучения модели на ранее собранном большом наборе данных) модели в 70 миллиардов параметров, применение библиотеки позволит сэкономить ресурсы порядка 150 GPU.

📊💡Датасет для анализа видео

CinePile — это датасет для понимания видео на основе вопросов и ответов. Он был создан с использованием передовых моделей больших языковых моделей (LLM). Датасет включает примерно 300 000 точек данных для обучения и 5 000 точек данных для тестирования.

Каждая строка в наборе данных состоит из вопроса (dtype: string), пяти вариантов ответа (dtype: list) и ключа ответа (answer_key) (dtype: string). Во вспомогательных столбцах хранятся название фильма, жанр фильма, названия видеоклипов и т. д.
Для загрузки датасета через Python-скрипт можно воспользоваться следующей командой:
from datasets import load_dataset
dataset = load_dataset("tomg-group-umd/cinepile")

📊Датасет персонажей от реальных до вымышленных

Character Codex - датасет, который содержит данные о 15 939 персонажах из самых разных источников, от аниме до исторических личностей, ученых и популярных персонажей, как вымышленных, так и не вымышленных!

Потенциальные варианты использования - это использование для генерации синтетических данных, анализа данных о ролевых играх и многого другого.
Для загрузки датасета можно использовать скрипт Python:
from datasets import load_dataset
dataset = load_dataset("NousResearch/CharacterCodex")

💡🔎Интересный и полезный репозиторий
Jailbreak - репозиторий, который содержит датасет, состоящий из 15 140 запросов ChatGPT с Reddit, Discord, курупыных веб-сайтов и наборов данных с открытым исходным кодом (включая 1 405 запросов для взлом ответов gpt).
По словам разработчиков, они собрали 15 140 сообщений с этих четырех платформ в период с декабря 2022 по декабрь 2023 года.

💡🔎Что такое NoORM: преимущества и недостатки
NoORM (No Object-Relational Mapping) — это подход к работе с базами данных, который отвергает использование традиционных ORM (Object-Relational Mapping) фреймворков. Вместо этого разработчики напрямую взаимодействуют с базой данных, используя нативные SQL-запросы или другие специализированные методы работы с данными.
Преимущества NoORM:
1. Оптимизация запросов: Поскольку разработчики пишут SQL-запросы вручную, они могут оптимизировать их до мельчайших деталей, что нередко приводит к значительному улучшению производительности по сравнению с запросами, сгенерированными ORM.
2. Минимизация накладных расходов: Использование ORM добавляет дополнительные слои абстракции, которые могут замедлять выполнение операций. NoORM устраняет эти слои, что также может улучшить производительность.
3. Поддержка сложных структур данных: NoORM позволяет работать с нестандартными структурами данных и отношениями, которые могут быть трудны для реализации через ORM.
4. Понимание процессов: Разработчики имеют полное представление о том, как данные запрашиваются и изменяются, что упрощает отладку и оптимизацию.
Недостатки NoORM:
1. Поддержка кода: Изменение схемы базы данных может потребовать обновления большого количества кода, что усложняет поддержание и развитие системы.
2. Пониженная переносимость: Код, написанный для одной СУБД, может потребовать значительных изменений для работы с другой СУБД, что снижает переносимость приложения.
3. Повторяющийся код: Без ORM разработчики могут столкнуться с необходимостью многократно писать однотипные операции с базой данных, что увеличивает объем кода и снижает его читабельность.
4. Риск SQL-инъекций: При написании ручных SQL-запросов выше риск ошибок, ведущих к уязвимостям, таким как SQL-инъекции. Разработчики должны быть особенно внимательны к валидации и экранированию входных данных.

Таким образом, NoORM является мощным подходом для тех, кто хочет иметь полный контроль над взаимодействием с базой данных и оптимизировать производительность своих приложений. Однако он требует большего уровня знаний и внимательности со стороны разработчиков.