Big Data Science [RU]

📊😎💡🤖Каталог датасетов для обнаружения и сегментации объектов
SAM + Optical Flow = FlowSAM
FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов
Для обучения модели было использовано множество датасетов, которые стали доступны для загрузки по этой ссылке

💡Датасет для обнаружения проблем в коде
SWE-bench - датасет, который был разработан для того, чтобы предоставить разнообразный набор проблем кодовой базы, которые можно было бы проверить с помощью юнит-тестов в репозитории. Полный тестовый сплит SWE-bench включает в себя 2 294 пары issue-commit в 12 репозиториях python.
Таким образом, датасет предлагает новую задачу: решение проблем при наличии полного репозитория и проблемы на GitHub.
Для загрузки датасет с помощью Python-скрипта можно возпользоваться следующей командой:
from datasets import load_dataset
dataset = load_dataset("princeton-nlp/SWE-bench")

💡SQL vs NoSQL: преимущества и недостатки
SQL и NoSQL - это два основных подхода к хранению и обработке данных. Каждый из них имеет свои преимущества и недостатки, и выбор между ними зависит от конкретных потребностей проекта. Давайте рассмотрим основные различия между ними.
SQL (Structured Query Language) базы данных представляют собой реляционные базы данных, а также СУБД экосистемы Hadoop, использующие структурированные таблицы для хранения данных.
Преимущества SQL:
1. Структурированность данных: Таблицы, связи и схемы делают данные легко понятными и легко управляемыми.
2. ACID-согласованность: SQL базы данных гарантируют соблюдение принципов ACID (атомарность, согласованность, изолированность, долговечность), обеспечивая надежность транзакций.
3. Универсальный язык запросов: SQL предоставляет богатый и универсальный набор инструментов для выполнения сложных запросов и аналитики. В отдельных СУБД могут быть лишь небольшие отклонения в виде SQL-диалектов
Недостатки SQL:
1. Горизонтальное масштабирование: Традиционные SQL базы данных часто сталкиваются с ограничениями масштабирования при большом объеме данных.
2. Сложность схемы: Изменение схемы данных может быть сложным и затратным процессом.
3. Ограниченная гибкость: Некоторые SQL базы данных могут иметь ограничения на типы данных или структуры, что может быть неподходящим для некоторых видов данных.
NoSQL базы данных, с другой стороны, не используют традиционные таблицы, а вместо этого предлагают гибкие модели данных.
Преимущества NoSQL:
1. Гибкость структуры данных: NoSQL базы данных могут легко масштабироваться и изменяться без необходимости перестраивать схему.
2. Горизонтальное масштабирование: Многие NoSQL базы данных легко масштабируются горизонтально, обеспечивая высокую производительность при больших объемах данных.
3. Поддержка неструктурированных данных: NoSQL базы данных хорошо подходят для хранения и обработки неструктурированных данных, таких как текст, изображения и видео.
Недостатки NoSQL:
1. Недостаточная поддержка ACID: Многие NoSQL базы данных жертвуют ACID-согласованностью ради производительности или гибкости.
2. Сложность консистентности: При масштабировании и распределении данных NoSQL базы данных могут сталкиваться с проблемами поддержания консистентности данных.
Таким образом, в зависимости от требований проекта и приоритетов по производительности, масштабируемости и гибкости, выбор между SQL и NoSQL базами данных может быть разным.

😎💡Где взять данные? Несколько открытых репозиториев
Awesome Data - Github репозиторий. Список открытых наборов данных с прямыми ссылками на скачивание. Есть данные с видео, картинками, аудио, и вообще со всем.
Open ML - источник, который включает в себя 20k+ датасетов. Есть также библиотеки для Python и R.
Open Data Registry - хранилище данных от AWS. Тут есть некоторые датасеты, которых больше нигде не найти.
Papers with Code. - подборки датасетов, которые использовались в реальных исследованиях
Dagshub - хранилище, в котором Датасеты удобно поделены по областям применения (NLP, CV, пр.)

💡Опубликован большой датасет для детекции речи размером более 150 тысяч часов на 6000+ языках
Датасет содержит порядка 150 тысяч часов аудио более чем на 6,000 языках. Количество уникальных ISO-кодов данного датасета не совпадает с фактическим количеством языков, так как близкие языки могут кодироваться одним и тем же кодом.
Данные были размечены для задачи детекции голоса при временной дискретизации примерно в 30 миллисекунд (или 512 семплов при частоте дискретизации 16 килогерц).

😎📊Данные, используемые при обучении MA-LMM-модели
MA-LMM (Memory-Augmented Large Multimodal Model) - это большая мультимодальная модель с расширенной памятью для понимания контекста длинных видео.
Модель позволяет использовать длинный контекст за счет существенного сокращения использования памяти графического процессора. Вместо того, чтобы пытаться обрабатывать больше кадров одновременно, как в большинстве существующих моделей, MA-LMM обрабатывает видео онлайн с сохранением прошлой информации в банк памяти.
В открытый доступ выложили данные, на которых обучалась модель. Эти данные представляют собой 2 весьма больших датасета, которые можно загрузить по этой ссылке

💡😎📊Синтетический набор данных Text-to-SQL с открытым исходным кодом
Gretel выпустила крупнейший набор данных Text-to-SQL с открытым исходным кодом для ускорения обучения моделей ИИ
Как утверждают разработчики, по состоянию на апрель 2024 года набор данных считается самым большим и разнообразным синтетическим набором данных преобразования текста в SQL, доступным на сегодняшний день.
Датасет содержит около 23 млн. токенов, включая около 12 млн токенов SQL, а также широкий диапазон уровней сложности SQL, включая подзапросы, одиночные соединения, множественные соединения, агрегации, оконные функции и операции над множествами.
Для загрузки датасета через Python API, необходимо прописать следующи скрипт:
from datasets import load_dataset
dataset = load_dataset("gretelai/synthetic_text_to_sql")

📊📉Подборка Python-библиотек для работы с пространственными данными
Earth Engine API - позволяет получить доступ к обширной коллекции геопространственных данных Google Earth Engine и выполнять задачи анализа с помощью Python.
TorchGeo (PyTorch) - предоставляет инструменты и утилиты для работы с геопространственными данными в PyTorch.
Arcpy (Esri) - это библиотека Python, предоставляемая Esri для работы с геопространственными данными на платформе ArcGIS. Она позволяет автоматизировать задачи геообработки и выполнять пространственный анализ.
Rasterio - это библиотека для чтения и записи геопространственных растровых наборов данных. Она обеспечивает эффективный доступ к растровым данным и позволяет выполнять различные операции с геоданными.
GDAL (Open-Source Geospatial Foundation) - это мощная библиотека для чтения, записи и манипулирования геопространственными растровыми и векторными форматами данных.
Shapely - это библиотека для геометрических операций в Python. Она позволяет создавать, манипулировать и анализировать геометрические объекты.
RSGISLib - имеет функции для обработки тепловых изображений, включая радиометрическую коррекцию, оценку температуры поверхности земли.
WhiteboxTools - это библиотека для геопространственного анализа и обработки данных. Она предлагает полный набор инструментов для таких задач, как анализ рельефа, гидрологическое моделирование и обработка данных LiDAR.

📊😎💡Выпущены два самых огромных открытых датасета для распознавания текста
Наборы данных содержат миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов
VQA - датасет, который используется для разработки и оценки моделей машинного обучения, способных отвечать на вопросы, связанные с изображениями. В датасете каждому изображению приписаны вопросы, а также правильные ответы на эти вопросы. Этот датасет дополнен аннотациями из проекта idl_data Бриттена. Дополненный датасет можно загрузить с помощью Python-скрипта:
from datasets import load_dataset
dataset = load_dataset("pixparse/idl-wds")
PDFA - это набор документов, отфильтрованный из корпуса SafeDocs, он же CC-MAIN-2021-31-PDF-UNTRUNCATED. Этот корпус предназнается для всестороннего анализа pdf-документов. Дополненный датасет можно загрузить с помощью Python-скрипта:
from datasets import load_dataset
dataset = load_dataset("pixparse/pdfa-eng-wds")

⚔️Реляционные СУБД vs NOSQL СУБД: преимущества и недостатки
Реализация баз данных – это фундаментальный элемент современных информационных технологии.В мире баз данных существует две основные парадигмы: реляционные СУБД и NoSQL СУБД. Каждая из них имеет свои преимущества и недостатки, которые стоит учитывать при выборе подходящей для конкретной задачи.
Реляционные базы данных основаны на модели данных, известной как реляционная модель. В таких базах данных данные хранятся в виде таблиц, которые состоят из строк (записей) и столбцов (полей). Структура данных определяется заранее заданной схемой, которая описывает типы данных каждого столбца.
Преимущества реляционных СУБД:
1. Структурированность данных: Реляционные СУБД хранят данные в виде таблиц, что делает их легко понятными и организованными.
2. ACID-свойства: Гарантирует атомарность, согласованность, изолированность и долговечность транзакций, что делает их надежными для приложений, требующих высокой степени целостности данных.
3. SQL-язык: Мощный и широко используемый язык запросов, обеспечивающий стандартизацию и удобство в работе с данными.
Недостатки:
1. Вертикальное масштабирование: Реляционные СУБД могут столкнуться с ограничениями вертикального масштабирования, что означает, что при достижении предела производительности их придется переносить на более мощные, и, часто, более дорогие серверы.
2. Сложность схемы: Изменение схемы данных может быть затруднительным и требовать дополнительных усилий и времени.
3. Сложность горизонтального масштабирования: Даже при использовании техник разделения данных, горизонтальное масштабирование реляционных СУБД может быть сложным и требовать дополнительной работы по конфигурации и оптимизации.
NoSQL базы данных разработаны для работы с неструктурированными и полуструктурированными данными. Они предлагают гибкую схему данных, что позволяет хранить данные без явного определения схемы заранее.
Преимущества NOSQL:
1. Гибкость структуры данных: NoSQL СУБД позволяют хранить неструктурированные данные, что делает их идеальным выбором для приложений с изменяющимися требованиями к данным.
2. Горизонтальная масштабируемость: Многие NoSQL базы данных спроектированы с учетом горизонтального масштабирования, что делает их подходящими для работы с большими объемами данных и высокими нагрузками.
Недостатки:
1. Отсутствие ACID-свойств: В отличие от реляционных СУБД, NoSQL базы данных могут жертвовать некоторыми ACID-свойствами в пользу производительности и масштабируемости.
2. Ограниченная поддержка SQL-языка запросов: В некоторых NoSQL СУБД функциональность языка запросов может быть ограничена, что может привести к затруднениям в выполнении сложных запросов или аналитических операций.
Выбор между реляционными и NoSQL СУБД зависит от конкретных требований и характеристик проекта. Реляционные СУБД обеспечивают высокую целостность данных, в то время как NoSQL СУБД позволяют работать с большими объемами неструктурированных данных и обеспечивают гибкость и масштабируемость.

🌎ТОП апрельских ивентов в Data Science
2 апреля - CUP IT 2024. Финал - Онлайн - https://changellenge.com/championships/changellenge-cup-it-2024/
5 апреля - Youth RIGF 2024 - Москва, Россия - https://youth.rigf.ru/
17-18 апреля - Data Fusion 2024 - Москва, Россия - https://data-fusion.ru/conference
20-21 апреля - Merge 2024. Иннополис - Казань, Россия - https://innopolis2024.mergeconf.ru/
23 апреля - CLOUD DAY 2024 - Москва, Россия
26 апреля - Dump - Екатеринбург, Россия - https://dump-ekb.ru/
27 апреля - BIG DATA & ARTIFICIAL INTELLIGENCE DAY - Москва, Россия - https://www.tadviser.ru/a/775734

💡😎💊Google опубликовали новый датасет изображений состояния кожи
SCIN - датасет с открытым доступом, который содержит данные о состоянии кожи. Этот датасет был собран у пользователей-добровольцев Google Search в Соединенных Штатах с помощью специального приложения.
SCIN содержит 10 000+ изображений по распространенным дерматологическим заболеваниям. Материалы включают изображения, историю болезни и информацию о симптомах, а также самостоятельно предоставленный тип кожи по шкале Фитцпатрика.

📄Документация

☁️Ссылка для загрузки

💡📊Данные для обучения, которые использовались в ComCLIP
CLIP (Contrastive Language-Image Pre-Training) — это нейросеть, разработанная OpenAI для выполнения задач визуального, а также языкового понимания. Алгоритмы нацелены на понимание связи между текстом и изображениями.
ComCLIP - улучшенная версия CLIP для сопоставления текстового и графического представления. ComCLIP может смягчать ложные корреляции, вносимые предварительно обученными моделями CLIP, и динамически оценивать важность каждого компонента. Эксперименты проводились на четырех наборах данных для композиционного сопоставления изображений и текстов.
В сети в открытом доступе лежат эти датасеты и найти их можно по этой ссылке

💡😎Датасеты для задачи преобразования текста в звук
FAIR выложили в открытый доступ проект системы для преобразования текста в звук.
Помимо основного проекта также имеются датасеты в JSON-формате.
Подробную инструкцию по использованию датасетов можно найти здесь

📚💡Подборка книг по различным технологиям обработки Big Data
Spark: The Definitive Guide - книга рассказывает о том, как использовать, развертывать и поддерживать Apache Spark с помощью этого всеобъемлющего руководства, написанного создателями фреймворка кластерных вычислений с открытым исходным кодом.
Hadoop. Подробное руководство - книга, в которой досконально и доступно описаны все возможности Apache Hadoop.
Apache Kafka. Потоковая обработка и анализ данных - в книге описаны принципы проектирования Big Data брокера Kafka, гарантии надежности, ключевые API и детали архитектуры
Kubernetes в действии - книга детально рассказывает о Kubernetes – открытом программном обеспечении Google для автоматизации развёртывания, масштабирования и управления приложениями масштабирования и управления Big Data приложениями
Cassandra: The Definitive Guide: Distributed Data at Web Scale - это руководство рассказывает, система управления базами данных Cassandra обрабатывает сотни терабайт данных, сохраняя высокую доступность в нескольких центрах обработки данных
MongoDB: полное руководство - в этой книге детально рассматривается MongoDB – мощная система управления базами данных. Здесь также можно узнать о том, как эта безопасная, высокопроизводительная система обеспечивает гибкие модели данных, высокую их доступность и горизонтальную масштабируемость.

⚔️😎💡ClickHouse vs Greenplum
Clickhouse и GreenPlum - это известные СУБД для анализа больших данных , которые пользуются большой популярностью. Однако существуют критерии, по которым необходимо однозначно выбрать, какую из данных СУБД использовать в той или ино ситуации. Для этого рассмотрим их основные преимущества и недостатки.
Преимущества ClickHouse:
1. Высокая производительность: ClickHouse спроектирован для аналитических задач и обладает высокой скоростью выполнения запросов на чтение больших объемов данных. Это делает его идеальным выбором для аналитики данных и OLAP (аналитической обработки онлайн)
2. Эффективное сжатие данных: ClickHouse использует различные методы сжатия данных, что позволяет значительно сократить объем хранимой информации без потери производительности.
3. Горизонтальное масштабирование: ClickHouse легко масштабируется горизонтально, что позволяет увеличивать производительность системы путем добавления новых узлов.
Недостатки ClickHouse:
1. Ограниченная поддержка транзакций: ClickHouse в основном ориентирован на аналитические задачи и не обладает полноценной поддержкой транзакций, что может быть проблемой для некоторых приложений.
2. Ограниченный набор функций: несмотря на свою производительность, ClickHouse может оказаться недостаточным для некоторых сложных аналитических задач из-за ограниченного набора встроенных функций.
Преимущества Greenplum:
1. Поддержка транзакций: Greenplum предоставляет полноценную поддержку транзакций и ACID (атомарность, согласованность, изолированность, долговечность), что делает его идеальным выбором для OLTP (онлайн-транзакционной обработки) и OLAP приложений.
2. Широкий набор функций: Greenplum предлагает богатый набор встроенных функций и возможностей аналитической обработки, что делает его подходящим для различных типов аналитических задач.
3. Поддержка распределенных транзакций: Greenplum обеспечивает поддержку распределенных транзакций и масштабируется горизонтально, что позволяет обрабатывать большие объемы данных.
Недостатки Greenplum:
1. Сложность управления: Greenplum может потребовать больше усилий и опыта для управления и настройки, особенно при работе с крупными кластерами.
2. Менее эффективное сжатие данных: По сравнению с ClickHouse, Greenplum может не обеспечивать такое же высокое уровень сжатия данных, что может привести к более высокому использованию дискового пространства и меньшей производительности
В конечном итоге, выбор между ClickHouse и Greenplum зависит от конкретных потребностей задачи. ClickHouse лучше подходит для аналитических задач с высокими требованиями к производительности, в то время как Greenplum может быть предпочтительным выбором для приложений, где важна поддержка транзакций и широкий набор функций.

📊😎💡Подборка сервисов для работы с Big Data и интеграции с различными СУБД
DBeaver - сервис, который подходит для интеграции с различными БД, такими как MySQL или Oracle. Данное приложение предназначено ля управления базами данных. Взаимодействовать с реляционными базами данных ему помогает интерфейс JDBC. Редактор DBeaver позволяет применять большое количество дополнительных плагинов и дает подсказки по заполнению кода, подсвечивая синтаксис. Менеджер приложения поддерживает свыше 80 баз данных.
Mixpanel — это система для аналитики и анализа поведения пользователей. Она включает в себя такие функции, как:
1. Сегментирование пользователей
2. Отправка своим пользователям уведомлений внутри приложений
3. A/B тестирование для различных уведомлений
4. Интеграция пользовательских опросов в приложения через Mixpanel Surveys
App Annie — это сервис для аналитики и получения достоверных данных, чтобы принимать важные решения на всех этапах бизнеса мобильных приложений. App Annie поможет изучить конкурентов, состояние рынка, отследить загрузки приложений, доходы, использование, вовлеченность и рекламу. Сервис также позволяет оптимизировать продукты для магазинов приложений и повысить эффективность методов продвижения, показатель удержания и эффективно поддерживать целевую аудиторию. App Annie включает в себя рыночную аналитику, аналитику приложений по нескольким магазинам и аналитику конкурентов.
Adjust — оптимизатор всех процессов продвижения продукта. Собирает сведения о том, откуда пользователи перешли на страницу вашего приложения. Он представляет собой набор инструментов для измерений и аналитики, с помощью которых маркетологи могут наблюдать за развитием своих приложений и направлять его в течение всего жизненного цикла продукта

💡⚔️Sensei подскажет
Sensei - это сравнительно новый Python-инструмент генерации синтетических данных с использованием таких систем, как OpenAI, MistralAI or AnthropicAII.
Для запуска необходимо произвести следующую предустановку:
pip install openai mistralai numpy
Разработчики также написали подробную инструкцию по настройке.

😎📊Готовый набор аннотированных изображений
Набор данных ImageNet включает в себя 14 197 122 аннотированных изображений, структурированных в соответствии с иерархией WordNet.
С начала 2010 года этот набор данных используется в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC) и служит стандартом для задач классификации изображений и обнаружения объектов.
Этот обширный публичный набор данных содержит изображения, которые были вручную аннотированы для целей обучения.

🌲💡Новый датасет о лесах
FinnWoodlands - это датасет, который включает в себя 4226 объектов, аннотированных вручную, из которых 2562 объекта (60,6%) соответствуют стволам деревьев, классифицированным в три различные категории экземпляров, а именно "Ель", "Береза" и "Сосна".
Помимо стволов деревьев, существуют аннотации объектов "Препятствия", а также семантические классы "Озеро", "Земля" и "Дорожка".
Этот датасет может быть использован в различных приложениях, где важно целостное представление окружающей среды. В нем предоставлен начальный бенчмарк, используя три модели для сегментации экземпляров, паноптической сегментации и заполнения глубины.
В целом, FinnWoodlands состоит из стереоизображений RGB, облаков точек и карт разреженной глубины, а также справочных аннотаций для семантической сегментации.