Big Data Science [RU]

🔎📝Датасеты для обработки естественного языка
Sentiment analysis - набор различных датасетов, каждый из которых содержит необходимую информацию для анализа тональности текста. Так, данные, взятые с IMDb – это бинарный набор для анализа настроений. Он состоит из 50 000 отзывов из базы данных фильмов (IMDb), помеченных как положительные или отрицательные.
WikiQA - представляет собой набор пар вопросов и предложений. Они были собраны и аннотированы для исследования ответов на вопросы в открытых доменах. WikiQA создана с использованием более естественного процесса. Она включает вопросы, для которых не существует правильных предложений, что позволяет исследователям работать над триггером ответа, критически важным компонентом любой системы QA.
Amazon Reviews dataset - этот набор данных состоит из нескольких миллионов отзывов покупателей Amazon и их оценок. Датасет используется для возможности обучения fastText, анализируя настроения покупателей. Идея состоит в том, что несмотря на огромный объем данных – это реальная бизнес-задача. Модель обучается за считанные минуты. Именно это отличает Amazon Reviews от аналогов.
Yelp dataset - набор данных Yelp – это множество предприятий, отзывов и пользовательских данных, которые можно применить в Pet-проекте и научной работе. Также можно использовать Yelp для обучения студентов во время работы с базами данных, при изучении NLP и в качестве образца производственных данных. Датасет доступен в виде файлов JSON и является «классикой» в обработке естественного языка.
Text classification - классификация текста - это задача присвоения предложению или документу соответствующей категории. Категории зависят от выбранного набора данных и могут варьироваться в зависимости от тем. Так, TREC – это набор данных для классификации вопросов, который состоит из открытых вопросов, основанных на фактах. Они разделены на широкие семантические категории. Датасет имеет шестиклассную (TREC-6) и пятидесятиклассную (TREC-50) версии. Обе версии включают 5452 обучающих и 500 тестовых примеров.

📊📈📉🤖Pandas AI — ИИ-библиотека для анализа Big Data
Pandas AI — это библиотека Python со встроенным генеративным искусственным интеллектом или языковой моделью.
Принцип работы: в редакторе кода задаете любой вопрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным.
Установить Pandas AI можно с помощью следующей команды:
pip install pandasai
После установки необходимо импортировать библиотеку pandasai и функцию LLM (Large Language Model):
import pandas as pd
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
Однако, Pandas AI при этом не позиционирует себя как замена Pandas. Как отмечают разработчики, это скорее некоторое улучшение для стандартной Pandas.
Также разработчики предупреждают, что весь фрейм данных каждый раз передается вместе с вопросом, поэтому решение далеко не идеально для обработки больших наборов данных.

⚔️⚡️🤖MDS vs PCA или что лучше использовать при снижении размерности данных
Многомерное шкалирование (Multidimensional Scaling, MDS) и метод главных компонент (Principal Component Analysis, PCA) являются двумя популярными методами анализа данных, которые широко применяются в области статистики, машинного обучения и визуализации данных. Оба метода имеют цель сжать информацию, содержащуюся в многомерных данных, и представить ее в удобном для анализа виде. Несмотря на сходство в их целях, MDS и PCA имеют существенные отличия в своих подходах и применимости.
Метод главных компонент (PCA) - является статистическим методом, используемым для снижения размерности данных. Он ищет линейные комбинации исходных переменных, называемые главными компонентами, которые объясняют наибольшую часть дисперсии в данных.
Преимущества PCA:
1. Устранение мультиколлинеарности: PCA может использоваться для устранения мультиколлинеарности, присущей набору исходных переменных. Он позволяет объединить связанные переменные в главные компоненты, устраняя избыточность информации.
2. Скорость вычислений: PCA обычно является достаточно эффективным с точки зрения вычислительных затрат.
3. Устойчивость к шуму: PCA проявляет большую устойчивость к шуму в данных. В PCA доминирующие компоненты (главные компоненты) объясняют наибольшую часть дисперсии в данных, тогда как менее значимые компоненты могут отображать шум. Это позволяет PCA лучше разделять сигналы и шум, что особенно полезно при анализе данных с низким сигнал-шумом соотношением.
Недостатки PCA:
1. Линейная зависимость: PCA основан на предположении о линейной зависимости между переменными. В случае нелинейной зависимости, PCA может не обнаружить важную структуру данных.
2. Потеря интерпретируемости: после проецирования данных на пространство главных компонент, их интерпретация может быть затруднена, так как новые переменные являются линейными комбинациями исходных переменных.
3. Чувствительность к выбросам: PCA может быть чувствительным к наличию выбросов в данных, так как они могут сильно влиять на распределение главных компонент.

Многомерное шкалирование (MDS) - является методом визуализации данных, который стремится сохранить относительные расстояния между объектами в исходных данных при проецировании их на низкоразмерное пространство.
Преимущества MDS:
1. Учет нелинейной зависимости: MDS не требует предположения о линейной зависимости между переменными и может обнаруживать нелинейные отношения в данных.
2. Сохранение относительных расстояний: MDS стремится сохранить относительные расстояния между объектами в исходных данных при визуализации. Это позволяет обнаружить структуру данных, которая может быть утрачена в процессе снижения размерности.
3. Интерпретируемость: MDS обеспечивает относительно легкую интерпретацию проекций данных на низкоразмерное пространство, так как они сохраняют относительные расстояния исходных данных.
Недостатки MDS:
1. Вычислительная сложность: MDS может быть вычислительно сложным при работе с большими наборами данных, особенно когда требуется сохранение точных относительных расстояний между всеми парами объектов.
2. Зависимость от метрики: MDS требует определения метрики расстояния между объектами. Выбор некорректной метрики может привести к искажению результатов.

Таким образом, PCA и MDS являются достаточно эффективными инструментами анализа данных. PCA широко используется для снижения размерности данных и выявления структуры в линейно зависимых переменных, в то время как MDS предоставляет возможность сохранить относительные расстояния и обнаружить нелинейные отношения между объектами. Выбор между этими методами зависит от специфики данных и целей анализа. При необходимости снижения размерности и обнаружении главных компонент, PCA может быть предпочтительным выбором, в то время как MDS рекомендуется для визуализации и сохранения относительных расстояний в данных.

😎🧠⚡️Одни из лучших стартапов для генерации синтетических данных различных отраслей
Hazy — британский стартап по генерации синтетических данных, целью которого является обучение необработанных банковских данных для финтех-отраслей.
Tonic.ai - предлагает автоматизированный и анонимный способ синтеза данных для использования в тестировании и разработке различного ПО. Данная платформа также реализует деидентификацию базы данных, что означает отфильтровывание личных данных (PII) из реальных данных, а также защиту конфиденциальности клиентов.
Mostly.AI — это базирующаяся в Вене платформа синтетических данных, которая обслуживает такие отрасли, как страхование, банковское дело и телекоммуникации. Он обеспечивает передовой ИИ и первоклассную конфиденциальность, извлекая шаблоны и структуру из исходных данных для подготовки совершенно разных наборов данных.
YData — стартап из Португалии, который помогает специалистам по данным решать проблемы низкого качества данных или доступа к большим пользовательским данным с помощью масштабируемых решений ИИ. Выполняя тесты, такие как атаки на вывод, инженеры YData несут ответственность за любые риски утечки или повторной идентификации личности. Поэтому они используют метод TSTR (Train Synthetic Test Real), который оценивает возможность использования данных, сгенерированных ИИ, для обучения моделей прогнозирования.
Anyverse - создает синтетическую 3D-среду. Anyverse визуализирует и настраивает различные сценарии для демонстрационных данных с помощью механизма трассировки лучей. Технология вычисляет взаимодействие световых лучей с объектами сцены на физическом уровне.
Rendered.AI - стартап, который генерирует синтетические наборы данных на основе физики для спутников, автономных транспортных средств, робототехники и здравоохранения.
Oneview — это израильская платформа, основанная на науке о данных, которая использует спутниковые снимки и технологии дистанционного зондирования для оборонной разведки.

🤔🤖Так ли хорош Trino: преимущества и недостатки
Trino - это распределенный движок обработки запросов SQL для анализа данных в больших масштабах. Он предназначен для выполнения аналитических запросов на больших объемах данных, которые могут быть распределены по нескольким узлам или кластерам.
Преимущества Trino:
1. Масштабируемость: Trino может эффективно работать с огромными объемами данных, разделенными по нескольким узлам. Он может горизонтально масштабироваться, добавляя новые узлы к кластеру и распределяя нагрузку для обработки запросов.
2. Высокая производительность с Big Data: Trino оптимизирован для выполнения аналитических запросов на больших данных. Он использует параллельную обработку запросов, что позволяет ускорить выполнение сложных запросов и улучшить общую производительность.
3. Гибкость и совместимость: Trino поддерживает стандарт SQL и может работать с различными источниками данных, такими как Hadoop HDFS, Amazon S3, Apache Kafka, MySQL, PostgreSQL и многими другими. Он также интегрируется с различными инструментами и платформами анализа данных.
Недостатки Trino:
1. Сложность настройки: Настройка и управление Trino может быть сложным заданием, особенно для непрофессионалов. Он требует наличия квалифицированных специалистов для правильной настройки и оптимизации производительности.
2. Ограниченная поддержка административных функций: Trino сфокусирован на выполнении аналитических запросов и обработке данных, поэтому у него может быть ограниченная поддержка административных функций, таких как мониторинг, резервное копирование и восстановление данных. Вам может понадобиться дополнительные инструменты или настройки для этих задач.
3. Отсутствие встроенной системы управления ресурсами: Trino не имеет встроенной системы управления ресурсами или планировщика. Это означает, что вы должны использовать сторонние инструменты или настройки для эффективного распределения ресурсов между запросами и контроля за производительностью кластера.
4. Зависимость от сторонних инструментов и платформ: Trino интегрируется с различными инструментами и платформами анализа данных, но его функциональность может зависеть от этих сторонних компонентов. Это может создать сложности в управлении и обновлении всей экосистемы, особенно при использовании новых версий или дополнительных интеграций.
5. Не подходит для транзакционных операций: Trino не предназначен для выполнения транзакционных операций, таких как вставка, обновление и удаление данных. Если вам требуется обработка транзакций, вам следует рассмотреть другие системы, специализирующиеся на этой области.

В целом, Trino является мощным инструментом для анализа данных в больших масштабах, особенно в сфере выполнения аналитических запросов на больших объемах данных. Он обеспечивает высокую производительность и гибкость, позволяет работать с различными источниками данных и интегрироваться с другими инструментами и платформами анализа данных. Однако, при использовании Trino необходимо учитывать его недостатки и принимать во внимание специфические требования проекта и инфраструктуры.

📖💡🤔 Топ 6 датасетов для Computer Vision
CIFAR-10 - содержит 60 тысяч цветных изображений размером 32x32 с 10 классами (животные и объекты реального мира). Каждый класс состоит из 6000 изображений. Этот массив данных содержит 50000 обучающих изображений и 10000 тестовых изображений. Классы взаимно исключают друг друга и между ними нет пересечений.
Kinetics-700 - Это большой массив видео, состоящий из 650 тысяч клипов, описывающих 700 классов человеческих действий. В видео включены такие взаимодействия «человек-предмет», как игра на музыкальных инструментах, и такие взаимодействия «человек-человек», как объятия. Каждый класс действий содержит не менее 700 видеоклипов, а каждый клип аннотирован классом действия, длящимся более 10 секунд.
IMDB-Wiki - Один из крупнейших публично доступных массивов данных человеческих лиц с гендером, возрастом и именем. Суммарно он содержит 523051 изображений, 460723 лица представляют собой фотографии 20284 знаменитостей с IMDb и 62328 знаменитостей с Википедии.
Cityscapes — это база данных, содержащая разнообразный набор стереографических видеоклипов, записанных на улицах пятидесяти городов. Клипы снимались в течение длительного времени при различном освещении и погодных условиях. Cityscapes содержит семантическую сегментацию экземпляров объектов с попиксельной точностью для 30 классов, разделённых на 8 категорий. Он обеспечивает попиксельные аннотации 5000 кадров и приблизительные аннотации 20000 кадров.
Fire and Smoke Dataset - Это массив данных из более семи тысяч уникальных изображений в разрешении HD. Он состоит из фотографий начинающихся пожаров и дыма, снятых мобильными телефонами в реальных ситуациях. Снимки сделаны в широком диапазоне освещения и погодных условий. Этот массив данных можно использовать для распознавания и обнаружения огня и дыма, а также распознавания аномалий.
FloodNet Dataset - Этот массив состоит из изображений высокого разрешения, сделанных с беспилотных дронов. Изображения содержат подробные семантические аннотации повреждений, вызванных ураганами.

⚔️🤖🧠Spark DataFrame vs Pandas Dataframe: преимущества и недостатки
Spark DataFrame и Pandas DataFrame - это структуры данных, предназначенные для удобной работы с табличными данными в Python, но они имеют некоторые отличия в своем функционале и способе обработки данных.
Spark DataFrame является основным компонентом Apache Spark, распределенной вычислительной платформы для обработки больших объемов данных. Он представляет собой распределенную коллекцию данных, организованную в виде именованных столбцов.
Pandas DataFrame - это структура данных, предоставляемая библиотекой Pandas, которая обеспечивает мощные инструменты для анализа и манипулирования табличными данными. Pandas DataFrame представляет собой двумерный маркированный массив данных, состоящий из рядов и столбцов, и подобен таблице базы данных или электронной таблице.
Преимущества Spark Dataframe:
1. Распределенная обработка данных: Spark Dataframe разработан для обработки больших объемов данных и может работать с данными, которые не помещаются в память одного узла. Он распределяет данные и вычисления по кластеру, что позволяет достичь высокой производительности.
2. Поддержка языков программирования: Spark Dataframe поддерживает несколько языков программирования, включая Python, Scala, Java и R. Это позволяет разработчикам использовать предпочитаемый им язык при работе с данными.
3. Поддержка разных источников данных: Spark Dataframe может работать с различными источниками данных, такими как Hadoop Distributed File System (HDFS), Apache Hive, Apache HBase, Apache Cassandra и многими другими. Он предоставляет удобные API для работы с разными форматами данных.
Недостатки Spark Dataframe:
1. Сложность настройки и управления кластером: Spark требует настройки и управления кластером для распределенной обработки данных. Это может быть сложным для начинающих пользователей или для проектов с ограниченными ресурсами.
2. Медленный запуск: Запуск Spark-кластера может занимать время, особенно если требуется настройка сети и других параметров. В случае маленьких наборов данных это может быть неэффективным и занимать больше времени, чем обработка данных самим Spark.

Преимущества Pandas Dataframe:
1. Простота использования: Pandas Dataframe предоставляет простой и интуитивно понятный API для работы с данными. Он предлагает множество функций для фильтрации, сортировки, группировки и агрегации данных, что делает его удобным для анализа данных.
2. Большое сообщество пользователей: Pandas является очень популярным инструментом в сообществе анализа данных и машинного обучения. Это означает, что есть множество ресурсов, документации и сообществ, где можно получить помощь и поддержку.
3. Высокая производительность на небольших наборах данных: Pandas оптимизирован для работы с относительно небольшими наборами данных, которые могут поместиться в память одного узла. В таких случаях Pandas может быть более быстрым, чем Spark.
Недостатки Pandas Dataframe:
1. Ограничения памяти: Pandas Dataframe хранит все данные в памяти, поэтому работа с большими наборами данных может быть ограничена доступной памятью на компьютере. Это может вызвать проблемы с производительностью или даже привести к сбоям программы.
2. Ограниченная масштабируемость: Pandas предназначен для работы на одном узле и не может эффективно масштабироваться для распределенной обработки данных. Если у вас есть большой объем данных, который не помещается в память одного узла, Pandas может стать неэффективным.
Таким образом, выбор между Spark Dataframe и Pandas Dataframe зависит от конкретных потребностей. Если есть большие объемы данных и требуется распределенная обработка, то Spark Dataframe может быть предпочтительнее. Если же вы работаете с небольшими наборами данных и ищете простой и быстрый способ анализа данных, то Pandas Dataframe может быть лучшим выбором.

📉📊📈Топ 6 инструментов для анализа данных любой природы
DataRobot - инструмент для масштабирования возможностей машинного обучения. Содержит массивную библиотеку моделей с открытым исходным кодом и собственной разработки. Решает сложные проблемы в области Data Science. Предоставляет полностью объяснимый ИИ с помощью удобных для человека визуальных представлений. К минусу можно отнести цену, однако доступна бесплатная пробная версия
Alteryx объединяет аналитику, машинное обучение, науку о данных и автоматизацию процессов в единую сквозную платформу. Данная платформа принимает данные с сотен других хранилищ (включая Oracle, Amazon и Salesforce), позволяя тем самым тратить больше времени на анализ и меньше на поиск. Alteryx позволяет быстро создавать прототипы моделей машинного обучения и конвейеров с помощью автоматизированных блоков обучения моделей. Она помогает легко визуализировать данные на протяжении всего пути решения задач и моделирования.
H2O - это инструмент машинного обучения с открытым исходным кодом и распределенной памятью, обладающий линейной масштабируемостью. Он поддерживает почти все популярные статистические алгоритмы и алгоритмы машинного обучения, включая обобщенные линейные модели, глубокое обучение и машины с градиентным усилением. H2O принимает данные непосредственно из Spark, Azure, Spark, HDFS и различных других источников в свое распределенное хранилище ключевых значений in-memory.
SPSS Statistics - предназначена для решения деловых и исследовательских задач посредством детального анализа, проверки гипотез и прогнозной аналитики. SPSS может читать и записывать данные из электронных таблиц, баз данных, текстовых файлов ASCII и других статистических пакетов. Она может читать и записывать данные во внешние таблицы реляционных баз данных через SQL и ODBC.
RapidMiner - поддерживает все этапы метода машинного обучения, включая подготовку данных, визуализацию результатов, проверку модели и оптимизацию. Помимо собственной коллекции наборов данных, RapidMiner предоставляет несколько вариантов создания базы данных в облаке для хранения огромных объемов данных. Существует возможность хранить и загружать данные с различных платформ, таких как NoSQL, Hadoop, RDBMS и др.
Weka - это набор инструментов визуализации и алгоритмов для анализа данных и прогностического моделирования. Все они доступны бесплатно по лицензии GNU General Public License. Пользователи могут экспериментировать со своими наборами данных, применяя различные алгоритмы, чтобы увидеть, какая модель дает наилучший результат. Затем они могут использовать инструменты визуализации для изучения данных.

🤖💥🧠Малоизвестные, но достаточно полезные-фреймворки для DL
1. ZenML - это фреймворк MLOps, который позволяет создавать готовые к использованию конвейеры машинного обучения. Он предоставляет высокоуровневые абстракции, позволяющие специалистам по обработке данных полностью управлять конвейером, вплоть до его развертывания в продакшн. В отличие от Airflow, который ориентирован на инженеров данных, ZenML упрощает работу с объектами Pandas и PyTorch, не требуя от пользователя глубокого понимания инфраструктуры и инструментов развертывания. Data Scientistу достаточно описать желаемую структуру конвейера, а ZenML возьмет на себя остальные детали и настройки.
2. MLRun - представляет собой дополнительный фреймворк для управления конвейерами машинного обучения. Он предоставляет стандартизацию для конфигурационных файлов, окружений, параметров и источников данных, тем самым снимая необходимость беспокоиться о месте запуска конвейера.
3. Metaflow - это библиотека, предназначенная для управления проектами в области Data Science, разработанных на языках Python или R. Изначально Metaflow был создан в компании Netflix с целью повышения производительности Data Scientist'ов, которые занимаются разнообразными проектами - от классической статистики до современного глубокого обучения.
4. Kedro разработан для создания многомодульного кода MLOps, который обладает свойствами воспроизводимости и поддерживаемости. Он использует принципы программной инженерии и применяет их к коду машинного обучения. Важные концепции, применяемые в Kedro, включают модульность, разделение задач и управление версиями. Кроме того, Kedro предлагает веб-интерфейс для визуализации конвейеров.
5. Seldon Core является платформой MLOps, разработанной для оптимизации рабочих процессов машинного обучения. Она предоставляет набор инструментов, включающих журналирование, расширенные метрики, возможность тестирования (например, A/B-тестирование), масштабирование и преобразование моделей в микросервисы с использованием протоколов REST или GRPC.
6. Flyte представляет собой MLOps-платформу, предназначенную для отслеживания, обслуживания и автоматизации рабочих процессов машинного обучения, включая процессы, связанные с Kubernetes. Она обеспечивает возможность воспроизводить выполнение моделей машинного обучения путем отслеживания изменений модели, управления версиями и контейнеризации модели вместе с ее зависимостями. Flyte предлагает как интерфейс командной строки (CLI), так и веб-интерфейс для удобного взаимодействия с платформой.

💥ТОП-5 июньских ивентов в Data Science
8 июня - VK Cloud Conf 2023 - Москва, Россия - https://mcs.mail.ru/events/vk-cloud-conf23
21 июня - Artificial Intelligence Day - Онлайн - https://www.tadviser.ru/a/710157
26-27 июня - Saint HighLoad++ 2023 - Санкт-Петербург - Россия - https://highload.ru/spb/2023
28-30 июня - TECH WEEK - Москва, Россия - https://techweek.moscow/
29-30 июня - Saint TeamLead Conf 2023 - Санкт-Петербург - Россия - https://teamleadconf.ru/spb/2023

🔥💥Достаточно полезные платформы веб-аналитики данных на сегодняшний день
Segment — это веб-платформа и API для веб-аналитики и сбора данных о пользователях для дальнейшей их отправки на сотни инструментов или хранилищ данных. С помощью Segment можно экспортировать данные в любую внутреннюю систему и приложение, воспроизводить исторические данные, просматривать события в режиме реального времени, например, когда кто-то совершает покупку на сайте или в приложении.
Metabase — это инструмент для бизнес-аналитики с открытым исходным кодом. Пользователи задают вопросы о данных, а Metabase отображает ответы в осмысленных форматах, таких как гистограмма или таблица. Вопросы к данным сохраняются и группируются в информативные дашборды, которые использует вся команда.
Matomo — это платформа веб-аналитики, которая включает встроенный менеджер тегов, что позволяет отслеживать и контролировать эффективность различных маркетинговых кампаний. Функции включают пользовательское хранение данных, SAML и LDAP аутентификацию, журналы активности, медиа-аналитику и кастомизируемые отчеты.
SimilarWeb — это облачная платформа для анализа посещаемости веб-сайтов. В число функций входят экспорт данных, показатели эффективности, кастомные дашборды и анализ конверсии. Маркетинговые команды выигрывают от возможности просматривать демографические данные, анализировать поведение клиентов и открывать новые возможности.
Amplitude — это популярный пакет продуктовой аналитики, который отслеживает посетителей сайта с помощью совместного анализа. Программное обеспечение использует кастомные отчеты о поведении и уведомления, чтобы предложить лучшее понимание того, как посетители взаимодействуют, а также предоставить практические инсайты для ускорения разработки продукта. Amplitude также позволяет определять стратегии продукта, улучшать вовлеченность клиентов и оптимизировать конверсии.

🧐📝🤖Обработка данных с Clickhouse: преимущества и недостатки
ClickHouse - это открытая колоночная база данных для аналитики и обработки больших объемов данных. Он был разработан компанией Яндекс и предназначен для обработки и анализа Big Data в реальном времени.
Преимущества Clickhouse:
1. Высокая производительность: ClickHouse спроектирован для обработки очень больших объемов данных с высокой скоростью. Он может эффективно справляться с запросами, требующими сложных агрегаций и аналитических операций на миллиардах строк данных.
2. Масштабируемость: ClickHouse обеспечивает горизонтальное масштабирование, что означает, что его можно легко масштабировать, добавляя новые узлы кластера для увеличения производительности и обработки больших объемов данных.
3. Низкая задержка: ClickHouse обеспечивает низкую задержку выполнения запросов благодаря своей колоночной архитектуре, которая позволяет быстро фильтровать и агрегировать данные, необходимые для ответа на запросы.
4. Эффективное использование ресурсов: ClickHouse оптимизирован для работы на высоконагруженных системах и предлагает различные механизмы сжатия данных и управления памятью, что позволяет эффективно использовать ресурсы сервера.
5. Поддержка SQL-запросов: ClickHouse поддерживает стандартный язык запросов SQL, что облегчает разработку и интеграцию существующих инструментов и приложений.

Однако, несмотря на все преимущества, Clickhouse имеет ряд недостатков:
1. Ориентированность на аналитику: ClickHouse является оптимальным выбором для аналитических задач, но может быть менее подходящим для операционных или транзакционных нагрузок, где требуется частое изменение данных или запись большого количества небольших транзакций.
2. Сложность конфигурации и управления: Настройка и управление ClickHouse может быть сложным процессом, особенно для новичков. Некоторые аспекты, такие как распределение данных, требуют тщательного планирования и опыта для достижения оптимальной производительности.
3. Отсутствие полной поддержки для транзакций: ClickHouse не предоставляет полноценную поддержку транзакций, что может быть недостатком для некоторых приложений, требующих согласованности данных и атомарности операций.
4. Сложность внесения изменений в схему данных: Внесение изменений в схему данных в ClickHouse может быть сложным и требовать перезагрузки данных или перестройки таблиц, что может быть затратным по времени и ресурсам.
Таким образом, ClickHouse является мощной и эффективной системой для аналитики на больших объемах данных, но требует тщательного планирования и конфигурации для достижения оптимальной производительности.

💥⚡️Сервисы для разметки данных на сегодняшний день
1. Hasty.ai - у этой платформы есть множество «умных» инструментов наподобие GrabCut, Contour и Dextr, распознающих края или контуры объектов, которые можно вручную настроить с пороговым значением для наилучшего сегментирования изображения. Она также поддерживает прогнозирование разметки после аннотирования достаточного объёма данных. Вторая особенность платформы — возможность обучения собственного распознавателя объектов, семантического сегментирования и сегментирования объектов. Единственный недостаток заключается в том, что обработка занимает время (до 10-20 секунд), а его можно было потратить на выполнение самой разметки.
2. Superannotate — это стартап Кремниевой долины, который обеспечивает векторные аннотации (прямоугольники, многоугольники, линии, эллипсы, ключевые точки с шаблонами и кубоиды), и попиксельное аннотирование при помощи кисти. Лучшая часть данного инструмента — это функция суперпикселей. Она способна распознавать края объектов с чрезвычайно большой точностью, что сильно ускоряет семантическую сегментацию и сегментацию объектов по сравнению с другими инструментами. Единственная проблема заключается в том, что если границы между объектом и фоном нечётки, она больше тратит времени на манипуляции с сегментами, чем на выполнение самой работы.
3. Datasaur – программа для разметки данных, в которой акцент делается на разметке текста. Если необходим инструмент разметки данных для обработки естественного языка, то это довольно интересный вариант.
4. Clarifai - предоставляет множество полезных возможностей для обучения ИИ. Он может размечать данные на картинках, в видео и в тексте.
5. V7 Darwin - данный инструмент активно используется для аннотирования изображений. Он позволяет распознавать любой участок или объект. Его даже можно использовать в видео для автоматического аннотирования ключевых кадров.

😱YouTube видео превратили в хранилище данных
Алгоритм AKA ISG был создан энтузиастами, чтобы превратить видео на YouTube в бесплатное и практически неограниченное хранилище данных. Суть алгоритма заключается в том, что он позволяет вставлять файлы в видео и загружать их на YouTube как часть видео. Каждый файл состоит из байтов, которые можно представить как числа. В свою очередь, каждый пиксель в видео может быть интерпретирован как белый (1) или чёрный (0).
В итоге получается видео, каждый кадр которого содержит в себе информацию.
По словам разработчиков, YouTube не имеет ограничений на количество видео, которые можно загрузить. Это означает, что, таким образом, это фактически бесконечное облачное хранилище

😎🔎Несколько полезных Python-библиотек для работы с геоданными
gmaps - библиотека для работы с Google-картами. Предназначена для визуализации и взаимодействия с геоданными Google.
Leafmap – это пакет Python с открытым исходным кодом для создания интерактивных карт и геопространственного анализа. Он позволяет анализировать и визуализировать геоданные за несколько строчек кода в среде Jupyter (Google Colab, Jupyter Notebook и JupyterLab)
ipyleaflet – интерактивная библиотека виджетов, которая позволяет визуализировать карты
Folium – это библиотека Python для легкой визуализации геоданных. Она предоставляет Python-интерфейс для leaflet.js, одной из лучших библиотек JavaScript для создания интерактивных карт. Данная библиотека также дает возможность работать с файлами GeoJSON и TopoJSON, создавать фоновые картограммы с различными палитрами, настраивать всплывающие подсказки и интерактивные карты-врезки.
geopandas - библиотека, предназначенная для работы с пространственными данными в Python. Основной объект модуля GeoPandas – геодатафрейм, он полностью совпадает с определением датафрейма Pandas, но также включает в себя поле Geometry, в котором содержится определение пространственного объекта.

⚔️🤖Pandas vs Datatable: сравнение особенностей при работе с Big Data
Pandas и Datatable - это две популярные библиотеки для работы с данными в языке программирования Python. Однако, у них есть некоторые ключевые отличия, которые могут повлиять на выбор той или иной библиотеки для конкретной задачи.
Pandas - это одна из самых распространенных и популярных библиотек для работы с данными в Python. Она предоставляет мощный и гибкий инструментарий для работы с различными типами данных, включая таблицы, ряды временных рядов, многомерные массивы и многое другое. Pandas также предоставляет множество функций для работы с данными, таких как фильтрация, сортировка, группировка, агрегация и многое другое.
Преимущества Pandas:
1. Мощный инструментарий для работы с различными типами данных, включая таблицы, ряды временных рядов, многомерные массивы и многое другое.
2. Широкая поддержка сообщества, что обеспечивает быстрые исправления ошибок и обновления библиотеки.
3. Богатый набор функций для работы с данными, таких как фильтрация, сортировка, группировка, агрегация и многое другое.
4. Достаточно подробная документация
Недостатки Pandas:
1. Низкая производительность при работе с большими объемами данных.
2. Неудобство при работе с большим количеством столбцов.

Datatable - это библиотека, созданная для улучшения производительности и эффективности работы с данными в Python. Она предоставляет более быструю работу с данными, чем Pandas, особенно при работе с большими объемами данных. Datable предоставляет синтаксис, очень похожий на Pandas, что делает переход с одной библиотеки на другую более легким.
Преимущества Datatable:
1. Достаточно высокая производительность при работе с большими объемами данных.
2. Синтаксис, очень похожий на Pandas, что делает переход с одной библиотеки на другую более легким.
Недостатки Datatable:
1. Более ограниченная функциональность, чем Pandas
2. Ограниченная кроссплатформенность: Некоторые функции в Datatable могут работать по-разному на разных операционных системах, что может вызвать проблемы при разработке и тестировании.
3. Небольшое сообщество: Datatable не так широко используется, как Pandas, что означает, что сообщество разработчиков и пользователей, которые могут помочь с проблемами и вопросами, связанными с библиотекой, относительно мало.

Таким образом, выбор между Pandas и Datatable зависит от конкретной задачи и требований к производительности. Если необходимо работать с большими объемами данных и требуется максимальная производительность, то Datatable может быть лучшим выбором. Если же требуется работать с более сложными типами данных и операциями, то Pandas будет лучшим выбором.

😳😱Сбер опубликовал датасет для распознавания эмоций на русском языке
Dusha - огромный открытый датасет для распознавания эмоций в устной речи на русском языке.
Dusha подходит для распознавания эмоций в устной речи на русском языке. Набор данных состоит из более 300 000 аудиозаписей с расшифровками и эмоциональными метками. Длительность составляет около 350 часов аудио. Команда выбрала четыре основных эмоции, которые обычно появляются в диалоге с голосовым помощником: радость, грусть, злость и нейтральную эмоцию. Так как каждая запись размечалась несколькими аннотаторами, которые время от времени ещё выполняли различные контрольные задания, то в разметке получилось около 1,5 млн записей.
Подробнее о датасете Dusha в публикации: https://habr.com/ru/companies/sberdevices/articles/715468/

⚡️Время покорять Москву вместе проектом «Цифровой прорыв. Сезон: Искусственный интеллект»

Открыта регистрация на первый хакатон третьего сезона проекта «Цифровой прорыв. Сезон: Искусственный интеллект»!
📌Мероприятие пройдет 19-21 мая в Центральном федеральном округе в Москве.

На хакатоне участники в командах будут решать социальную или бизнес-проблему с использованием искусственного интеллекта за ограниченное время.

Всех участников ждут:
— 5 кейсов от ведущих организаций нашей страны;
— Гибридный формат участия: можно онлайн или офлайн;
— Профессиональное комьюнити инициативных и амбициозных коллег;
— Призовой фонд в 3 000 000 рублей.

💡 Регистрация на первый хакатон продлится до 15 мая 23:59
Участниками могут стать и новички, и опытные ИТ-специалисты в возрасте от 14 лет.

Сейчас тебе необходимо:
✅ Зарегистрироваться на хакатон на сайте: https://hacks-ai.ru
✅ Собрать бомбическую команду, включающую в себя от 3 до 5 участников
✅ Выбрать кейс для решения
✅ Подготовиться к плодотворной командной работе

Успей собрать команду, выбрать кейс и войти в ИТ-историю нового сезона самого масштабного конкурса!

🤓🧐Согласованность данных и ее виды
Понятие согласованности данных является сложным и многозначным, и его определение может различаться в зависимости от контекста. В своей статье, которую перевела команда VK Cloud, автор обсуждает понятие "согласованность" в контексте распределенных баз данных и предлагает свое определение этого термина. В данной статье автор выделяет 3 вида согласованности данных:
1. Согласованность в теореме Брюера - В соответствии с данной теоремой, в распределенной системе возможно гарантировать только два из трех следующих свойств:
Согласованность: система обеспечивает предоставление актуальной версии данных при их чтении
Доступность: каждый запрос к узлу, функционирующему должным образом, завершается получением правильного ответ
Устойчивость к разделению: Система продолжает функционировать, даже если возникают сбои в сетевом трафике между некоторыми узлами
2. Согласованность в ACID-транзакциях - В данной категории согласованность означает, что транзакция не может привести к недопустимому состоянию, так как необходимо соблюдение следующих составляющих:
Атомарность: любая операция будет выполнена полностью или вообще не будет выполнена
Согласованность: после завершения транзакции база данных находится в корректном состоянии
Изолированность: при выполнении одной транзакции все остальные параллельные транзакции не должны оказывать на нее никакого результата
Надежность: даже в случае сбоя (неважно, какого) завершенная транзакция сохраняется
3. Модели согласованности данных - данное определение термина также относится к базам данных и связано с концепцией моделей согласованности. В модели согласованности базы данных существует два основных элемента:
Linearizability - репликация отдельного фрагмента данных на нескольких узлах влияет на его обработку в базе данных
Serializability - одновременное выполнение транзакций, работающих с несколькими фрагментами данных, влияет на их обработку в базе данных
Подробнее можно узнать в источнике: https://habr.com/ru/companies/vk/articles/723734/