Data Science. SQL hub

💻 Azimutt — open-source инструмент для изучения любых БД

— npx azimutt explore $db_url

Azimutt — это многофункциональный инструмент для изучения баз данных
Позволяет быстро перемещаться по БД, облегчает документирование и анализ данных.

Быстрый старт с Docker:

docker run -d --name azimutt \
--env-file <path_to_your_env_file> \
-p 4000:4000 \
ghcr.io/azimuttapp/azimutt:main

🖥 GitHub
🟡 Исследовать свою БД с Azimutt онлайн
🟡 Доки

@sqlhub

💻 Milvus — open-source векторная БД

— pip install -U pymilvus

Milvus — это векторная база данных с открытым исходным кодом, которая подходит для ИИ-приложений любого масштаба (почти) — от запуска демонстрационного чатбота в Jupyter Notebook до создания веб-поиска, обслуживающего миллиарды пользователей.
Можно установить Milvus локально и использовать для создания, хранения и поиска векторов.

🖥 GitHub
🟡 Доки

@sqlhub

💻 TDengine — высокопроизводительная облачная open-source БД для временных рядов, оптимизированная для IoT и DevOps

sudo apt-get install -y gcc cmake build-essential git libssl-dev libgflags2.2 libgflags-dev libexpat1-dev libapr1-dev libaprutil1-dev libmxml-dev geos-devel

В качестве языка запросов TDengine использует чистый SQL. В дополнение к нему TDengine предлагает собственные функции для лучшего анализа временных рядов.

Быстрый старт с Docker:
docker run -d -p 6030:6030 -p 6041:6041 -p 6043-6060:6043-6060 -p 6043-6060:6043-6060/udp tdengine/tdengine

🖥 GitHub
🟡 Доки

@sqlhub

🖥 SQLMC - SQL Injection Massive Checker

Официальный инструмент Kali Linux для проверки всех URL-адресов домена на наличие SQL-инъекций.

▪Github

@linuxkalii

💻SpiceDB — open-source графовая БД, предназначенная для хранения разрешений приложений

SpiceDB — это БД с открытым исходным кодом, вдохновленная Google Zanzibar, для хранения разрешений и прав доступа отдельных приложений

Быстрый старт с Docker:

docker run \
    --name spicedb \
    -p 50051:50051 \
    authzed/spicedb \
    serve \
    --grpc-preshared-key "somerandomkeyhere"

🖥 GitHub
🟡 Доки

@sqlhub

💻 NebulaGraph — распределенная, легко масштабируемая open-source БД для графов

git clone -b release-3.6 https://github.com/vesoft-inc/nebula-docker-compose.git
cd nebula-docker-compose/
docker-compose up -d

NebulaGraph — это популярная база данных для графов с открытым исходным кодом, способная обрабатывать большие объемы данных с задержкой в миллисекунды, быстро масштабироваться и выполнять быструю графовую аналитику.

Широко используется в социальных сетях, рекомендательных системах, графах знаний, безопасности, в приложениях с искусственным интеллектом и т. д.
NebulaGraph способна хранить графы с сотнями миллиардов вершин и триллионами ребер и обслуживать запросы с миллисекундной задержкой.

🖥 GitHub
🟡 Доки

@sqlhub

💻Harlequin — SQL IDE для терминала (работает со всеми БД, в т.ч. с DuckDB)

— pipx install harlequin

Harlequin может работать практически в любой среде, на любом терминале. Для работы используется fish в tmux на Alpine по SSH? Harlequin будет работать в этой среде. Windows cmd? Без проблем.

Harlequin поддерживает работу почти со всеми БД, скоро завезут ещё (при желании можно создать свой адаптер для своей БД)

🟡 Страничка Harlequin
🖥 GitHub
🟡 Доки

@sqlhub

💻 SQLpage — создание сайтов и веб-приложений на чистом SQL

— brew install sqlpage

SQLpage — это open-source конструктор веб-приложений, основанный только на SQL. Он предназначен для специалистов по изучению данных и аналитиков, чтобы они могли быстро создавать веб-приложения, не заботясь о концепциях веб-программирования.

С помощью SQLPage достаточно писать простые .sql-файлы, содержащие запросы к БД для выбора, группировки, обновления, вставки и удаления данных, чтобы получить веб-страницы, отображающие данные в виде текста, списков, графиков и форм.

🖥 GitHub
🟡 Доки

@sqlhub

💻 memgraph — графовая БД с открытым исходным кодом, предназначенная для динамических аналитических сред

— curl https://install.memgraph.com | sh

Memgraph — это open-source БД, созданная для потоковой передачи данных в реальном времени и совместимая с Neo4j.
Memgraph особенно актуальна для тех, кто изучает взаимосвязанные данные, которые можно представить в виде графа

Memgraph может напрямую подключиться к потоковой инфраструктуре и может получать данные из таких источников, как Kafka, SQL или обычные CSV-файлы.

Memgraph реализована на C/C++ и использует архитектуру in-memory first, чтобы гарантировать постоянную максимальную производительность и отсутствие сюрпризов.
Соответствует требованиям ACID и обладает высокой доступностью.

🖥 GitHub
🟡 Доки

@sqlhub

💻 JupySQL — позволяет выполнять SQL-запросы в Jupyter/IPython с помощью %sql и %%sql

— pip install jupysql duckdb-engine

JupySQL — это форк ipython-sql с множеством исправленных ошибок и массой новых возможностей

JupySQL позволяет выполнять SQL-запросы и строить графики для больших наборов данных в Jupyter с помощью команд %sql, %%sql и %sqlplot.
JupySQL совместим со всеми основными БД (PostgreSQL, MySQL, SQL Server и др.), хранилищами данных (типа Snowflake, BigQuery, Redshift) и движками (SQLite и DuckDB).

🖥 GitHub
🟡 Доки

@sqlhub

💻 MatrixOne — гиперконвергентная облачная open-source БД

wget https://raw.githubusercontent.com/matrixorigin/mo_ctl_standalone/main/install.sh && sudo -u $(whoami) bash +x ./install.sh

mo_ctl set_conf MO_PATH="yourpath" # Set custom MatrixOne download path
mo_ctl set_conf MO_DEPLOY_MODE=git # Set MatrixOne deployment method

MatrixOne — это гиперконвергентная облачная распределенная БД со структурой, которая разделяет хранение, вычисления и транзакции, образуя единый движок данных HSTAP.
Этот механизм позволяет единой системе баз данных справляться с различными бизнес-нагрузками, такими как OLTP, OLAP и потоковые вычисления.

MatrixOne поддерживает развертывание и использование в публичных и частных облаках, обеспечивая совместимость с различными инфраструктурами.

🖥 GitHub
🟡 Доки

@sqlhub