Data Science. SQL hub

🖥 Наглядная шпаргалка: Шардирование базы данных

🚀 Источник

@sqlhub

💻Triplit — open-source БД, которая синхронизирует данные между сервером и браузером в режиме реального времени

— npm create triplit-app@latest

Triplit — это полнофункциональная база данных, работающая как на сервере, так и на клиенте. Поддерживает подключаемые хранилища (IndexedDB, SQLite, durable objects), синхронизацию через websockets, плюс поддерживавет популярные фреймворки (React, Solid, Vue, Svelte)

🖥 GitHub
🟡 Доки

@sqlhub

💻Skytable — современная масштабируемая NoSQL БД с BlueQL, разработанная для обеспечения производительности, масштабируемости и гибкости

Skytable — это in-memory key-value БД, основанная на широких столбцах, с поддержкой дополнительных моделей данных, которая использует собственный механизм хранения (структурированные записи с оптимизированными транзакциями) и позволяет выполнять запросы с помощью собственного языка запросов BlueQL — надмножества SQL.

🖥 GitHub
🟡 Доки

@sqlhub

💻FrostDB — встраиваемая колоночная БД, написанная на Go

Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).

В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.

🖥 GitHub

@sqlhub

🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.

Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.

Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробки

make
make install

▪ Github

👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask

RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set.
Написана RoseDB на Go

🖥 GitHub
🟡 Доки

@Golang_google

💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

Быстрое создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

🖥 GitHub
🟡 Доки

@sqlhub

⚡️ Полезная шпаргалка по связке Python + MySQL

- Создание БД и таблиц
- Внесение, чтение, обновление и удаление данных

MongoDB in Action

📖 Книга

@sqlbooks

🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

models/average_order_amount.sql:

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

▪ Github

@data_analysis_ml

⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.

▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.

▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.

▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.

Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.

https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/

@sqlhub

⚡️ Grafana

Это открытая и компонуемая платформа для наблюдения и визуализации данных.

Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других.

▪ Github

@sqlhub

🖥 sqlite-vec

Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте!

Проект преемник sqlite-vss.

- Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0.
- Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.)
- Предварительная фильтрация векторов с rowid В подзапросах (...)

▪ Github

@sqlhub

🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно.

Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных.

Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката.

Основные функции Pgroll включают:

- Миграции без простоев (без блокировки базы данных, без критических изменений).
- Поддержка одновременной работы старых и новых версий схемы.
- Автоматическое заполнение столбцов при необходимости.
- Мгновенный откат в случае возникновения проблем во время миграции.
- Работа с существующими схемами, нет необходимости начинать с нуля.
- Совместимость с Postgres 14.0 и более поздними версиями.
- Работа с любым сервисом Postgres (включая RDS и Aurora).

Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей.

https://github.com/xataio/pgroll

#postgres #migration #базыданных

@sqlhub

⚡️Большая шпаргалка по SQL с примерами запросов и объяснением

@sqlhub

💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска

— pip install vectorlite-py

Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux.

🖥 GitHub

@sqlhub