Data Science. SQL hub

⚛️ Исследователи из MIT разработали новый инструмент на основе генеративного ИИ, предназначенный для анализа сложных табличных данных в базах данных

Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных.

Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности.

В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных.

📌 Источник

#базыданных #mit

@ai_machinelearning_big_data

💻 RedTiger — мультитул с массой функций для пентеста и взлома

Позволяет проводить реализовывать разные атаки, типо SQL-инъекций, извлекать информацию по email и т.д.
Исключительно в этичных целях

🖥 GitHub

@sqlhub

💻GraphJin — новый вид ORM

— npm i graphjin

GraphJin позволяет создавать NodeJS / Go API за 5 минут, а не за несколько недель.
Достаточно использовать простой запрос GraphQL для определения API, а GraphJin автоматически преобразует его в SQL.

GraphJin поддерживает Postgres, MySQL, Yugabyte, AWS Aurora/RDS и Google Cloud SQL

🖥 GitHub
🟡 Доки

@sqlhub

💻 Vanna — точная генерация SQL-запросов с помощью LLM и RAG

Vanna — это open-source фреймворк Python для генерации SQL с использованием RAG

🖥 GitHub
🟡 Доки

@sqlhub

💻Piccolo — быстрый, удобный ORM и конструктор запросов, который поддерживает asyncio

pip install piccolo
piccolo playground run

Piccolo — это быстрый, простой в освоении ORM и конструктор запросов.
Особенности Piccolo:
— поддержка sync и async
— встроенная платформа для тестирования запросов
— отлично интегрируется с iPython и VSCode

🖥 GitHub
🟡 Доки

@sqlhub

💻EdgeDB — open-source БД с декларативной схемой, встроенной системой миграции и языком запросов нового поколения

— curl https://sh.edgedb.com --proto '=https' -sSf1 | sh

EdgeDB — это БД, поддерживающая сложные иерархические запросы; EdgeDB собрала в себе лучшее реляционных БД, графовых БД и ORM.

🖥 GitHub
🟡 Доки

@sqlhub

💻 Postgres Professional выпустила в свободном доступе книгу «PostgreSQL 16 изнутри»

Компания-разработчик СУБД Postgres Professional выпустила новую книгу «PostgreSQL 16 изнутри». Электронная версия учебника находится в свободном доступе. Автор книги — Егор Рогов, директор по разработке образовательных программ Postgres Professional.

Первое издание этого учебника, основанное на 14-й версии PostgreSQL, было выпущено в марте 2022 года и обновлено до 15 версии. Из-за большого читательского интереса компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и вошла в список профессиональной литературы на официальном сайте сообщества PostgreSQL.

В актуальной редакции книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки, а также отражены изменения, произошедшие в версии PostgreSQL 16.

Также Postgres Professional обновила локализованную документацию к PostgreSQL 16.

📎 «PostgreSQL 16 изнутри»

@sqlhub

💻 Beekeeper Studio — современный и удобный open-source SQL-клиент для MySQL, Postgres, SQLite, SQL Server и не только

git clone git@github.com:<your-username>/beekeeper-studio.git beekeeper-studio
cd beekeeper-studio/
yarn install

yarn run electron:serve

Beekeeper Studio без проблем работает на всех платформах: Linux, MacOS и Windows

🖥 GitHub

@sqlhub

🖥 Oracle сформировала новую ветку СУБД MySQL 9.0.0.

Сборки MySQL Community Server 9.0.0 доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows.

Согласно новой модели релизов, внедренной в прошлом году, MySQL 9.0 относится к веткам "Innovation".

К этой категории также будут отнесены будущие значительные релизы MySQL 9.1 и 9.2.

Ветки "Innovation" рекомендованы для пользователей, желающих получать доступ к новым функциям как можно раньше. Эти версии публикуются каждые 3 месяца и поддерживаются только до выхода следующего значительного релиза (например, поддержка ветки 9.0 прекратится с появлением ветки 9.1).

Примерно через год планируется выпустить LTS-релиз, который будет рекомендован для внедрений, требующих стабильности и длительной поддержки. После LTS-релиза будет создана новая ветка "Innovation" — MySQL 10.0.

Главные изменения в MySQL 9.0:

При выполнении конструкции "EXPLAIN ANALYZE INTO" добавлена возможность сохранения вывода в формате JSON в пользовательскую переменную, которая затем может использоваться в качестве аргумента в функциях для работы с JSON.

sqlEXPLAIN ANALYZE FORMAT=JSON INTO @variable select_stmt

Разрешено оформление выражений "CREATE EVENT", "ALTER EVENT" и "DROP EVENT" в виде параметризованных запросов внутри хранимых процедур. Создание параметризованного запроса осуществляется с использованием выражения PREPARE, а выполнение - выражения EXECUTE.

CREATE PROCEDURE sp(n INT)
BEGIN
SET @s1 = "CREATE EVENT e ON SCHEDULE EVERY ";
SET @s2 = " SECOND
STARTS CURRENT_TIMESTAMP + INTERVAL 10 SECOND
ENDS CURRENT_TIMESTAMP + INTERVAL 2 MINUTE
ON COMPLETION PRESERVE
DO
INSERT INTO d.t VALUES ROW(NULL, NOW(), FLOOR(RAND()*100))";

SET @s = CONCAT(@s1, n, @s2);
PREPARE ps FROM @s;
EXECUTE ps;
DEALLOCATE PREPARE ps;
END

Добавлены две новые системные таблицы, содержащие сведения о системных переменных: variables_metadata - содержит информацию об именах, области действия, типах и диапазонах значений всех поддерживаемых MySQL-сервером системных переменных; global_variable_attributes - содержит значения атрибутов, выставленных для глобальных переменных, таких как offline_mode и read_only.
Удалён ранее объявленный устаревшим серверный плагин mysql_native_password, обеспечивающий аутентификацию при помощи паролей.

Вместо mysql_native_password рекомендуется перейти на использование плагина caching_sha2_password, применяющего для хэширования алгоритм SHA2 вместо SHA1.
Добавлено 15 переменных для настройки и инспектирования движка MLE (Multilingual Engine Component), позволяющего использовать в хранимых процедурах и функциях код на языках, отличных от SQL.

@sqlhub

30+ команд Docker, которые вы Должны Знать!

▪Видео
▪DEVOPS ЛУЧШИЕ Бесплатные курсы

Docker

💻 XTDB — неизменяемая open-source БД, которая хранит время транзакций и историю всех действий

XTDB — документо-ориентированная БД;
была создана для удовлетворения сложных требований к соответствию данных. К XTDB можно писать запросы с помощью SQL и XTQL.

XTDB использует:
— Apache Kafka для хранения транзакций и документов в виде почти неизменяемых журналов

— RocksDB или LMDB для размещения индексов для богатой поддержки запросов

— Clojure-протоколы для расширения возможностей (например, для замены Kafka на SQLite)

Такая конструкция позволяет поддерживать XTDB как небольшое и эффективное ядро, которое может легко масштабироваться для поддержки множества вариантов использования

Быстрый старт с Docker:

docker run --pull=always -tip 6543:3000 ghcr.io/xtdb/xtdb-standalone-ea

🖥 GitHub
🟡 Доки

@sqlhub

💻 IceFireDB — open-source платформа, предоставляющая разные БД, для децентрализованного хранения данных

git clone https://github.com/IceFireDB/IceFireDB.git IceFireDB-NoSQL

cd IceFireDB-NoSQL

make && ls ./bin/IceFireDB

Один из компонентов IceFireDB — IceFireDB-SQLite, — децентрализованная база данных SQLite. Предоставляет удобный механизм для построения глобальной распределенной системы баз данных. Поддерживает запись данных в IceFireDB-SQLite по протоколу MySQL. IceFireDB-SQLite хранит данные в SQLite и синхронизирует их между узлами в автоматической сети P2P.

🖥 GitHub
🟡 Доки

@sqlhub