Data Science. SQL hub

🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable!

🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🖥 DrawDB — это система управления базами данных, ориентированная на визуализацию и моделирование данных!

🌟 Она позволяет пользователям создавать базы данных с использованием графического интерфейса, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. DrawDB может быть полезна для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных без углубленного знания SQL.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🖥 pgai — набор инструментов от Timescale, предназначенных для упрощения разработки AI-приложений с использованием PostgreSQL!

💡 Они помогают работать с технологиями, такими как RAG и семантический поиск, а также упрощает создание и синхронизацию эмбеддингов в базе данных PostgreSQL. Это позволяет выполнять семантический поиск и генерировать ответы с использованием моделей, таких как OpenAI или Ollama, прямо в SQL-запросах, что значительно облегчает создание приложений с ИИ на основе реляционных данных.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

🖥 ToolJet — это платформа с открытым исходным кодом для низкокодовой разработки, предназначенная для создания и развертывания бизнес-приложений с минимальными усилиями!

🌟 Она предоставляет интуитивно понятный интерфейс с возможностью перетаскивания компонентов, что позволяет быстро создавать сложные и отзывчивые пользовательские интерфейсы. ToolJet поддерживает интеграцию с более чем 50 различными источниками данных, включая базы данных (PostgreSQL, MongoDB, MySQL), облачные хранилища, GraphQL, API, а также такие сервисы, как Airtable, Google Sheets и OpenAI.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🌐 Meilisearch — это поисковый движок с открытым исходным кодом, обеспечивающий быстрый и удобный поиск в веб-приложениях!

🌟 Он поддерживает поиск по мере ввода, толерантность к опечаткам, фильтрацию данных и фасетный поиск, что делает его мощным инструментом для создания интуитивных поисковых систем. API Meilisearch прост в интеграции, а его высокая производительность позволяет обрабатывать запросы менее чем за 50 мс.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Dolt — это реляционная база данных с функциями контроля версий, аналогичными Git!

🌟 Она позволяет не только выполнять SQL-запросы, но и отслеживать изменения данных на уровне строк, создавать ветки, выполнять слияния и просматривать историю изменений. Каждая операция с данными может быть закоммичена, а история изменений доступна для анализа, что делает Dolt уникальным инструментом для управления данными в командах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

🖥 ScyllaDB — это высокопроизводительное NoSQL-хранилище данных, совместимое с Apache Cassandra, но с улучшенной производительностью и масштабируемостью!

🌟 ScyllaDB разработана на основе фреймворка Seastar, что позволяет использовать асинхронные вызовы для оптимизации работы с многопоточными системами и улучшения работы на современных многоядерных процессорах.

🖥 Github

@sqlhub

📊 Metabase — это мощная и простая в использовании платформа для бизнес-аналитики!

🌟 Она позволяет визуализировать данные, создавать отчёты и дашборды, а также находить инсайты без необходимости писать сложные SQL-запросы. Metabase поддерживает подключение к различным базам данных, включая MySQL, PostgreSQL, MongoDB и другие, предоставляя интуитивный интерфейс для работы с данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🖥 Azimutt — это инструмент для визуализации, проектирования и анализа баз данных, который помогает разработчикам и аналитикам лучше понимать структуры сложных и масштабных схем!

🌟 Он позволяет генерировать современные диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать базы данных. Azimutt разработан с учетом реальных задач и может обрабатывать даже большие и сложные схемы.

💡 Среди ключевых возможностей — масштабируемая визуализация ERD, поиск и фильтрация таблиц и связей, выполнение SQL-запросов с визуализацией внешних ключей и инструмент для обнаружения проблем в структуре базы данных. Это делает Azimutt полезным как для анализа существующих баз, так и для их проектирования.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 TiDB — это распределённая SQL-база данных с открытым исходным кодом, разработанная для современных облачных приложений и больших данных!

🌟 Она предлагает совместимость с MySQL, поддерживая стандартный SQL и MySQL-протоколы, что облегчает миграцию существующих приложений. TiDB обеспечивает строгую согласованность данных, распределённые транзакции (используя двухфазный коммит) и горизонтальное масштабирование, позволяя работать с огромными объёмами данных без изменения архитектуры.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

🖥 sync — инструмент для синхронизации данных из рабочих баз данных в локальные экземпляры в реальном времени!

🌟 Он поддерживает MongoDB (с репликацией) и MySQL, с возможностью инкрементальной синхронизации через Change Streams для MongoDB и binlog для MySQL. Этот инструмент позволяет синхронизировать данные как в режиме начальной синхронизации, так и в реальном времени, обеспечивая высокую отказоустойчивость и возможность возобновления с последней позиции при перезапуске.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Эта статья объясняет, как оптимизаторы запросов в реляционных базах данных преобразуют SQL-запросы в эффективные планы выполнения!

🌟 Она подробно рассматривает концепции реляционной алгебры, лежащей в основе оптимизации, включая операции выбора, проекции, объединения и их эквивалентности. Автор иллюстрирует процесс перевода SQL-запросов в реляционные выражения, применение правил оптимизации и использование статистики для выбора лучшего плана выполнения.

🔗 Ссылка: *клик*

@sqlhub

🖥 PeepDB — это инструмент командной строки и библиотека на Python, созданные для быстрого анализа баз данных!

🌟 Он поддерживает такие популярные СУБД, как MySQL, PostgreSQL, SQLite, MongoDB и Firebase, позволяя разработчикам и администраторам легко просматривать данные и структуры таблиц без написания сложных SQL-запросов. Удобный CLI-интерфейс делает инструмент простым в использовании, даже для начинающих специалистов.

🌟 PeepDB предлагает такие функции, как пагинация для работы с большими наборами данных, вывод результатов в форматах таблиц или JSON, а также возможность локального сохранения данных соединений с базой. Это делает инструмент полезным для отладки, анализа и быстрого доступа к данным, экономя время и усилия в сравнении с традиционными методами.

🔐 Лицензия: GPL-3.0

🖥 Github

@sqlhub

🖥 sxt-proof-of-sql — высокопроизводительный доказатель с нулевым разглашением (ZK prover)!

🌟 Этот инструмент криптографически гарантирует, что SQL-запросы выполняются точно и на неизмененных данных. Он предназначен для обеспечения доверительных вычислений как с ончейн, так и с офчейн данными, позволяя разработчикам создавать более сложные DeFi-протоколы с использованием данных в смарт-контрактах.

🖥 Github

@sqlhub

🖥 kh-sql-projects — репозиторий, который содержит исходный код популярных SQL-проектов для начинающих, промежуточных и опытных разработчиков!

🌟 Проекты включают различные базы данных и системы управления, такие как управление библиотеками, студентами, больничные системы, системы бронирования и учета инвентаря. Все проекты написаны для базы данных PostgreSQL и предлагают практические примеры для работы с SQL.

🖥 Github

@sqlhub

🔥 Sequin — это инструмент для захвата изменений данных (CDC) в PostgreSQL, который упрощает потоковую передачу строк и изменений из PostgreSQL в такие платформы, как Kafka и SQS!

🌟 Он позволяет выполнять бэкап существующих строк и в реальном времени передавать новые изменения. Sequin поддерживает различные приемники данных, включая HTTP-эндпоинты, что позволяет начать работу без дополнительной инфраструктуры.

💡 В отличие от других решений, таких как Debezium, Sequin не требует использования Kafka для работы. Он функционирует как автономный Docker-контейнер, который можно развернуть рядом с вашей базой данных PostgreSQL. Sequin обеспечивает надежную доставку всех изменений базы данных к указанным приемникам, поддерживает маршрутизацию сообщений с использованием SQL-условий и предоставляет возможность выполнения бэкапов данных.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Эта статья подробно объясняет, как с нуля разработать хранилище данных, основанное на деревьях LSM (Log-Structured Merge-Tree)!

🌟 Этот метод оптимизирован для высокопроизводительных операций записи, минимизируя случайные обращения к диску за счет предварительного хранения данных в памяти и последовательной записи на диск. Автор обсуждает основные компоненты, такие как Memtable (хранилище в памяти), WAL (журнал предзаписи) и SSTables (упорядоченные таблицы на диске), а также процессы записи, удаления и компакции данных.

🔗 Ссылка: *клик*

@sqlhub

🦑 SQL Squid Game: 9 уровней. 1 Аналитик данных. Ваша жизнь на кону 🔫.

Развлечение на выходные - Игра в Кальмара с SQL. Это бесплатный образовательный тренажер по работе с БД, по мотивам Netflix's Squid Game, SQL Murder Mystery и других известных SQL-игр.

❓О чем игра?
Вы только что были приняты на работу в качестве Аналитика данных в загадочную организацию Squid Game.

Таинственный работодатель, управляющий игрой, пообещал вам полностью удаленную работу, на которой вы будете составлять промпты, работать с pandas и генеративным ИИ

Но, как это обычно бывает в индустрии данных, вас подставили и обманули.

Оказалось, что работа связана с аналитикой данных на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, а 2 дня удаленно.

Не успели вы отказаться от работы , как работодатель приставил к вашей голове пистолет и начал требовать ответов на различные бизнес-вопросы.

Вы должны написать SQL-запросы, чтобы ответить ему - иначе вас ждет печальный конец 💀

📌 Как играть

- На каждом уровне вам будут даны задачи, а также одна или несколько таблиц и их схема.

Вам будет дана ячейка решения, в которую вы должны будете записать свое решение и отправить его на проверку.

Каждый уровень становится сложнее.

PS: Для прохождения SQL Squid Games, вам нужно хорошо знать SQL.А если хотите освежить свои знания или выучить SQL с нуля, вот 33 интерактивных учебника от Datalemur авторов игры из которых вы узнаете все, что нужно знать, чтобы пройти игру.

📲 Начать игру

@ai_machinelearning_big_data


#sql #tutorial #educationalgame