Data Science. SQL hub

⚡️ Интересный факт: DuckDB быстрее подсчитывает строки в CSV-файле, чем команда подсчета слов UNIX, а также анализирует файл, чтобы определить его диалект (разделитель, символ кавычки и т. д.).

Вот время для CSV-файла размером 3 ГБ: 2,966 секунды для `wc -l` и 1,261 секунды для DuckDB.

Результаты теста Hyperfine benchmark tool.

@sqlhub

🖥 SeaweedFS — это высокопроизводительная распределённая файловая система с поддержкой хранения огромного количества файлов и их быстрой обработки!

💡 Её основное назначение — управление смешанными нагрузками, включая blob-хранилища, объекты, файловые системы и аналитику данных.

🔍 Особенности:

🌟 Масштабируемость: система легко расширяется путём добавления серверов, обеспечивая хранение больших объёмов данных.

🌟 Поддержка множества форматов: Blob Storage, S3-совместимое объектное хранилище, файловая система с FUSE-монтажом и интеграцией с Big Data-фреймворками (Hadoop, Spark).

🌟 Производительность: постоянное время поиска данных (O(1)) и эффективное управление метаданными!

🌟 Надёжность: репликация данных, защита от сбоев, контроль целостности и поддержка многоуровневого хранения.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🖥 Эта статья посвящена обновлению материализованных представлений (Materialized Views, MViews) в Oracle SQL по требованию!

🌟 Автор обсуждает сценарии, в которых материализованные представления используются для повышения производительности, например, при работе с большими объемами данных.

💡 Ключевая идея статьи — необходимость и способы ручного обновления MViews для синхронизации данных между исходными таблицами и представлением. Автор рассматривает подходы к настройке обновлений, использованию PL/SQL и управлению данными в различных бизнес-кейсах, а также демонстрирует, как работать с процедурой DBMS_MVIEW.REFRESH.

🔗 Ссылка: *клик*

@sqlhub

📊 D2 — современный язык для описания диаграмм с помощью текста!

💡 Этот инструмент преобразует текстовые сценарии в визуальные диаграммы, используя декларативный подход: вы описываете, что хотите видеть, а D2 автоматически создает визуализацию.

🔍 Особенности D2:

🌟 Простая синтаксическая структура и встроенные темы для быстрой визуализации.

🌟 Поддержка анимаций, LaTeX, нескольких языков, Markdown, UML и последовательностных диаграмм.

🌟 Экспорт в форматы PNG, SVG и PDF.

🌟 Возможность использования в локальном CLI или в онлайн-песочнице для быстрого создания и редактирования диаграмм.

🌟 Поддержка различных движков для компоновки, работы с контейнерами и импорта изображений.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!

🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.

🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

🔐 keyring — библиотека для работы с системными хранилищами паролей на Python!

🌟 Она позволяет разработчикам безопасно хранить и получать учетные данные, используя стандартные механизмы защиты, встроенные в операционные системы, такие как Windows Credential Locker, macOS Keychain, и Linux Secret Service.

💡 Основной функционал включает в себя автоматический выбор подходящего хранилища для текущей системы, поддержку плагинов для расширения возможностей и интеграцию с популярными менеджерами паролей. Это упрощает создание безопасных приложений, которые требуют работы с конфиденциальными данными.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🌎 PostgreSQL и ClickHouse — два мира, два подхода к индексации!

💡 Вы когда-нибудь задумывались, как индексация может влиять на производительность ваших баз данных? На открытом вебинаре мы раскроем тайны реляционных и колоночных БД и покажем, как правильно использовать индексацию для оптимизации работы с большими объемами данных.

👨‍🏫 Спикер: Алексей Железной — Senior Data Engineer с более чем 5-летним опытом разработки и проектирования пайплайнов для обработки, хранения и визуализации данных.

📅 Дата: 2 декабря в 20:00 МСК

🎁 Бонус: Участники вебинара получат скидку на обучение на курсе «ClickHouse для инженеров и архитекторов БД»

👉 Регистрируйтесь на открытый урок по ссылке: ссылка

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Использование DuckDB для анализа Ad-Hoc: альтернатива Pandas для любителей SQL!

🌟 Анализ ad-hoc является неотъемлемой частью любого человека в области данных. Нам приходится регулярно объединять данные из различных источников, таких как файлы CSV или базы данных, для некоторого ad-hoc тестирования или быстрого составления отчетов.

🌟 Наиболее распространенным инструментом в нашем распоряжении является Pandas Python, где мы можем считывать данные из различных источников в dataframes, а затем выполнять анализ. Однако для тех, кому удобнее в SQL, чем в Python, DuckDB является отличной альтернативой! Он позволяет запрашивать данные с помощью SQL, без необходимости загружать их в базу данных или преобразовывать в dataframe Pandas.

🔗 Подробнее: *клик*

@sqlhub

🖥 Redash — это инструмент для анализа данных с открытым исходным кодом, разработанный для упрощения подключения, запроса и визуализации данных из различных источников!

🌟 Он позволяет пользователям создавать SQL- и NoSQL-запросы, визуализировать данные в виде графиков и диаграмм, а также делиться дашбордами с командами. Продукт ориентирован как на технических специалистов, так и на бизнес-пользователей, предоставляя интуитивно понятный интерфейс и REST API для автоматизации процессов.

🌟 Redash поддерживает множество источников данных, включая SQL-базы, NoSQL, Big Data и API, что делает его универсальным решением для аналитики. Также инструмент предоставляет функции настройки алертов, автоматического обновления дашбордов и управления доступом пользователей.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

🖥 libsql — это форк SQLite с добавлением новых возможностей, таких как обработка запросов по HTTP и gRPC, а также поддержка прозрачной репликации!

💡 LibSQL позволяет создавать распределенные базы данных, где запись обрабатывается основным сервером, а чтение может выполняться с реплик. Проект поддерживает безопасную передачу данных с помощью TLS и предоставляет Docker-образ для простого развертывания.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 SurrealDB — это современная многомодельная база данных, предназначенная для универсального управления данными!

💡 Она объединяет возможности SQL, NoSQL и графовых баз данных в едином решении, позволяя использовать реляционные, документные, графовые, временные и ключ-значение модели данных без необходимости переключаться между разными системами.

🌟 SurrealDB также поддерживает запросы через SQL, GraphQL, REST и SDK для различных языков программирования, таких как Rust, JavaScript, Python, PHP, Java и другие. Кроме того, она включает функции реального времени, масштабируемости, встроенной поддержки AI и машинного обучения, а также обладает мощной системой управления схемами и разрешениями.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

🖥 Полезная статья с Postgre Wiki, которая рассказывает о распространенных ошибках при работе и более правильных методах для каждого случая!

🔗 Ссылка: *клик*

@sqlhub

🖥 SQLFluff — это инструмент для статического анализа SQL-кода (SQL-linter), который помогает проверять и форматировать SQL-запросы в соответствии с определёнными стилевыми правилами!

🌟 Этот проект поддерживает гибкость за счёт настройки под разные диалекты SQL, такие как ANSI SQL, PostgreSQL, MySQL, BigQuery, Snowflake и многие другие.

🌟 Он особенно полезен в проектах ETL и ELT, а также совместим с такими инструментами, как Jinja и dbt (Data Build Tool), поддерживая шаблонизированные SQL-запросы. SQLFluff может автоматически исправлять большинство ошибок форматирования, экономя время разработчиков и позволяя сосредоточиться на задачах высокой важности. Для удобства пользователей доступно расширение для Visual Studio Code и подробная документация.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 restic — это инструмент для создания резервных копий данных с фокусом на надежность, шифрование и скорость!

🌟 Разработанный как кросс-платформенное решение, restic поддерживает системы Windows, macOS, Linux и другие, предоставляя пользователям возможность хранить резервные копии в локальных или облачных хранилищах, таких как Amazon S3, Google Cloud Storage и другие.

🔍 Особенности:

🌟 Шифрование по умолчанию — все данные шифруются с использованием AES-256, что обеспечивает их безопасность.

🌟 Дедупликация данных — инструмент автоматически исключает дублирующиеся данные, что снижает объем хранимых резервных копий.

🌟 Поддержка различных источников и хранилищ — можно создавать резервные копии как локально, так и в облаке, на FTP или SFTP-серверах.

🌟 Удобство и скорость — restic оптимизирован для быстрого создания и восстановления резервных копий с минимальными ресурсами.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@sqlhub

🖥 Освоение служб интеграции SQL Server: полное руководство!

💡 В современном мире, где все движет технологиями, эффективное управление данными и их перемещение играют ключевую роль в обеспечении бесперебойной работы предприятий. Одним из мощных инструментов, который существенно помогает в этом процессе, являются SQL Server Integration Services (SSIS). В этом видео вы углубитесь в тонкости SSIS, проливая свет на ее функциональность, предварительные условия, настройку, выполнение и расширенные функции, в конечном итоге предлагая подробное руководство по интеграции данных.

🕞 Продолжительность: 1:59:16

🔗 Ссылка: *клик*

@sqlhub

🔥 full-stack-fastapi-template — шаблон для создания полноценных веб-приложений с использованием FastAPI и современных технологий!

🌟 Он включает в себя готовую архитектуру для фронтенда и бэкенда с поддержкой баз данных, аутентификации, авторизации и тестирования. Этот шаблон упрощает создание приложений с хорошей структурой и масштабируемостью, предлагая пример интеграции различных стэков и инструментов для быстрой разработки.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🔍 Курс: Наука о данных, Машинное обучение, Аналитика данных на Python и R!

⭐️ Этот курс ориентирован на начинающих в Data Science и содержит множество практических упражнений и готовых примеров кода, которые можно использовать в своих проектах!

🔗 Ссылка: *клик*

@sqlhub

🖥 Как оптимизировать поисковые запросы в MongoDB?

💡 Поиск в базе данных для извлечения релевантных данных может оказаться довольно утомительным, если у вас нет нужных инструментов или вы не знаете, как ими пользоваться. Цель статьи — максимально понятно объяснить оптимизацию поиска в MongoDB новичкам!

🔗 Ссылка: *клик*

@sqlhub