Базы данных | Access, SQL, Big Data

PondPilot: как мы сделали локальный SQL-редактор в браузере на DuckDB и WASM

Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.

Базы данных

План обучения SQL с нуля

SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.

00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики

Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4

Как пройти… к третьей нормальной форме?

В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.

Базы данных

Оптимизация запросов в ClickHouse с помощью создания цепочки материализованных представлений

Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.

Базы данных

Практика по SQL: группировка, сортировка и LIMIT

В этом видеоуроке автор рассматривает пример использования группировки, сортировки и LIMIT в SQL.

0:00 Описание задачи
2:07 Создание копии данных в PostgreSQL
3:00 Поиск количества заказов с GROUP BY
3:58 Ограничение количества строк с помощью LIMIT
4:42 Сортировка сгруппированных данных с ORDER BY
6:06 Запускаем запрос на Leetcode
7:18 Итоги

Смотреть это видео на youtube: youtu.be/xQDuVztZ338

Как оптимизировать PostgreSQL и не лишиться сна

В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.

Базы данных

Почему граф в RAG работает лучше, чем вы думаете… но не так, как вам рассказали

В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье автор опишет своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе.

Базы данных

Что такое денормализация базы данных?

00:44 Что такое денормализация БД?
03:18 Когда она нужна?
05:53 Издержки денормализации
07:52 Пример
11:32 Опыт денормализации в компании

Смотреть это видео на youtube: youtu.be/RbUdncgeCjI

Соединение SortMergeJoin в Apache Spark

Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в исходный код на GitHub. Spark написан на языке Scala, и вся логика работы оператора доступна в открытом репозитории проекта.

Базы данных

Делаем резервное копирование кластера ClickHouse: простая инструкция

Документация ClickHouse по резервному копированию довольно небольшая и содержит инструкции по созданию резервных копий отдельной инсталляции СУБД. К сожалению, информации о том, как создавать резервные копии кластера, практически нет. Как и нет промышленного решения для управления бэкапом.

Базы данных

Как Figma удалось открыть себе путь к почти бесконечному масштабированию баз данных

С 2020 года стек баз данных Figma вырос почти в сотню раз. Это хорошая проблема, ведь она означает, что бизнес расширяется. Но в то же время она стала причиной технических сложностей. В течение последних четырёх лет они усиленно старались не отставать от прогресса и избегать потенциальных проблем, связанных с ростом.

Базы данных

Что такое Big Data за 6 минут

В этом видео автор дает подробные ответы на следующие вопросы:

• Что такое Big Data
• Big Data на пальцах
• Как использовать Big Data
• Польза от Big Data
• Что такое структурированные данные
• Что такое неструктурированные данные
• Что такое полуструктурированные данные
• Характеристики Big Data

Смотреть это видео на youtube: youtu.be/MqKAQCt65o4

Использование миграций баз данных в Go

В этом материале автор расскажет о том, как можно использовать миграции базы данных в ваших сервисах, написанных на Golang.

Базы данных

Типичные вопросы на собеседовании по SQL (часть 2)
часть 1

В этом видео автор продолжает подробно рассматривать типичные вопросы и задачи на собеседовании по языку SQL и способы их решения.

Смотреть это видео на youtube: youtu.be/dNNBKriXYdI

Ликбез по методологиям проектирования хранилищ данных

Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. В этой статье автор рассмотрит сильные и слабые стороны самых популярных методологий.

Базы данных

Как дисциплина управления мастер-данными влияет на продажи

В этой статье автор поделится, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.

Базы данных

Что такое Data Service и почему он может быть вам полезен

Сегодня компании собирают огромное количество данных разных типов и качества. Естественно, эти данные нужно хранить, обрабатывать и находить им применение. В данной статье автор расскажет, как это происходит в его компании.

Базы данных

Подзапросы в SQL

В этом видеоуроке автор подробно рассматривает работу с подзапросами в SQL. Вы разберете синтаксис подзапросов и узнаете как их использовать.

0:00 Вступление
0:15 Подзапросы
2:13 Значение подзапросов
4:12 Предикаты с подзапросами
4:26 Использование агрегатных функций
5:49 Оператор IN
8:10 Одиночные столбцы
8:35 Выражение
8:58 Предложение HAVING
9:17 Итог

Смотреть это видео на youtube: youtu.be/pIFiw2IjFHE

Трассировка запросов в Postgres с расширением pg_trace

В этой статье автор расскажет о расширении pg_trace, предназначенном для сбора трассировок запросов в PostgreSQL, соберет трассировку на реальном примере работы приложения, оценит влияние сбора трассировки на производительность и агрегирует данные трассировки.

Базы данных

Восхитительная теория якорных баз данных

Transitional Modeling призвано отразить происходящие в реальной жизни события в простом, но эффективном формате, минимизируя при этом потерю информации в процессе записи таких событий. По своей сути оно сообщает об объектах и разнообразных, многогранных ситуациях, в которых эти объекты оказываются.

Базы данных