Базы данных | Access, SQL, Big Data

Как переписать и оптимизировать ваши SQL-запросы на Pandas

Хотя Pandas может быть новым для людей, знакомых с SQL, концепции селектов, фильтрации и агрегирования данных в SQL легко переносятся в Pandas. В этой статье автор рассмотрит некоторые распространённые SQL-запросы и способы их написания и оптимизации в Pandas.

Базы данных

Партицирование как средство быстрого обновления данных

В этой статье автор рассмотрит, как частично обновить большой объем данных в таблицах, которые активно используются пользователями на чтение. Задача является типовой, и с ней сталкивается каждый инженер данных.

Базы данных

Многоуровневая группировка в SQL: Grouping sets

Описан основной принцип работы конструкции Grouping sets в SQL на примере. Статья будет полезна для тех, кто хочет быстро разобраться с основными принципами группировки с использованием Grouping sets.

Базы данных

Практика по SQL: объединение двух таблиц

В этом ролике автор разбирает решение задачи с Leetcode по объединению двух таблиц, применяя оператор LEFT OUTER JOIN.

00:00 Leetcode
01:23 Описание задачи
02:53 Разработка SQL запроса
04:23 Запуск на тестовых данных
05:26 Отправка запроса на проверку

Смотреть это видео на youtube: youtu.be/EWjY8SOQBGk

Развитие баз данных

Этот материал охватывает ключевые моменты в развитии систем управления базами данных, от первых иерархических моделей до современных реляционных, NoSQL и NewSQL систем.

Базы данных

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных

В этой статье автор погрузит вас в проблемы, с которыми приходится сталкиваться инженерам при отладке программного обеспечения систем хранения данных. А также покажет особенности работы с такими системами.

Базы данных

Как стать классным спецом по базам данных?

Системы хранений и манипуляции данными в том или ином виде есть в любом хайлоад-проекте, как традиционные MySQL/PostgreSQL, так и экзотические.

Как разобраться в этом постоянно растущем и изменяющемся ворохе технологий? В этом видео автор подробно разбирается в данном вопросе.

Смотреть это видео на youtube: youtu.be/SpLVs6lfXps

Нескучная стеганография, или как мы зашифровали секретные ключи пользователей в джипегах

В этой статье автор расскажет, как использовать методы стеганографии и шифрования в децентрализованных сервисах на IPFS. Исключаем риски, связанные с централизованным хранением логинов и паролей. Используем метод LSB, «наименьший значащий бит». Внутри статьи — примеры кода на C# и алгоритме AES для шифрования и расшифровки.

Базы данных

Оконные функции SQL простым языком с примерами

Данная статья написана исключительно для людей, которые начинают свой путь в изучении SQL и оконных функций. Здесь могут быть не разобраны сложные применения функций и могут не использоваться сложные формулировки определений - все написано максимально простым языком для базового понимания.

Базы данных

Функции SQL для символьных данных

В этом видеоуроке автор подробно разбирает процесс работы с символьными (строчными) функциями в SQL.

00:00 Вступление
00:18 Преобразование строки в нижний регистр (LOWER)
00:32 Преобразование строки в верхний регистр (UPPER)
00:55 Получение длины указанной строки (LENGTH)
01:06 Вернуть символ, заданный числовым кодом (CHR)
01:28 Соединить вместе две и более строки (CONCAT)
01:57 Удалить символ с начала или конца строки (TRIM)
02:22 Посимвольная замена значений (TRANSLATE)
03:25 Замена слова в строке другим словом (REPLACE)
04:03 Извлечь часть данных из строки (SUBSTR)

Смотреть это видео на youtube: youtu.be/myYvKpjquGw

Как работает миграция между базами данных в реальном мире

В этом материале автор подробно поделиться своими исследованиями в сфере миграции данных между базами.

Базы данных

Big Data в облаках

В этом материале автор делает обзор облачных решений, которые могут быть полезны для задач хранения больших данных, а также разбирает вопрос выбора облачного хранилища. Статья может быть интересна как разработчикам, дата-инженерам, так и менеджерам, отвечающим за корпоративную Big Data-инфраструктуру и ищущим возможности ее масштабировать.

Базы данных

2003–2023: Краткая история Big Data

Большие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить. Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско.

Базы данных

Лучшие практики при работе с мастер-данными

Основная цель управления мастер‑данными — сформировать единое представление об объектах, над которыми компания осуществляет свою деятельность. В этой статье автор поделится лучшими практиками в этом направлении. При этом призывает вас оценивать влияние и принимать собственное решение о применимости практики в вашем кейсе.

Базы данных

Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур

В этой статье автор разберет, что такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Вы узнаете, чем корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают. В первую очередь автор дает информацию о ценности для бизнеса каждого архитектурного и концептуального подхода к построению хранилища.

Базы данных

Базы данных: SQL уроки для начинающих

В этом видеоуроке автор кратко проходится по теории реляционных баз данных и рассматривает язык запросов SQL на примере СУБД MySQL. Вы разберете основные конструкции языка и научитесь создавать и изменять таблицы и получать с них данные.

00:00 Введение
02:53 О реляционных БД
03:15 1 и 2 нормальные формы
04:50 Связи между таблицами
06:12 Начало работы с MySQL
06:47 SHOW, CREATE, DROP DATABASE
07:40 SHOW, CREATE TABLES
10:10 INSERT INTO
10:45 SELECT
11:40 DISTINCT
12:10 WHERE
13:07 AS
13:30 ORDER BY
14:40 UPDATE, SET
15:30 LIKE
18:10 Multiple INSERT
19:10 Объединение таблиц (JOINS)
22:04 Агрегатные функции
23:10 GROUP BY

Смотреть это видео на youtube: youtu.be/IK6e1SFCdow

Отказоустойчивость в MinIO

В этой статье автор поделится своим опытом использования MinIO, сделав акцент на отказоустойчивости и сохранности данных в случае инцидентов разной степени — от выпадения диска до пожара в цоде.

Базы данных

JOIN в SQL

В этом видеоуроке автор подробно и наглядно разбирает запросы данных из нескольких таблиц с использованием оператора JOIN.

00:00 Пример базы данных
01:53 JOIN в SQL
04:06 Псевдонимы таблиц и столбцов в JOIN
05:23 Фильтрация данных
06:59 Сортировка данных
07:32 Итоги

Смотреть это видео на youtube: youtu.be/SYJ1B2KrDCQ

Работа с SQLite в Python (для чайников)

В этом руководстве автор покрывает все основные аспекты использования SQLite, начиная с установки и создания базы данных, и заканчивая выполнением сложных запросов и управлением транзакциями.

Базы данных

Базы данных: большой обзор типов и подходов.

В этом материале вы узнаете, какие бывают базы данных, какие их особенности важно помнить, как в работе с данными учитывать характеристики системы и планы масштабирования, в какую из тем нужно углубиться для решения конкретной задачи. А также как при возникновении багов определить, является ли работа с БД источником проблемы (и если да, то в какую сторону копать).

Базы данных