Базы данных | Access, SQL, Big Data

Как правильно использовать большие данные: строим хранилища на MPP-СУБД

В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.

Базы данных

Инфраструктура для data engineer Kafka

В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".

Базы данных

👨‍💻Гринатом — ИТ-интегратор Росатома — открывает вакансию системного аналитика!

Ждём кандидатов с опытом работы системным аналитиком в ИТ от 5 лет, навыками проектирования, документирования и интеграций, умением декомпозировать крупные задачи, пониманием принципов построения микросервисной архитектуры ПО и разработки Web-приложений, знанием agile/scrum методологии, BPMN, UML, SQL, OpenProject и Postman. Опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM будет преимуществом.

🤝С нами вы сможете работать с полным соблюдением ТК РФ в удалённом формате из любого региона с сокращённым днём в пятницу, получать «белую» зарплату 2 раза в месяц, учиться за счёт компании и заботиться о своём здоровье с пакетом ДМС, включающим стоматологию.

Работа с множествами в SQL

В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).

00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)

Смотреть это видео на youtube: youtu.be/1n9oQE9i85c

SQL vs NoSQL: блеск и нищета реляционных СУБД

В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.

00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги

Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY

Как выбирать технологии для базы данных?

В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.

В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.

01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты

Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg

Введение в SQL-инъекции

В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.

Смотреть это видео на youtube: youtu.be/4t16wXJXM-A

Базы данных

Что такое GraphQL с примерами

00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества

Смотреть это видео на youtube: youtu.be/Xkx5wroOt7o

Сортировка в SQL

В этом видеоуроке автор подробно разбирает процесс сортировки данных в SQL с использованием оператора ORDER BY.

00:00 Сортировка в SQL
01:50 Порядок сортировки: ASC, DESC
03:19 Совместное использование сортировки и фильтрации
04:21 Ограничение количества выбираемых строк
05:36 Сортировка по нескольким столбцам
06:46 SQL как английский
08:34 Итоги

Смотреть это видео на youtube: youtu.be/bYdjR6QexJY

Что такое CLICKHOUSE и колоночные СУБД

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое Clickhouse
• Что такое колоночные СУБД
• Чем отличаются от обычных строковых
• Почему Clickhouse работает так быстро
• Преимущества использования
• Трудности при работе
• Для каких проектов используется
• В каких сферах используется
• Где не нужен
• Советы по работе с Clickhouse

Смотреть это видео на youtube: youtu.be/2b4heaO3U8k

Как стать SQL-разработчиком или Data-инженером

В этом вебинаре вы рассмотрите, чем занимается специалист, работающий с базами данных, в том числе с их анализом. Кому эта область может быть интересна и какая востребованность специалистов на рынке.

План вебинара:
1. Основные направления развития в IT
2. Кто такие SQL-разработчик и дата-инженер
3. Что такое база данных и язык SQL?
4. Применение языка SQL и баз данных
5. Сферы применения баз данных
6. Какие СУБД бывают?
7. Чем занимается SQL-разработчик?
8. Для кого может быть интересно направление дата-инженера
9. Востребованность на рынке
10. Должности и направления для развития

Смотреть это видео на youtube: youtu.be/kcvslLoWDEQ

Знакомство с Percona Everest [Beta] — инструментом для управления кластерами баз данных

Осенью 2023 года вышла Alpha-версия Percona Everest — нового продукта от компании Percona. Это cloud-native database platform — инструмент с графическим интерфейсом для управления кластерами баз данных, развёрнутыми в Kubernetes.

Базы данных

Группировка и фильтрация в SQL

В этом видеоуроке автор подробно разбирает процесс фильтрации результатов группировки в SQL с помощью ключевого слова HAVING.

00:00 Фильтрация результатов группировки
00:59 Почему не работает фильтрация в WHERE
01:41 Порядок выполнения запроса SQL
02:29 Ключевое слово HAVING
04:00 Итоги

Смотреть это видео на youtube: youtu.be/ytfXUvCsNuo

Проектирование и нормализация базы данных

В этом видеоуроке по SQL автор разбирает:

00:00 Введение в процесс проектирования базы данных
18:13 Рекомендации, лучшие и худшие практики по проектированию БД
26:59 Нормальные формы и нормализация БД

Смотреть это видео на youtube: youtu.be/AdWi1L5Q13o

Переименование и удаление таблиц в базе данных

В этом видеоуроке автор подробно разбирает процесс переименования и удаления таблиц в базе данных (ALTER TABLE, DROP TABLE).

00:00 Вступление
00:42 Переименование таблиц
01:54 Удаление таблиц

Смотреть это видео на youtube: youtu.be/VKhLWx7ue6A

Что такое SQL индексы

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое индексация в SQL
• Для чего нужна индексация
• Как работает индексация
• Что такое двоичный поиск
• Что такое план выполнения запроса
• Когда лучше использовать индексы
• Когда лучше не использовать индексы
• Что такое кластеризованный индекс
• Что такое некластеризованный индекс

Смотреть это видео на youtube: youtu.be/LpEwssOYRKA

Простыми словами о Big Data

В этом видео автор объясняет, что такое Big Data на понятном языке. Вы рассмотрите методы и инструменты работы с большими данными, разберете разницу между Big Data и Data Science, а также между data scientist, data analyst и data engineer. Узнаете, почему биг дата - это новая нефть, и почему нужно бояться умных чайников.

Смотреть это видео на youtube: youtu.be/rOJ42y511lI

Оконные функции SQL

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое оконные функции SQL
• Зачем нужны оконные функции
• Примеры использования
• Синтаксис
• Разница оконных функций и GROUP BY
• Классы
• Функции

Смотреть это видео на youtube: youtu.be/phIR9W0yIaE

Подсказки в SQL

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с подсказками (HINT) в SQL.

Смотреть это видео на youtube: youtu.be/Gyf7v0cX1iQ

После ухода зарубежных вендоров рынок СУБД в России стал меняться быстро и по всем фронтам. В интервью «Коду» Леонид Савченков из Yandex Cloud рассказывает, как в компании выстраивают платформу данных под эти реалии.

Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.

Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.

На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.

Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.