SQLpedia | Базы данных

​​Логмайним Оракл

Перед нашей командой была поставлена задача осуществить миграцию из Oracle в PostgreSQL большой (несколько десятков терабайт) работающей базы с нагрузкой порядка 20 миллионов dml-операций в час и генерацией 2ГБ редо-логов в минуту. Особенность задачи состояла в том, что миграция должна была происходить не один-в-один, а по частям в разные шарды.

Перейти к статье | SQLpedia

​​Проблемы студентов курсов при работе с реальными данными

В этот статье автор бы хотела отметить важные моменты из работы с базами данных с помощью SQL, которые не изучают на курсах, но которые могут быть актуальны с самого начала карьеры для эффективной работы. Примеры в статье будут приведены для базы PostgreSQL.

Перейти к статье | SQLpedia

​​Аналитики с диапазонами дат в MS SQL

Развернув обратно разработчику очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, я решил на планерке обсудить этот вопрос. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. Погуглив, ради интереса, обнаружил, что этот вопрос как-то обходится стороной сообществом. В итоге решил написать статью, заодно ссылаясь на нее самому.

Перейти к статье | SQLpedia

Первая задача на новой работе

​​pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway

В этой статье описывается особенность инструмента "pgmig", который позволяет создавать пустую базу данных на любой коммит ветки git и проводить тестирование на этой базе данных. Также упоминаются другие проблемы, связанные с разработкой баз данных и предлагаются способы их решения.

Перейти к статье | SQLpedia

​​Всегда ли хорош Index Only Scan?

Среди применяемых в PostgreSQL методов доступа к данным Index Only Scan стоит особняком, считаясь у многих разработчиков "волшебной пилюлей" для ускорения работы запроса - мол, "Index Scan - плохо, Index Only Scan - хорошо, как только получим его в плане - все станет замечательно".

Как минимум, это утверждение неверно. Как максимум, при определенных условиях может вызвать проблемы чуть ли не на ровном месте.

Перейти к статье | SQLpedia

​​Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом

Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере.

Перейти к статье | SQLpedia

Я смотрю на себя в маленьком окошке видеозвонка, пока все остальные разговаривают на важном совещании

​​Используем sequence в MySQL

В этой статье рассказывается о том, как создать сквозной монотонно возрастающий целочисленный идентификатор в MySQL. Это полезно, когда в системе есть разные сущности с разными атрибутами и жизненным циклом, и нужно их уникально идентифицировать в рамках системы.

Перейти к статье | SQLpedia

​​SQL HowTo: «простое» прогнозирование

Статья обсуждает возможности использования SQL для прогнозирования значений на основе данных предыдущих периодов. Авторы отмечают, что для бизнеса важно иметь возможность заглянуть в будущее и спрогнозировать значения каких-то величин, например, выручки или количества продуктов.

Перейти к статье | SQLpedia

​​Путеводитель по резервному копированию баз данных

Статья рассказывает о том, что такое резервное копирование баз данных, зачем оно нужно и как его правильно делать. В статье описываются три задачи, которые решает резервное копирование, и проблемы, связанные с горячим сохранением файлов базы данных.

Перейти к статье | SQLpedia

​​Приручаем Liquibase. Как скормить базе данных список из 10К офисов, чтобы потом не писать костыли?

В этой статье автор хочет поделиться своим опытом создания миграций файлов с большим списком данных при помощи Liquibase. Cтолкнувшись с такой задачей на проекте, он был сильно удивлен тому, как мало материалов написано по этой теме, даже на английском. Поэтому описал то, что удалось собрать и проверить на собственном опыте.

Перейти к статье | SQLpedia

​​Многомерные базы данных

В статье рассказывается о многомерных базах данных (МБД) и их преимуществах в аналитике больших объемов данных. Они обладают способностью быстро агрегировать данные и проводить сложные аналитические операции. МБД также обеспечивают высокую скорость выполнения запросов и масштабируемость, что особенно важно в контексте Big Data.

Перейти к статье | SQLpedia

И з/п хорошую обещали

​​Мигрируем в PostgreSQL, тестируем OLAP-кубы и разбираемся с валидацией T-SQL-кода: три доклада с митапа ЮMoney

В конце апреля был проведен онлайн-митап High SQL, который посвятили работе с данными в DWH на Microsoft SQL Server. Статья с видеозаписями и главными мыслями митапа. Если не смотрели его 27 апреля, можно сделать это сейчас.

Перейти к статье | SQLpedia

​​MSSQL: ребилд индексов в высоко нагруженных системах, Standard Edition

В статье рассказывается о том, как можно проводить ребилд индексов в базах данных MSSQL, работающих под нагрузкой 24/7, в Standard Edition. Автор описывает свой скрипт, который следит за тем, как он может мешать основной нагрузке на базу, и прерывает операцию, если возникают блокировки.

Перейти к статье | SQLpedia

​​Использование составных триггеров (compound triggers) Oracle

Пример использования триггеров, при взаимном обновлении таблиц. При таких задачах возникает ошибка мутирования таблиц ORA-04091: table is mutating.

Перейти к статье | SQLpedia

​​Решение проблемы N+1 запроса с помощью группировки вызовов

В статье затрагиваются различные способы решения проблемы и предлагают свою реализацию группировки вызовов, которая позволяет сократить количество SQL-запросов и улучшить производительность базы данных. В статье также рассматриваются вопросы кэширования и приоритизации запросов.

Перейти к статье | SQLpedia

​​database/sql биндинги для YDB в Go

YQL — это SQL‑диалект, специфичный для базы данных YDB. YQL требует заранее объявлять имена и типы параметров запроса. Это обеспечивает высокую производительность и корректное поведение. В синтаксисе YQL параметры необходимо перечислять явно с помощью инструкции DECLARE. И этот нюанс YDB может быть неожиданным для пользователей традиционных баз данных.

Перейти к статье | SQLpedia