А нужна ли вам база данных?
Любой бизнес так или иначе генерирует и собирает самые разные данные, которые надо где-то хранить — в идеале так, чтобы еще и обеспечить к ним удобный доступ.Самое логичное решение этой задачи — развернуть базу данных.

А что если попробовать без нее?
По сути, данные в базе — это обычные файлы, с которыми вполне можно работать напрямую, без дополнительного слоя БДшной логики сверху. Вопрос только в том, будет ли это удобнее и быстрее? Ответ нашли ребята из DBPro — приложения по управлению базами данных.

Они протестировали разные способы найти данные внутри простых JSONL-файлов на трех датасетах — с 1000, 100 000 и 1 000 000 записей:
🔵Линейный поиск — каждый запрос читает весь файл целиком от первой до последней строки.
🔵Загрузка в память — при запуске приложения файл читается один раз, данные сохраняются в хэше, и поиск ведется по нему.
🔵Бинарный поиск по индексу — данные хранятся на диске и сортируются по Id, на основе чего и создается индекс.
🔵SQLite — собственно, классический вариант работы с данными через СУБД.

Вы уже, наверное, можете догадаться, что было в результатах, хотя бы частично: SQLite одинаково легко справляется что с 1000, что с 1 000 000 записей, а вот линейный поиск на больших датасетах позиции резко сдает. А вот то было неожиданно, так это то, что загрузка в память и бинарный поиск оказывались быстрее SQLite.

SQLite обрабатывала стабильные 25-26 тысяч запросов в секунду, бинарный поиск — до 45 тысяч, а поиск в памяти — до 169 тысяч. Этого не просто достаточно для большинства сайтов или приложений — многие и близко не подходят к такому объему.

Но надо учитывать, что эксперименте проводили на простых запросах, в которых не приходилось искать данные по нескольким полям сразу, объединять таблицы и применять другие интересные функции. То есть при всей простоте реализации и высокой производительности, способы применения ограничены проектами без сложной архитектуры, где не нужно работать с аналитикой.

🔜 В итоге эксперимент не столько убеждает срочно отказаться от использования БД, сколько подталкивает почаще мыслить нестандартно и смотреть критически даже на вещи, которые кажутся очевидными.