SQL и Анализ данных

🎓 ChatGPT для студентов

В одном месте собрано всё самое нужное в разделе “for Students”.

Это готовые промпты и чаты в ChatGPT, которые помогают учиться, готовиться к экзаменам и даже строить карьеру.

✨ Что внутри:
- Более 100 готовых шаблонов для колледжа и университета.
- Категории: Учёба, Карьера, Жизнь.
- Практика: редактировать курсовые, делать конспекты, готовить планы к экзаменам.
- Карьера: советы по резюме, подготовка к собеседованиям.
- Организация: составление расписания и чек-листов.

🟠Попробовать можно здесь
https://chatgpt.com/use-cases/students

@ai_machinelearning_big_data


#ChatGPT #Students #Учёба

🔥 Beekeeper Studio — «убийца» DBeaver

SQL-редактор с открытым исходным кодом для MySQL, PostgreSQL, SQLite, SQL Server и других баз.

Доступен на Windows, macOS и Linux, удобный интерфейс со вкладками и всё, что нужно:
- 👥 Онлайн-коллаборация
- 📥 Импорт баз данных
- 🛠️ Создание таблиц в GUI
- 👀 Просмотр данных
- 🤖 Встроенный ИИ-копайлота


💰 Есть бесплатная Community Edition

https://www.beekeeperstudio.io/get

⚙️ pgschema — Terraform-подобный инструмент для Postgres

Разработчики выкатили pgschema — утилиту для декларативных миграций схемы в Postgres.
Теперь можно описывать схему как “источник правды”, сравнивать её с текущей и применять изменения безопасно — как в Terraform.

🟢 Главное
- dump — снимаем слепок схемы
- plan — видим diff и список изменений
- apply — применяем миграции с контролем блокировок и таймаутов
- Поддержка Postgres 14-17
- Transaction-adaptive исполнение и dry-run режим

✨ Зачем нужно
- Порядок в быстро меняющейся схеме
- Прозрачные миграции через CI/CD
- Контроль DDL-операций без неожиданных простоев
- Удобно для gitops и командной разработки

👉 Репозиторий: https://github.com/pgschema/pgschema

@golang_google

📊 Анализ Данных Alibaba: Оптимизация Хранения Сжатых Файлов

Введение
В Alibaba, где ежедневно генерируются петабайты данных, эффективное хранение критически важно. Оно не только снижает затраты, но и ускоряет работу систем.

Сегодня мы разберём задачу по оптимизации хранения сжатых файлов, имитирующую реальные сценарии Alibaba.

🎯 Цель — определить сжатые файлы и рассчитать общую экономию памяти.

Постановка Задачи
Дана таблица files со столбцами:
- file_id — идентификатор файла
- file_type — тип файла
- file_size — исходный размер в байтах
- compressed_size — размер после сжатия (`NULL`, если файл не сжат)

Задачи:
1. Найти все сжатые файлы (`compressed_size IS NOT NULL`).
2. Для каждого сжатого файла вывести file_id и file_type.
3. Вычислить и вывести общую экономию места:
экономия = file_size - compressed_size.

Пример Данных

| file_id | file_type | file_size | compressed_size |
|---------|-----------|-----------|-----------------|
| 1 | image | 1000 | 600 |
| 2 | video | 5000 | NULL |
| 3 | document | 200 | 100 |
| 4 | image | 1500 | 700 |

Решение

🔹 Шаг 1. Идентификация Сжатых Файлов
Фильтруем только те строки, где compressed_size не равен NULL:

SELECT
    file_id,
    file_type
FROM
    files
WHERE
    compressed_size IS NOT NULL;

Результат для примера:

file_id file_type
1 image
3 document
4 image

🔹 Шаг 2. Вычисление Общей Экономии Места

Суммируем разницу между исходным и сжатым размером:

SELECT
    SUM(file_size - compressed_size) AS total_space_saved
FROM
    files
WHERE
    compressed_size IS NOT NULL;

Промежуточные расчёты:

- Файл 1: 1000 - 600 = 400
- Файл 3: 200 - 100 = 100
- Файл 4: 1500 - 700 = 800
Общая экономия: 400 + 100 + 800 = 1300

Результат запроса:

- total_space_saved: 1300

Итоговое Решение

Обычно на платформах типа DataLemur ожидаются два отдельных запроса:

1. Список сжатых файлов

SELECT
    file_id,
    file_type
FROM
    files
WHERE
    compressed_size IS NOT NULL;

2. Общая экономия

SELECT
    SUM(file_size - compressed_size) AS total_space_saved
FROM
    files
WHERE
    compressed_size IS NOT NULL;

💰 В чем плюс такой методики — меньше данных → меньше расходов на хранение и трафик. В масштабе Alibaba это миллионы долларов.

📊 Мониторинг эффективности — можно оценить, насколько хорошо работают алгоритмы сжатия.

📦 Планирование ёмкости — точный прогноз потребностей в хранилище.

⚡ Повышение производительности — сжатые файлы быстрее передаются и обрабатываются.

Эта задача показывает, как простые SQL-запросы решают ключевые задачи оптимизации Big Data.

Понимание подобных принципов помогает инженерам данных:
- рационально использовать ресурсы,
- снижать расходы,

- повышать эффективность работы систем.

📌 Задача

⚡️ Топ-10 наиболее популярных опенсорсных баз данных: на заметку разработчику

1️⃣ MySQL
2️⃣ PostgreSQL
3️⃣ MariaDB
4️⃣ Apache Cassandra
5️⃣ Neo4j
6️⃣ SQLite
7️⃣ CockroachDB
8️⃣ Redis
9️⃣ MongoDB
🔟 Couchbase

#инфографика

🖥 Полный гайд по реальным SQL-вопросам с собеседований

Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.

Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.

В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.

Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).

В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.

📌 Читать гайд

📦 AM (Application Manager) — универсальная база и решение для управления всеми AppImage и портативными приложениями в GNU/Linux!

AM упрощает жизнь пользователям Linux, позволяя:
- 🔹 Интегрировать AppImages в систему или локально (с флагом `--user`)
- 🔹 Управлять приложениями прямо из командной строки
- 🔹 Автоматически добавлять программы в меню приложений
- 🔹 Обновлять установленные AppImages и даже собирать их «на лету» как AUR-хелпер

🛠️ Как работает AM:
1. Создаёт базовые каталоги и скрипт удаления
2. Загружает пакет
3. Создаёт файл версии и скрипт обновления
4. При необходимости извлекает иконки и `.desktop`-файлы для удобной интеграции

И всё это максимально просто и быстро — без лишних зависимостей и громоздких менеджеров.

👉 Репозиторий: https://github.com/ivan-hc/AM

🔥 7 бесплатных интерактивов для аналитиков

Эти сервисы — не просто игрушки, а мощные симуляторы, которые помогают прокачивать аналитику через практику.
Они отлично подходят для подготовки к собеседованиям, изучения новых концепций или просто для того, чтобы «залипнуть» с пользой.

Вот подборка, в которую я сам возвращаюсь снова и снова:

1️⃣ Симулятор стартапа — teachmegrow.com

2️⃣ A/B-тесты на практике — lukasvermeer.nl/confidence

3️⃣ Эволюция доверия — notdotteam.github.io/trust

4️⃣ UX-игра на внимательность — cantunsee.space

5️⃣ UX Arcade — uxcel.com/arcade

6️⃣ Вероятности и статистика на пальцах — seeing-theory.brown.edu

7️⃣ Алгоритмы в картинках — visualgo.net

💡 Сохраняйте, проходите и делитесь с коллегами — это реально полезный интерактив.

🚀 Postgres 18 получил нативную поддержку UUID v7!

🔑 Что такое UUID?
UUID (Universally Unique Identifier) — это уникальный идентификатор, который часто используют вместо автоинкрементных ID. Пример: 550e8400-e29b-41d4-a716-446655440000.

✨ Почему именно v7:
- Основан на времени → значения идут по порядку
- Меньше нагрузки на индексы
- Быстрее вставка и чтение записей
- Оптимально для высоконагруженных систем

⚡ Итог: базы на PostgreSQL станут быстрее и стабильнее при работе с большими объёмами данных.

⚡ SQL совет

Часто нужно выбрать последнее значение для каждой группы (например, последний заказ клиента)?
Вместо MAX(date) с подзапросами используйте `DISTINCT ON` (в PostgreSQL) или оконные функции.

Вариант 1 — PostgreSQL `DISTINCT ON`

SELECT DISTINCT ON (user_id) 
       user_id, order_id, created_at
FROM orders
ORDER BY user_id, created_at DESC;

Берёт по одной строке на user_id, оставляя самую свежую по дате.

Вариант 2 — универсальный (SQL Server, MySQL 8+, Oracle)

WITH ranked AS (
    SELECT 
        user_id,
        order_id,
        created_at,
        ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC) AS rn
    FROM orders
)
SELECT user_id, order_id, created_at
FROM ranked
WHERE rn = 1;

📌 Работает во всех СУБД с оконными функциями — гибко и читаемо.

@databases_tg

🔥 Успех в IT = скорость + знания + окружение

Здесь ты найдёшь всё это — коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_1001_notes
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Подпишись, если хочешь быть в числе тех, кого зовут в топовые проекты!

📊 Top 6 Python libraries for visualization — which one to use?

CodeCut подготовили обзор лучших инструментов для работы с графиками и визуализацией в Python.
Разбираем плюсы и минусы, где каждая библиотека раскрывается сильнее всего.

Полный список и разбор: https://codecut.ai/top-6-python-libraries-for-visualization-which-one-to-use/

🐍 Если работаете с данными и графиками в Python — must read!

🗄️ SQL-редактор в браузере

Запускается как Go HTTP-сервер и открывается прямо в браузере.
Подходит для простых ETL-задач:

- перенос данных между базами
- работа с Excel-таблицами
- поддержка JSON и CSV

⚡ Удобный инструмент, когда нужно быстро и без лишних настроек управлять данными.

👉 https://github.com/a-le/db-portal

#golang