SQL и Анализ данных

💡 Репозиторий, где собрано 100+ проектов с нуля - от веба до ИИ. Всё максимально практично 👇

- 100+ готовых проектов: сайты, игры, нейросети, тулзы

- Современные технологии: ReactJS, NodeJS, VueJS, Flutter, Unity, TensorFlow, OpenCV и другие

- Пошаговые гайды с разными уровнями сложности — подойдёт даже новичку

- У каждого проекта указан технологический стек

Без воды - только практика и понятные объяснения.

🚀 https://github.com/Xtremilicious/projectlearn-project-based-learning

📈 Гайд по продвинутым вопросам для разработчика LLM

Собеседования на позицию разработчика больших языковых моделей (LLM) в топовых AI-компаниях предъявляют высокие требования к знаниям.

Кандидату необходимо понимать устройство архитектуры трансформеров, владеть методами эффективного обучения и инференса, разбираться в оптимизациях памяти и скорости (таких как LoRA, FlashAttention, vLLM, ZeRO), знать тонкости распределённого тренинга, принципов LLMOps (MLOps для больших моделей) и нюансов продакшн-развертывания LLM.

Также часто проверяют умение решать реальные задачи: от проектирования пайплайна для Sparse MoE до анализа проблем с памятью на GPU, понимания различий между методами обучения с подкреплением (RLHF vs DPO) и способов масштабирования моделей.

Этот гайд структурирован по ключевым темам, соответствующим областям знаний, которые обычно проверяются на собеседованиях. Для каждой темы мы рассмотрим, что пытаются проверить интервьюеры, приведём пример формулировки вопроса и дадим подробный разбор ответа с обсуждением трэйд-оффов, примеров кода или схем, где это уместно. Вы можете изучать материал по разделам, чтобы сфокусироваться на интересующей области.

👉 Гайд

⚡️ Pytest совет: экономим время на тестах с большими данными

Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры.

❌ По умолчанию (`scope="function"`) данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение.

✅ С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку.

Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.

Полезный продвинутый совет по SQL 👇

Используй FILTER в агрегатах, вместо сложных CASE WHEN внутри SUM или COUNT. Это делает код короче и читаемее:

SELECT
    COUNT(*) AS total_users,
    COUNT(*) FILTER (WHERE is_active) AS active_users,
    SUM(amount) FILTER (WHERE status = 'paid') AS total_revenue
FROM users;

Так ты можешь сразу строить несколько условий в одной выборке, не дублируя подзапросы и не нагружая CASE.

👉 Совет: работает во всех современных СУБД (Postgres, SQL Server 2023+, SQLite 3.30+, DuckDB и др.), но в MySQL придётся заменить на SUM(CASE WHEN ...).

✔️ Математика в машинном обучении» - бесплатный курс, который предназначен для тех, кто хочет углубить свои знания в области математики, необходимой для понимания и применения методов машинного обучения и искусственного интеллекта.

Этот курс охватывает ключевые математические концепции, лежащие в основе современных алгоритмов машинного обучения, таких как линейная алгебра, теория вероятностей, статистика и оптимизация.

Курс

🖥 SQL: быстрый топ-1 на группу в Postgres

Вместо оконных функций используем DISTINCT ON + индекс.

-- индекс под запрос
CREATE INDEX idx_events_user_score
  ON events (user_id, score DESC, event_time DESC);

-- топ-1 событие на пользователя
SELECT DISTINCT ON (user_id) user_id, id, score, event_time
FROM events
ORDER BY user_id, score DESC, event_time DESC;

@databases_tg

PostgreSQL 18 — что нового?

В свежем релизе PostgreSQL 18 появилось несколько долгожданных возможностей, которые заметно ускоряют работу с базой.

Главное
- Index Skip Scans — теперь можно использовать индекс даже при фильтрации по *второму столбцу*.

Ещё интересное
1️⃣ Асинхронный I/O при сканировании страниц с диска — меньше задержек при больших запросах.
2️⃣ Виртуальные колонки, вычисляемые во время запроса (особенно полезно для индексации по JSON path).
3️⃣ UUIDv7() — новые, *времясортированные* UUID, удобные для упорядочивания данных.

Подробнее:
https://crunchydata.com/blog/get-excited-about-postgres-18

⚡️SQL на собеседованиях: где тренироваться

Принесли вам отличный ресурс, который собрал огромное количество практических задач по SQL.

Там можно найти всё: от базовых упражнений до сложных вопросов, включая отдельный блок с заданиями от FAANG.

Но самое ценное здесь не сами вопросы, а структура подачи:
- Формулировка задачи в формате собеседования
- Подробное решение с объяснением
- Встроенный редактор, чтобы попробовать свои силы прямо на месте

И главное — доступ полностью бесплатный.

Начать тренироваться

🧩 Devsyringe

Devsyringe — это CLI-инструмент, который позволяет инжектить динамические значения из внешних команд и внедрять их в конфигурационные файлы с помощью декларативного YAML.

Он упрощает работу с параметрами, такими как токены API и домены, без необходимости использования шаблонов.

🚀Основные моменты:
- Инъекция значений в любые целевые файлы.
- Поддержка извлечения данных из командной строки.
- Конфигурация через YAML-файлы.
- Удобный интерфейс для управления процессами.

📌 GitHub: https://github.com/alchemmist/devsyringe

#go

🧠 Qwen3-ASR Toolkit: Умный инструмент для транскрипции аудио

Qwen3-ASR Toolkit — это мощный Python-инструмент для работы с API Qwen-ASR, позволяющий обрабатывать аудио и видео любой длины. Он преодолевает ограничение в 3 минуты, умно разбивая длинные файлы и обрабатывая их параллельно, что значительно ускоряет транскрипцию.

🚀 Основные моменты:
- Обходит 3-минутное ограничение API для транскрипции.
- Умное разделение аудио с использованием детекции активности голоса.
- Параллельная обработка для быстрого получения результатов.
- Автоматическая очистка текста от артефактов ASR.
- Поддержка множества форматов медиа благодаря FFmpeg.

📌 GitHub: https://github.com/QwenLM/Qwen3-ASR-Toolkit

#python

⚡️ Неочевидный SQL-совет

Иногда нужно выбрать строки, где значение в одной колонке соответствует экстремальному (минимальному или максимальному) значению в другой колонке.
Вместо подзапросов с JOIN можно использовать WITH TIES (поддерживается в PostgreSQL 13+, SQL Server, Oracle, MySQL 8.0+):

SELECT *
FROM orders
ORDER BY created_at DESC
FETCH FIRST 1 ROW WITH TIES;

👉 Результат: вернутся все заказы с максимальной датой (например, если несколько заказов сделаны в одну и ту же последнюю минуту).

WITH TIES особенно удобно, когда вам нужно не одно значение, а все «равные лидеры» по условию сортировки.

🔗 PGMCP: AI-Driven PostgreSQL Queries 🚀

PGMCP позволяет взаимодействовать с любыми базами данных PostgreSQL через естественные языковые запросы. Пользователи могут задавать вопросы на английском и получать структурированные результаты SQL с автоматической обработкой ошибок и потоковой передачей данных.

🚀Основные моменты:
- Поддержка любого PostgreSQL без изменений схемы
- Безопасный доступ только для чтения
- Автоматическая потоковая передача больших наборов данных
- Интеллектуальное понимание запросов
- Множественные форматы вывода (таблица, JSON, CSV)

📌 GitHub: https://github.com/subnetmarco/pgmcp

🎮 Elden GitHub: Погрузитесь в мир Elden Ring на GitHub!

Этот репозиторий предлагает уникальный опыт взаимодействия с GitHub, вдохновленный атмосферой Elden Ring. Исследуйте, создавайте и делитесь своими проектами в стиле любимой игры.

🚀Основные моменты:
- Интерактивные элементы, основанные на Elden Ring.
- Уникальный интерфейс для работы с репозиториями.
- Возможность делиться опытом с другими пользователями.
- Поддержка различных функций GitHub в игровом контексте.

📌 GitHub: https://github.com/SaltyAom/elden-github