SQL и Анализ данных

📚 Курс, который прокачает твои AI-скиллы в BigQuery

Этот курс учит работать с Gemini прямо внутри BigQuery и закрывает полный набор практических навыков:

- генерация и отладка SQL-запросов с помощью Gemini
- анализ тональности текста
- автоматические суммари и выделение ключевых слов
- генерация эмбеддингов
- построение RAG-пайплайна
- мультимодальный векторный поиск

Если хочешь уверенно использовать AI-инструменты в аналитике и продуктах — этот курс даёт полный набор необходимых умений.

https://www.skills.google/paths/1803/course_templates/1232

✔️ ИИ-ассистент, который сам пишет и оптимизирует SQL запросы

— уже работает с PostgreSQL, а MySQL и MongoDB на очереди
— понимает обычный язык: достаточно спросить «какие пользователи были активны за месяц?»
— шифрует всё — строки подключения, пароли, запросы
— позволяет выбрать модель, на которой крутится ассистент

Опенсорс, безопасно и реально экономит время.


https://github.com/wannabespace/conar

Продвинутый SQL-совет: используйте partial indexes как «селективный ускоритель», но не только для WHERE — ещё и для JOIN-ов.

Большинство разработчиков делают частичные индексы так:
CREATE INDEX idx_active_users ON users(id) WHERE active = true;

Но фишка в том, что partial index может радикально ускорить запросы, где фильтр стоит не в WHERE, а «прячется» в JOIN-условии. Оптимизатор всё равно понимает условие и использует индекс.

Например, у вас есть таблица logs, где 95% строк — архив, и только 5% актуальные. Запрос делает join:

SELECT u.id, l.event
FROM users u
JOIN logs l ON l.user_id = u.id AND l.is_archived = false;

Если делать обычный индекс, он будет огромный. Но partial index:

CREATE INDEX idx_logs_active ON logs(user_id)
WHERE is_archived = false;

Теперь:
- индекс в 20–30 раз меньше
- cache hit rate выше
- планы меняются с seq scan на index scan
- JOIN начинает работать почти как в in-memory базе

Прикольно, что работает даже если в SELECT самого условия нет — главное, чтобы оно было в ON.

Это отличный способ ускорять «холодные» большие таблицы, где часто обращаются только к маленькому активному сегменту.

Жалкое зрелище

Но я уже и сам догадался

🖥 Инструмент для мониторинга активности PostgreSQL

Следит за запросами, блокировками, использованием памяти и CPU - помогает мгновенно понять, что происходит с базой в реальном времени.

💻 Устанавливается одной командой:

sudo apt install pg-activity

Работает как локально, так и по сети.
Если запускать от postgres или root, открывается полная статистика - системные процессы, временные файлы и всё, что нужно для анализа нагрузки.

https://github.com/dalibo/pg_activity

✔️ Подборка полезных бесплатных курсов и гайдов на выходные.

🖥 Microsoft представила свежий цикл лекций по Python и и ИИ.

• Содержание: Курс включает 9 лекций, дополненных видео, подробными презентациями и примерами кода. Цикла - обучение разработке ИИ-агентов доступен написан понятно, даже для новичков в программирование.
• Темы: В лекциях рассматриваются такие темы, такие как RAG (Retrieval-Augmented Generation), эмбеддинги, агенты и протокол MCP.
👉 Курс

💡Гарвардский курс по машинному обучению

Культовый трек CS 249 превратили в интерактивный учебник - и это, пожалуй, один из лучших стартов для инженеров, которые хотят делать реальные ML-системы, а не просто играться с моделями.

• Вся база по ML: объясняют фундамент с нуля, нужно только знание Python
• Проектирование систем и инженерия данных
• Подготовка датасетов, MLOps и мониторинг
• Развёртывание ИИ в IoT и продакшене

Это практический курс: не о формулах, а о том, как внедрять ML так, чтобы он приносил бизнесу прибыль.
Если хочешь понять, как модели живут в проде - идеальный вариант для старта.
👉Курс

🖥 Создай своего Bash-агента с NVIDIA Nemotron за 1 час

NVIDIA показала, как собрать AI-агента, который понимает твои запросы на естественном языке и сам выполняет команды Bash.
В основе модель Nemotron Nano 9B v2: компактная, быстрая, идеально подходит для локального эксперимента.

Агент умеет:
- распознавать команды на естественном языке («создай папку», «покажи файлы»),
- превращать эти команды в рабочие Bash-срипты
- спрашивать подтверждение перед выполнением.

Весь код занимает ~200 строк Python, работает через FastAPI и LangGraph.
Можно расширить под DevOps, Git-операции, анализ логов или управление сервером.
👉Гайд

⚡️ Kaggle Learn: интерактивные мини-курсы по Python, Data Science и машинному обучению.
Полностью бесплатно и максимально практично.

Что внутри:
• Python, Pandas, визуализация
• Основы машинного обучения и фичеринжиниринг
• Подготовка данных и работа с моделями

Практика без лишней теории учишься и сразу применяешь.
👉Курс

🖥 Гайд по шардингу баз данных от PlanetScale

Вы узнаете, как масштабировать базы данных через шардинг - разбиение данных по серверам для роста производительности и отказоустойчивости.

Главное:
• Шардинг нужен, когда одна база больше не справляется с нагрузкой.
• Есть два популярных подхода — по диапазону (range) и по хешу (hash).
• Важно выбрать стабильный ключ (например, user_id) и избегать кросс-шардовых запросов.
• Прокси-слой немного увеличивает задержку, но даёт масштабируемость.

Отличный материал, если хочешь понять, как строят системы уровня YouTube. А здесь много базы по SQL
Читать

🧠 60 готовых проектов по генеративному ИИ

Список из 60 проектов на GitHub с открытым кодом по генеративному ИИ 0от текстовых моделей до аудио и видео.

Каждый проект - с описанием и ссылкой на репозиторий. Можно выбрать идею, запустить локально и собрать своё AI-портфолио.
👉 Github

👉 Еще больше полезного.

@ai_machinelearning_big_data

#AI #MachineLearning #DataScience #ML #ИИ #freecourses

🪄 Открытая альтернатива Firebase — на стероидах PostgreSQL

Платформа, которая даёт всё, чтобы собрать современное веб-, мобильное или AI-приложение — без проприетарных SDK и боли.

Что внутри:
⚙️ Хостинг Postgres с realtime-синхронизацией
🧩 Автогенерация REST и GraphQL API
🔐 Аутентификация и авторизация через JWT
⚡ Edge-функции и серверные триггеры
📦 Хранилище файлов с поддержкой S3
🧠 AI-инструменты: векторные индексы, эмбеддинги, семантический поиск
🪶 Всё open source и доступно для self-host.

По сути это Firebase-опыт, но построенный на «взрослых» open-source технологиях:
PostgreSQL, Elixir, GoTrue, PostgREST, pg_graphql.

Платформа, где можно запустить идею, вырастить продукт и не упереться в чьи-то закрытые лимиты.
#Postgres #OpenSource #Backend #AI #GraphQL #Realtime #FirebaseAlternative

https://github.com/supabase/supabase

🖥 Гайд по PostgreSQL для продвинутых разработчиков

PostgreSQL – одна из самых мощных СУБД с открытым исходным кодом. Этот гайд подробно охватывает ключевые аспекты PostgreSQL: от внутренней архитектуры до приёмов оптимизации. Мы рассмотрим администрирование, производительность, расширения, инструменты, а также сравним популярные ORM для Python и Go. В конце приведён список продвинутых вопросов, часто встречающихся на собеседованиях.

🟠Гайд

Других советов у меня для вас нет

🖥 Полный гайд: защита от SQL-инъекций для разработчиков

SQL-инъекции остаются одной из самых частых и опасных уязвимостей в веб-приложениях. Ошибка в одном запросе — и злоумышленник получает доступ к базе данных, паролям и пользовательским данным.

В этом материале — полный практический разбор:
как именно происходят SQL-инъекции, какие ошибки разработчиков к ним приводят, как их распознать в коде и главное — как защититься.

Разберём реальные примеры на Python, PHP и Go, посмотрим, как атакующий «взламывает» запрос, и научимся писать безопасный код с параметризованными запросами и ORM.

Это не теория, а руководство, которое поможет понять уязвимость изнутри и навсегда закрыть её в своих проектах.

👉 Читать гайд

😈 Sora 2 сгенерировала утренник по «Берсерку»:
«Я — Гатс, иду по дороге меча».

Теперь такие видео можно делать в два клика — хоть про «Берсерк», хоть про ваш выпускной, хоть про корпоратив.
Просто вставляете тему, и нейросеть ставит сцену, пишет сценарий и снимает всё за вас.

Вот промпт:

Локация:
Пост-советская школа

— Качество видео как будто снято на слегка пиксельную камеру 90-х, школьный спектакль в день выступления
— Группа детей в костюмах на тематику разговаривает друг с другом
— Дети показывают сценку и читают слова на тему, будто в школе рассказывая тематику
— Аудитория поддерживающих родителей тихо ахает, и одна из мам в зале шепчет себе под нос что-то на тему выступления

Шпаргалка по SQL-функциям

- Агрегатные функции (COUNT, SUM, AVG, MIN, MAX),
- оконные функции (ROW_NUMBER, RANK, LAG, LEAD),
- строковые функции (LOWER, SUBSTRING, CONCAT),
- работа с датами (NOW, DATE_PART, TRUNC),
- управление потоком (CASE, COALESCE),
- фильтры (IN, LIKE),
- математика (ROUND, MOD).

💻 OctoSQL — работа с разными БД и файлами посредством единого интерфейса

— brew install cube2222/octosql

OctoSQL — CLI-инструмент, который позволяет работать с множеством баз данных (и файлов) с помощью SQL через единый интерфейс и выполнять JOIN между ними.
Например, OctoSQL может помочь объединить JSON-файл с таблицей PostgreSQL.

В то же время OctoSQL — это легко расширяемый движок потока данных, и его можно использовать для добавления SQL-интерфейса в свои собственные приложения.

🖥 GitHub

🖥 Свежий курс на Stepik: PostgreSQL для разработчиков: от основ к созданию API

Курс научит создавать надёжные REST API-сервисы на базе PostgreSQL, используя FastAPI на Python.

Пошаговое объяснение материала - от установки среды и основ SQL до полноценного API-приложения с безопасностью, связями и масштабируемостью.

На практике разбирается:

•работу с таблицами, типами данных, фильтрацией и агрегатами

• группировки, подзапросы и оптимизацию SQL-запросов

• взаимодействие Python с базой данных

• создание REST API с FastAPI и подключением PostgreSQL

• проектирование структуры БД и нормализацию

• реализацию CRUD-операций и валидацию данных

• postgres для профессионалов

• разбор вопросов с реальных собеседований технические вопросы, SQL-задачи, разбор хитрых приемов.

⚡️ После прохождения вы создадите готовый API-проект и уверенные навыки работы с PostgreSQL в продакшене.

Сегодня дарим промокод на скидку - 30%, действует

🚀 Начать учиться

🚀 Мониторинг PostgreSQL с pgexporter

pgexporter — это экспортер для Prometheus, который позволяет отслеживать работу нескольких экземпляров PostgreSQL. Он поддерживает безопасное соединение через TLS и предоставляет различные метрики для мониторинга.

🚀 Основные моменты:
- Экспортер для Prometheus
- Поддержка JSON и удаленного управления
- Режим демона
- Безопасность через TLS v1.2+
- Использует нативный протокол PostgreSQL

📌 GitHub: https://github.com/pgexporter/pgexporter