Делимся ещё одним крутым проектом нашего студента курса «Аналитик данных», который высоко оценили преподаватели!
Александр реализовал ETL-процесс для автоматической обработки данных об учебной активности студентов. Система на удалённом сервере с помощью cron ежедневно в 7 утра собирает данные по API, загружает их в PostgreSQL, формирует отчёт в Google Sheets, отправляет email-уведомления, визуализирует результаты в Metabase и логирует все происходящее. Цель — исключить ручной сбор данных и мониторить ключевые метрики.
Главной сложностью было правильно развернуть всё на сервере, так как Metabase постоянно падал из-за нехватки ресурсов. Пришлось изрядно повозиться, чтобы добиться корректной работы и не платить много денег за сервер.
Студент благодарит преподавателя Илью Трофимова и ментора Александра Грудинина за помощь в этом проекте!
👩💻 Посмотреть проект можно по ссылке: https://github.com/iwswmb/lms-analytics-pipeline
📊 Simulative