В Купер.тех аналитики ежедневно работают с миллионами строк данных. Лилия Ивановская, старший продуктовый аналитик, собрала несколько приёмов и инструментов, которые помогают быстрее получать ответы на вопросы и тратить меньше времени на рутину.
📌 Горячие клавиши
Очень удобно знать нужные сочетания клавиш, чтобы делать частые действия одним нажатием:
DataGrip
• Ctrl + Alt + L || ⌥ + ⌘ + L — форматировать текст запроса
• Ctrl + Shift + / || ⌘ + Shift + / — закомментировать блок кода
• Ctrl + Enter || ⌘ + Enter — выполнить запрос
Excel
• Ctrl + Shift + стрелки || ⌘ + Shift + стрелки — выделить до конца блока
• Ctrl + T || ⌘ + T — превратить данные в таблицу
• Alt + = || ⌥ + ⌘ + = — автосумма
Jupyter Notebook
• Shift + Enter || Shift + Enter — выполнить ячейку и перейти ниже
• Ctrl + Enter || ⌘ + Enter — выполнить и остаться в ячейке
• Ctrl + / || ⌘ + / — закомментировать / раскомментировать строки
📌 Магические команды Jupyter
В Jupyter есть встроенные команды, которые помогают быстрее анализировать производительность:
%ls — показать файлы в директории
%pwd — вывести текущий путь
%time — измерить время выполнения одной строки
%who — показать переменные в памяти
%%time — измерить время выполнения всей ячейки
%%writefile file.py — записать содержимое ячейки в файл
%%html — вывести HTML-код
%%latex — вывести LaTeX
📌 Polars вместо Pandas
При работе с большими объёмами данных альтернативой Pandas может стать Polars — библиотека на Rust, ориентированная на высокую производительность. Особенно заметно это при агрегациях, join-операциях, обработке больших файлов.
На примере датафрейма с 20 миллионами строк видно преимущество Polars:
•читает в 6 раз быстрее CSV-файлы;
•фильтрует данные в 15 раз быстрее;
•использует меньше памяти, чем Pandas.
📌 Self-сервисы для бизнеса
Чтобы освободить себя от ежедневных одинаковых запросов от бизнеса по выгрузке данных, мы в Купер.техе создаём self-сервисы на основе Jupyter-report и Metabase.
В Metabase можно напрямую подключать базы данных с таблицами. Так у пользователей появляется возможность в удобном интерфейсе выгружать сырые данные за нужные периоды с фильтрами, чтобы потом работать с ними в Excel. Также интерфейс Metabase позволяет настраивать рассылки на почту, что автоматизирует ручной сбор данных и экономит время как аналитиков, так и менеджеров.
В Jupyter-report мы делаем self-сервисы, которые требуют одновременной работы с разными базами данных или с загруженными пользователями файлами, что нереализуемо в Metabase. Гибкость Jupyter позволяет создавать удобный интерфейс с кнопками и фильтрами, чтобы менеджерам было просто и понятно пользоваться сервисом.
✍️ А какие инструменты помогают вам быстрее работать с данными? Делитесь в комментариях!