Свежий дайджест с запахом мандаринов и надвигающихся праздников.

Руководитель команды аналитики Mail в VK рассказал о внутреннем инструменте для работы с данными. Сервис копит знания о событиях в виде слабоструктурированных данных с формализованным описанием. Ребята нестандартно подошли к организации реестра событий: вместо того, чтобы хранить события в Confluence или Google Sheets, они запилили собственный сервис. Его главная польза – сокращение Time-to-Market в продуктах с большим легаси. Автор объяснил, как сервис работает изнутри и как выглядит снаружи. Технари найдут для себя полезные ссылки на статьи о хранении данных.

Другие ребята из Mail рассказали о собственной платформе для проведения A/B-тестов. Недавно она обзавелась полноценной расчетной архитектурой, которая позволяет масштабировать сложность расчетов. Всегда интересно посмотреть, как крупные компании реализуют архитектуру собственных сервисов, а не берут готовое с рынка. Платформа собирает события из всех метрик и размещает их в поюзерной таблице. Для расчетов используется Spark. Ребята добавили аналитический репозиторий со статистическими формулами и скриптами для расчета метрик и кумулятивной таблицы. Теперь, как в лучших традициях self-service, аналитики могут обращаться к репозиторию с минимальным участием разработки.

Инструменты самообслуживания для BI появились в 90-ых, однако до сих пор глобальный уровень внедрения BI составляет 26%. Почему так? Чтобы в компании наступила data-демократия, компания сама должна стать data-driven. Автор блога на Medium (VPN) постулирует три столпа data-driven организации – фреймворк, компоненты компании (люди, процессы и инструменты) и правильные действия. В качестве фреймворка автор строит иерархию потребностей для аналитики по аналогии с пирамидой Маслоу. Основу иерархии составляет сбор данных, а на верхушке – прогнозирование и автоматизация. Чем выше вы поднимаетесь по пирамиде, тем большее доверие к данным одновременно необходимо и обеспечено.

#дайджест