😎🐉Privacy: Автоматизация защиты данных на масштабе — опыт Airbnb

🔥Privacy Engineering стартует уже 1 сентября, в день знаний. И на одной из лекций курса мы делились со слушателями статьей о том, как Airbnb автоматизировал защиту данных. И считаем нужным поделиться и с вами!

🟡Современные компании работают с огромными объёмами данных — от обычных реляционных баз до data lake и облачных хранилищ. Airbnb столкнулась с задачей, как эффективно защитить петабайты информации и при этом соблюдать требования законов о приватности. Ручные процессы оказались слишком медленными и уязвимыми, поэтому была создана собственная централизованная платформа. Первый компонент платформы - сервис инвентаризации данных под названием Madoka.

🟡Madoka — это система учёта и классификации данных, которая автоматически сканирует и анализирует информацию в разных хранилищах: MySQL, Hive, S3 и других. Платформа размечает данные по уровню чувствительности, выделяя персональные сведения, финансовую информацию и прочие защищаемые категории данных.

🟡В его задачи входит сбор и хранение метаданных, а также их предоставление другим сервисам. Поисковый робот Madoka ежедневно собирает метаданные из разных источников компании, включая Github, базы данных MySQL, S3 бакеты, и т. д. Затем он публикует метаданные в очереди AWS Simple Queue Service (SQS). Серверная часть Madoka — это служба обработки данных, которая получает метаданные из очереди SQS, разрешает конфликты и сохраняет корректные метаданные в своей базе данных. Она предоставляет API для других служб, чтобы они могли запрашивать метаданные.

🟡Основные метаданные, собранные Madoka, включают:

*️⃣Список активов данных
*️⃣Владение активом
*️⃣Классификация данных

🟡Когда пользователь запрашивает удаление данных, компоненты платформы полагаются на Madoka как на источник информации о том, откуда удалять данные и к какой команде обращаться в случае проблем. Такой подход минимизирует человеческий фактор и позволяет масштабировать защиту данных без потери качества.

Благодаря этому Airbnb может:

✔️в реальном времени контролировать доступ к чувствительной информации,
✔️производить автоматическую инвентаризацию данных,
✔️автоматизировать бизнес-логику процессов, связанных с приватностью (к примеру, экспорт и удаление данных)

Если вы знаете такие же мощные и интересные истории по автоматизации защиты данных - пишите в комментарии или в лс, будем рады узнать о вашем опыте!❤️

Оригинал: Automating Data Protection at Scale, Part 1

RPPA.pro | Privacy Engineering | RPPAedu.pro