FACEBOOK DISASTER MAPS. Инструкция от Meta по обработке данных о перемещениях.

О чем пост: пост про то, как собирают карты катастроф Facebook. Их основная идея : отразить на карте изменения в населении и качестве связи, произошедшие благодаря катастрофе. Карты находятся в открытом доступе. Данные доступны по запросу тут.

Почему: источник актуальный, потому что их уже во всю используют для оценки перемещений беженцев из Украины (например) . При этом их методология может служить учебником по тому, как корректно делать выводы на геоданных - есть и про стат значимость и про набор репрезентативной выборки.

где посмотреть: Meta выпускает 5 типов карт. Конкретно, в оценке последствий Украинского кризиса используется тип "Displacement" ( куда переместилось население затронутое кризисом) , поэтому ниже приведу этапы расчетов только для этого типа. Его методология описана здесь, про остальные и общую идею читать тут ( либо дождаться моего курса😁)). Интересно, что с 2019 по 2020 методология для этого типа изменилась, причем математически она стала проще, но добавили новые фильтры - изначально не было фильтра на ночное время.

Методология

Подготовка данных .Общее для всех типов карт

1. Выбор подхода для определения локации : либо используют плитку, либо фактические регионы

2. Устанавливаются временные и пространственные границы - что есть место катастрофы, что считаем временем до катастрофы, что временем после. В последней версии для displacement используют только ночной интервал

3. Обеспечивают защиты персональных данных . Убираются районы с сигналом меньше 10 человек, делается пространственное сглаживание и добавляется небольшой шум, чтобы избежать возможности идентифицировать перемещения людей из малонаселенных районов

Формирование выборки юзер - домашняя локация
1. Определяют "дом" пользователя до катастрофы. Берут только тех, у кого в течение 15 дней есть геосигнал, смотрят ночную локацию - откуда чаще всего был ночной сигнал. Из самых частых берут последнюю.

2. Определяют норму перемещений для человека : какое среднеквадратичное отклонение у расстояния от дома и времени вне дома ночью за последние 30 дней. Нужно, чтобы убедиться, что человек действительно "переместился", а не уехал на ночь в гости

3. Проверяют, что человек был дома или в пределах стандартного отклонения во время катастрофы

Определение типа перемещения
Пользователей разделяют на 3 группы : перемещенные, неперемещенные, неизвестно.
1. Во-первых, смотрят на частоту сигнала. Если есть данные за меньше, чем 7 из 14 дней, то статус "неизвестно".
2. Во-вторых, на удаленность сигналов от дома : чтобы быть "перемещенным", юзер должен находится 3 из 14 дней дальше 2 км и 7 из 14 на расстоянии> 2* средняя дистанция от дома. Если одно из условий нарушается, то юзер считается "неперемещенным"

Определение долгосрочного типа перемещения
Каждый день Мета проверяет гипотезу: а не поменялся ли статус перемещения у человека для групп "неизвестно" и "перемещенные". Если в течение 3 дней, обнаружена смена статуса, то человек переходит в новую группу. Соответственно переходя из "перемещенных" в "неперемещенные", он меняет статус на "вернувшегося".