Как астрофизики находят сигнал, которого почти нет

Понравилась аналогия.

Если сигнал настолько слабый, что его невозможно отличить от шума, это еще не значит, что сигнала нет.

Иногда вместо одного сверхточного наблюдения достаточно правильно сложить сотню слабых.

В астрофизике применяют stacking, matched filtering и поиск по банкам шаблонов. Методы разные, идея общая: использовать знания о структуре сигнала, чтобы вытащить его из шума.

Телескоп, получается, тоже своего рода квант рисечер.

0️⃣ Stacking

Допустим, у нас есть наблюдение:

data = signal + noise

Причем:

signal << noise

Смотрим на график — ничего интересного.

Но что, если у нас есть 100 похожих наблюдений?

Если мы знаем, как правильно их совместить, чтобы полезные сигналы складывались согласованно, можно существенно улучшить signal-to-noise ratio (SNR).

На изображениях совмещают объекты по координатам. Если складывают волновые сигналы, может потребоваться выравнивание по времени и фазе, иначе положительные и отрицательные колебания частично компенсируются.

При суммировании одинаковых согласованных сигналов полезный сигнал растет как N, а стандартное отклонение независимого шума — как sqrt(N).

Поэтому:
SNR gain ~ sqrt(N)

То есть 100 наблюдений могут дать примерно 10-кратное улучшение SNR по сравнению с одним. При условии, что шум независим, а сигналы правильно совмещены.

Например, астрономы могут взять тысячи изображений слабых галактик, совместить их по координатам объектов и усреднить.

Общий сигнал сохранится, а случайный шум частично исчезнет.

И вот уже из почти ничего появляется вполне измеримая структура.

1️⃣ Quant research

Допустим, у нас есть какое-нибудь событие: earnings surprise, liquidation, funding rate change, macro release.

Одна реализация события почти ничего не говорит.

Но можно, например, собрать сотни событий, определить для каждого момент t = 0, убрать известные факторные экспозиции и усреднить реакцию рынка.

Отдельные траектории выглядят как хаос, но при усреднении может проявиться слабый систематический эффект.

2️⃣ Matched filtering

Еще интереснее, когда физика позволяет заранее предсказать, как должен выглядеть сигнал.

Например, при поиске гравитационных волн от слияния черных дыр можно рассчитать ожидаемую форму волны — waveform.

Тогда вместо вопроса «есть ли здесь что-нибудь?» можно спросить:

«Насколько данные похожи на этот конкретный шаблон?»

Схематично:

score ~ data · template

Если внутри шума есть похожий сигнал, получаем высокий скор.

В реальности учитывают еще и спектр шума: частоты, на которых детектор сильнее шумит, получают меньший вес.

Но точный шаблон обычно неизвестен. У черных дыр могут быть разные массы, спины и другие параметры.

Поэтому строят целое семейство возможных сигналов — template bank — и проверяют данные против множества шаблонов.

3️⃣ Главное здесь — inductive bias

Почему все это работает?

Потому что мы заранее знаем что-то о структуре мира.

В stacking мы предполагаем, как совместить наблюдения, чтобы общий сигнал сохранился.

В matched filtering — какую форму он может иметь.

В template bank — какое семейство сигналов физически возможно.

Хорошая модель мира и доменные знания бывают крайне полезны. И среди звезд, и среди альф.

Quant Researcher