В результате 54% людей, получивших автоматизированное письмо, кликали по ссылке. Этот процент почти равен проценту тех, кто кликнул на письмо, составленное специалистами, и на 2 п.п. меньше (56%), чем доля кликнувших на human-in-the-loop. При этом в контрольной группе на письмо кликнули всего 12%, а в целом, как замечают исследователи, люди не очень часто проверяют почту, поэтому результат может быть даже выше. При этом human-in-the-loop-подход требовал от специалиста всего 2 минуты 41 секунду в среднем на письмо по сравнению с 34 минутами на составление фишингового письма вручную, что дает 92% ускорения. Наконец, исследователи проверяют способность LLM детектировать фишинг, но то ли я что-то не понял, то ли белый сабсет состоял из 18 писем, поэтому особого интереса эти замеры не представляют (поправьте, если я разучился читать).

Итого: y LLM (особенно с поиском и ризонингом) действительно достаточно неплохо с OSINT (если вы относительно публичный человек, попробуйте попросить у o3-mini с поиском написать на вас профайл), а о том, что LLM умеют убеждать, писали даже Anthropic еще до 3.5 Sonnet. Поэтому в будущем можно и правда ожидать, что и спам, и фишинг, и просто маркетинговые письма будут гораздо более персонализированными, и это исследование этот тренд лишь подтверждает.