Anthropic засекла неназванных ученых за использованием ИИ Claude для создания биологического оружия

Компания Anthropic опубликовала отчет о пресечении деятельности пяти аккаунтов, которые были прямо уличены в использовании уязвимостей при работе с ИИ для разработки биологического оружия. В реальности счет идет на сотни, но вряд ли тысячи. В мире не так много профессиональных биохимиков, которые могут замаскировать обращения к ИИ со скрытыми целями под что-то нейтральное. И в этом главная проблема.


В Anthropic отметили, что никак не могут запретить или ограничить работу ИИ в изучении и разработке всего, что связано с медициной и биохимией. Просто потому, что никто никогда не сможет четко провести грань между «мы создаем лекарство» и «мы усугубляем болезнь». Иногда нужно первое, а порой и второе – например, чтобы справиться с паразитическими видами. Это не оправдание, а простая констатация факта.
В текущей ситуации опасность заметили не по научным, а по административным признакам. Все же кое-какие ограничительные механизмы в работе ИИ есть и нарушителей выявили именно при попытке их обойти. Помогло то, что существуют региональные запреты, которые преступники и попытались обойти, на чем их и поймали. Невольно возникает вопрос: а сколько не поймали? Одно дело заблокировать аккаунт, который привязан к военному институту и прямо интересуется проблемами в скорости синтеза новых штаммов вируса. Но как уличить «тихого аспиранта», который просто перепроверяет свою научную работу?

В Anthropic также объявили об усилении мер защиты и ограничении доступа к своим моделям при работе с широким кругом биологических запросов двойного назначения. Официальная причина – поток хакерских атак из России. По факту речь идет о том, что некие группировки с недоказанным происхождением целенаправленно «прощупывают» механизмы защиты ИИ и на ходу изобретают новые способы их обхода. Что характерно – все это осуществляет тоже ИИ. А вот кто и зачем это делает, включая создание биологического оружия и чего-то еще более страшного, пока что умалчивается.