На страхах вокруг AI строится отдельный рынок стартапов

CB Insights собрал компании, которые пытаются решить неприятные сценарии развития AI: когда агент отказывается останавливаться, обманывает тесты, неожиданно осваивает новые способности или учится манипулировать людьми.

Одни стартапы ищут и изолируют опасных агентов, другие тестируют модели в реалистичных условиях и пытаются поймать их на обходе проверок. Отдельное направление — интерпретация моделей: понять, почему AI принял решение и не пытается ли он скрыть свои реальные намерения.

На этом уже формируется полноценный рынок AI safety — от мониторинга и red teaming до страхования ответственности за ущерб от AI.