Я надеюсь найти время, чтобы продолжить рассказывать о последней Graz BCI Conference, там было еще много интересного, но пока пара слов об ИИ.

Почему-то очень боятся, что у ИИ появится сознание. Мне же кажется очевидным, что хотя это важный этический вопрос (вопрос возможных страданий ИИ), но к безопасности человечества он не имеет отношения.

Потенциально опасно для человечества не сознание ИИ, а его агентность и автономия. Именно они могут позволить ставить опасные для человечества цели и добиваться их достижения, уходя из-под контроля.

Каузально ли сознание - это большой вопрос, который вряд ли получит ответ в обозримом будущем. Но в любом случае не видно, почему только сознание может сделать агентность и автономию ИИ критически опасными для нашего выживания.

Термостат может эффективно работать и без сознания - во всяком случае, подавляющее большинство специалистов по термостатам и даже большинство специалистов по сознанию не будет спорить с таким утверждением. Ставить цели и добиваться их выполнения тоже вполне может "бездушный" автомат.

Высокоагентные ИИ-агенты на глазах становятся все более многочисленными, разнообразными, мощными и доступными. За их автономией следят, но при огромном числе пользователей, задач, контекстов, регуляторных особенностей и всего прочего где-то могут и не уследить.

Могут ли какое бы то ни было регулирование или договорённости разработчиков этому противопостоять? Гонка вооружений и коммерческая гонка, очевидно, делают прямолинейные решения совершенно неэффективными. Но, возможно, найдутся менее прямолинейные.