Один из моих сайд квестов — помогать студентам центрального университета в организации мероприятий AI talks, где видные представители индустрии получают эфирное время и рассказывают о важных для них темах

Последний AI talks прошёл особенно интересно — мы говорили с Евгением Опрышко, аспирантом университета Торонто и специалистом в области безопасного ИИ. Удалось поговорить про безумные темпы развития нейросетевых технологий, графические ускорители в космосе, и про то, как следующая технологическая революция — изобретение AGI — будет способна как стереть человечество с лица земли, так и развить нас до межпланетной цивилизации с высочайшим уровнем технологий

На одном из слайдов был перечислен список вещей, которые могут пойти не так, давайте на них посмотрим:

- Злоупотребление (misuse):
- Элиты могут использовать ИИ в своих интересах; у людей станет намного меньше рычагов влияния — труда и физической силы — чтобы менять политику элит
- Пропаганда с помощью ИИ
- Люди будут применять (и/или взламывать — jailbreak) ИИ для произвольных задач (включая CBRN)
- В некоторых областях защита сложнее нападения (например, биооружие)
- Потеря контроля (loss of control):
- Если власть уже централизована, может оказаться несложно убедить нескольких ответственных лиц или захватить существующую инфраструктуру
- Несколько ИИ-систем могут координироваться лучше людей, например обучив модель-преемника с общими ценностями или доказав свои намерения через интерпретируемость
- Дрейф ценностей и постепенная утрата влияния (value drift & gradual disempowerment):
- Взаимодействие людей с ИИ-ассистентами уже влияет на наши убеждения
- Автономные решения переносят ценности ИИ на физическую реальность
- Люди могут постепенно терять влияние на экономику, культуру и государство, по мере того как ИИ обходит их в управлении каждым из этих институтов
- Коллапс инфраструктуры:
- У моделей могут быть общие уязвимости — jailbreak, prompt injection, поведение вне распределения (OOD) — либо одна и та же модель развёрнута повсюду
- Unknown unknowns

Выглядит солидно... И вот мой вам вопрос: как вы видете мир после изобретения полноценного, всеумеющего ИИ? Верите ли вы в способность человечества избежать всех этих рисков и построить наше коллективное будущее безопасно? Или нас ждут пропоганда через рекомендательные системы, цифровые двойники богатейших людей мира и третья мировая с автономными дронами и антропоморфными роботами-пухососами? Можем поразгонять в комментариях

Ну а ещё подписывайтесь на канал Жени о безопасном ИИ и карьере в этой области (и мне за это даже не заплатили)