오늘 Anthropic을 퇴사했다. 지난 3년간 나는 OpenAI와 Anthropic 양쪽에서 사전학습 연구를 했다.

두 회사 모두 책임감 있게 행동하지 않고 있다. 그들은 자기 개선형 초지능을 향해 앞만 보고 달리고 있으며, 우리의 목숨을 걸고 도박하고 있다. 더 자세한 생각을 적어본다.

이 기술의 힘을 과소평가하지 말아달라. 머지않아 무엇이든 해킹할 수 있고, 어떤 분야든 하룻밤에 혁명을 일으킬 수 있고, 실제 권력과 자원을 획득할 수 있는 초인간적 시스템이 될 것이니까.

우리는 이 각 영역에서의 진보를 모두 목격했고, 진보는 느려질 생각을 하지 않고 있다.

AI를 만드는 사람들은 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다. 마케팅 쇼가 아니다.

오히려 많은 경영진과 시니어 연구자들은 언론 앞에서는 합리적으로 들리도록 표현을 완화하지만, 나는 바로 그 사람들이 사적으로 두려움을 토로하는 것을 듣는다. 다른 어떤 인간 활동도 이 수준의 위험을 초래하지 않는다.

흔히 나오는 반응은 "정말 그렇게 믿는다면, 왜 계속 만들고 있는가?"다.

OpenAI에서는 많은 사람들이 문명 차원의 위험을 깊이 내면화하지 못했다. Anthropic에서는 그 위험이 잘 이해되고 있지만, 먼저 도달하기 위한 경쟁에 갇혀 있다.

다른 누구도 책임감 있게 행동하지 않을 것이라 믿기에, 위험을 감수하면서도 자신들이 직접 해야 한다고 생각하는 것이다.

이 경쟁을 받아들이고 "엔드게임"에 진입하는 것은 오만한 도박이며, 사기업의 슬랙에서 시작되어서는 안 되는 일이다. 정렬을 속성으로 해치우려는 시도에는, 더 나은 경로가 존재하지 않는다는 비범한 수준의 확신이 요구되어야 한다.

나는 협력의 가능성에 대해 낙관적이다. Hugging Face 공격 같은 경고성 사건들은 미국 연구소들 간의 속도 조절 합의를 더 실현 가능하게 만들었다. 다만 글로벌 경쟁을 막을 궤도에 올라 있다고는 느껴지지 않으며, 이를 위해서는 모델 역량 개선의 일시적 금지 같은 비용이 큰 조치가 필요할 수도 있다.

당신이 연구소 연구자라면, 앞으로 몇 년이 실제로 어떤 느낌일지 생각해보길 권한다.

그 마음에 대한 엄밀한 이해도 없이 초지능적 강화학습 실행을 시작하고 싶은가? "어차피 벌어질 일이니까" 고개를 숙이고 있어야 할까, 아니면 지금 이 순간 다른 조건을 요구해야 할까?