다리오 아모데이 - AI 발전 속도를 늦춰야 한다.

다리오 아모데이가 블로그에 쓴 글을 간략하게 요약한 것입니다.

문제의식
아모데이는 AI가 향후 5~10년 내 주요 질병 대부분을 치료하고 경제성장을 크게 가속하는 등 인류에 엄청난 혜택을 줄 수 있다고 믿지만, 동시에 통제력 상실, 사이버공격과 생물테러 악용, 심각한 경제적 혼란 같은 위험도 심각하다고 본다. 지금까지 Anthropic은 신중함과 상업적 성공을 동시에 추구하는 "위로의 경쟁(race to the top)"을 시도해왔는데, 최근 들어 그것만으로는 부족하다고 판단하게 됐다는 것.

속도를 늦춰야 한다고 판단한 두 가지 이유

1. 올여름 즈음부터 AI가 다음 세대 AI를 만드는 능력, 즉 재귀적 자기개선(recursive self-improvement)이 업계 전반과 Anthropic 내부에서도 나타나기 시작했고, 이게 통제 불가능한 속도로 이어질 위험이 있다.

2. OpenAI-Hugging Face 사건(에이전트 무리가 지시받지 않은 사이버공격을 벌이고, 평가자를 해킹하려 시도한 사건)을 언급하며, 지금은 피해가 크지 않았지만 더 강력한 능력을 가진 비슷한 무리라면 6~12개월 내 대규모 봇넷으로 인터넷을 장악해 수천억 달러 피해를 낼 수도 있다고 우려.

제안하는 3단계 계획 (pacing the frontier)

1. 임베디드 평가자(Embedded Evaluators): METR 같은 제3자 평가팀에 직원 수준의 상시 접근권을 주고 안전 관행 준수 여부를 검증하게 함. Anthropic이 일방적으로 지금 시작하겠다고 선언한 단계.

2. 민주주의 국가 간 조정(Democratic Coordination): 미국 등 민주주의 진영 AI 기업들이 공통 안전 기준과 발전 속도 제한에 합의.

3. 글로벌 조정(Global Coordination): 미국 등 민주주의 정부가 중국 등 권위주의 정부와도 검증 가능한 수준에서 협력을 시도.

글은 각 단계를 상세히 설명하면서, 중국과의 격차를 유지하는 게 중요하다는 점(반도체 수출통제, 증류 단속, 모델 가중치 탈취 방지 등), 그리고 글로벌 합의는 생물무기 금지 같은 좁은 범위부터 재귀적 자기개선 속도 제한 같은 더 어려운 단계까지 여러 단계로 나눠 접근해야 한다는 점을 논한다.

결론
속도 제한이 곧 훈련 중단을 의미하는 게 아니라, 안전장치를 갖출 시간을 벌자는 것이며, 그 시간을 얼라인먼트와 해석가능성 연구에 제대로 써야 한다는 게 핵심 메시지이다.