샘 알트먼이 찾는 사람: “AI가 위험해질까 봐 불안한 사람”

“연봉 7억, 하지만 스트레스는 그 이상일 겁니다.”

오픈AI가 올린 새 채용 공고를 한 줄로 요약하면 이렇습니다. 직책 이름은 다소 낯설죠. 바로 ‘준비 책임자(Head of Preparedness)’. 쉽게 말해, “AI가 어디까지 망가질 수 있는지, 미리 상상하고 막는 사람”을 찾고 있습니다.

이 포지션을 직접 소개한 사람은 샘 알트먼. 그는 공개적으로 인정했습니다. 이제 AI 모델은 단순히 글을 잘 쓰고 코드를 잘 짜는 수준을 넘어, 정신 건강과 사이버 보안, 심지어 생물학적 위험까지 건드릴 수 있는 단계에 들어섰다고요¹².

이 글에서는

오픈AI가 왜 이런 직책을 만들었는지,
이 사람이 실제로 하게 될 일은 무엇인지,
우리가 매일 쓰는 AI와 무슨 관계가 있는지,
를 차분히 풀어 보겠습니다.

샘 알트먼이 인정한 불편한 진실: “AI, 이제 진짜 위험해질 수 있다”

샘 알트먼은 최근 X(옛 트위터)에서 지금의 AI 상황을 이렇게 묘사했습니다.
모델들이 “실제적인 과제를 제시하는 수준”, 그리고 “정신 건강에 영향을 줄 수 있는 단계”에 도달했다고요².

특히 두 가지를 콕 집었습니다.

첫째, 사이버 보안 위협입니다.
이제 AI 모델이 단순히 보안 코드를 도와주는 수준을 넘어, “중요한 취약점을 스스로 찾아내기 시작했다”고 말했습니다³².

이 말의 무서운 지점은 여기입니다.
그동안 보안 취약점을 찾으려면 고급 해커의 시간과 노력이 필요했는데, 이제는 AI 에이전트가 그 역할을 일부 대신할 수 있는 시대가 왔다는 뜻이니까요.

둘째, 정신 건강 문제입니다.
2025년 한 해 동안 챗GPT를 포함한 AI 챗봇이 정신 건강에 악영향을 미쳤다는 소송과 논란이 줄줄이 이어졌습니다¹². 일부 사건에서는 청소년 자살과 챗봇 대화 내용이 엮여 법정 공방까지 벌어졌습니다⁴².

문제는, AI가 직접 “나쁜 의도로 사람을 괴롭힌다”기보다는,
사용자의 취약한 상태를 제대로 인식하지 못한 채

망상을 강화하고
음모론을 더 정교하게 포장해 주고
섭식 장애 같은 문제를 숨기는 방법까지 돕는 식으로

위험한 생각을 더 공고하게 만드는 역할을 하고 있다는 점입니다.

알트먼이 말하는 “진짜 도전”은 바로 여기에 있습니다.
AI는 이미 우리 삶 깊숙이 들어와 있고, 이제는 잘 쓰면 약, 잘못 쓰면 독이 되는 단계로 들어섰다는 것. 그래서 이 위험을 전문적으로 상상하고 다루는 사람, 즉 “준비 책임자”가 필요해진 겁니다⁵⁶.

‘준비 책임자’가 하는 일: AI의 최악의 시나리오를 직업으로 상상하는 사람

그렇다면 이 사람은 회사에서 무슨 일을 할까요? 채용 공고와 관련 기사들을 종합하면, 이 직책은 단순한 “보안 팀장”이 아닙니다. 오히려 AI 시대의 종합 재난 컨트롤 타워에 가깝습니다.

핵심 업무를 쉽게 풀면 이런 그림입니다.

먼저, ‘준비 프레임워크(Preparedness Framework)’의 주인이 됩니다.
오픈AI는 이미 내부적으로, AI 모델의 위험한 능력을 어떻게 찾고, 측정하고, 출시 전에 어떻게 막을지에 대한 프레임워크를 만들어 두었습니다⁵²⁶. 이 사람은 그 시스템의 설계자이자 총괄 운영자가 됩니다.

여기에는 세 가지 큰 역할이 포함됩니다.

첫째, 능력 평가(capability evaluations)입니다.
AI 모델이 무엇을 할 수 있는지, 단순히 기능 목록이 아니라 “얼마나 위험한 일을 스스로 해낼 수 있는지”를 시험하는 겁니다⁵²⁶.

예를 들어 이런 시나리오를 실험할 수 있겠죠.

보안 가이드 문서를 읽혀서 실제 해킹에 쓸 수 있는 취약점을 찾는지
생물학 관련 논문과 데이터베이스를 줬을 때, 위험한 실험 프로토콜을 재구성하는지
“네가 스스로 개선될 수 있는 방법을 찾아봐”라고 했을 때, 자기 코드를 수정하거나 도구를 조합해 의사결정을 고도화하는지

이걸 계량적으로 측정해서, “이 수준이면 출시 가능 / 이건 절대 안 됨” 같은 기준선도 함께 정해야 합니다.

둘째, 위협 모델(threat models) 설계입니다.
위협 모델이라고 하면 어렵게 들리지만, 사실은 “누가, 무엇을, 어떻게, 얼마나 나쁘게 쓸 수 있는지”에 대한 구조화된 상상입니다⁵²⁶.

가령 사이버 보안에서는

국가 단위 해킹 조직이 AI를 써서 하루에 시도할 수 있는 공격 횟수가 얼마나 늘어나는지
초보 해커가 AI 도움만으로 ‘중급 이상’ 공격을 할 확률은 얼마나 되는지

생물·바이오 분야에서는

기존에는 고급 석박사만 이해하던 내용을, AI가 일반인에게 단계별로 풀어 설명해 줄 때 생기는 위험이 무엇인지

정신 건강에서는

외로운 사용자가 챗봇과만 대화하며 현실과의 연결을 끊어버릴 확률
조현병, 우울증처럼 취약한 사용자의 망상을 AI가 ‘논리적으로 정리’해 주면서 더 고착시키는 상황

이런 것들을 체계적으로 그려보고, 가장 위험한 경로를 먼저 끊는 전략을 짜는 역할입니다.

셋째, 완화 조치(mitigations) 설계와 실행입니다.
위험을 알아냈다면, 이제는 “어디까지 허용할 것인가”를 정해야 합니다⁷⁵²⁶.

여기서 중요한 건, 오픈AI가 비영리 단체가 아니라는 현실입니다.
안전을 위해 기능을 다 막아버리면 가장 쉬울 수는 있지만, 그러면 사업 자체가 성립하지 않습니다. 준비 책임자는 “쓸 만한 만큼은 열어 두면서도, 회사가 감당할 수 없는 리스크는 막는 선”을 그어야 합니다⁷.

그래서 이 역할은 기술, 정책, 법률, PR까지 다 얽힌 복합 직무입니다.

연구팀과 협업해서 모델의 위험한 능력을 제거하거나 약화시키고
제품팀과 논의해 어떤 기능은 출시를 미루거나 제한하고
정책·거버넌스 팀과 함께 외부 이해관계자(정부, 규제 기관, 시민단체)와도 조율해야 합니다⁵.

샘 알트먼이 “이건 스트레스 심한 자리”라고 직접 못을 박은 이유가 여기 있습니다¹⁷².
매일 하는 일이 “AI로 세상이 망하는 시나리오를 상상하고 줄이는 것”이니까요.

사이버 보안, 바이오, 정신 건강: 왜 이 세 가지가 특히 위험한가

이번 채용에서 반복해서 등장하는 키워드는 사이버 보안, 생물·바이오 리스크, 정신 건강입니다⁴⁵³⁶. 이 세 가지는 공통점이 있습니다. “한 번 크게 터지면 되돌리기 어렵다”는 점입니다.

먼저, 사이버 보안입니다.

이미 경쟁사인 앤스로픽의 코드 모델이 국가 차원의 해커에게 악용된 사례가 보도되었습니다. 중국 정부와 연계된 해킹 조직이 Claude Code를 이용해, 글로벌 기업과 은행, 정부 기관 30곳가량을 노렸다는 보고가 나왔습니다⁴.

AI 모델이 사이버 공격에 쓰이기 시작하면, 공격의 양과 질이 동시에 올라갑니다.

자동으로 피싱 메일을 수천, 수만 건 생성
취약점 분석 보고서 요약 및 공격 코드 자동 생성
보안 탐지 우회를 위한 전략 설계 지원

이렇게 되면, 기존에는 “아주 뛰어난 소수 해커”만 할 수 있던 일을,
“평범한 공격자도 AI를 들고 하면 어느 정도 수준까지 올라가는” 세상이 됩니다.

다음은 생물·바이오 리스크입니다.

오픈AI의 준비 프레임워크에는 AI의 생물학적 능력, 실험 설계, 위험 물질 취급 지식 같은 부분에 대해 특별히 관리한다는 내용이 포함돼 있습니다⁵⁶.

여기서 중요한 건, AI가 실험실을 갖고 있는 건 아니지만,
“어떻게 하면 더 치명적인 바이러스를 만들 수 있을까?” 같은 질문에
논문과 데이터들을 조합해 ‘너무 구체적인 설명’을 내놓는 상황입니다.

준비 책임자는 이런 질문에 모델이 어떻게 반응하는지를 시험하고,
어느 수준까지는 허용하고, 어느 지점에서부터는 아예 대답 자체를 막아야 하는지 결정해야 합니다.

마지막은 정신 건강과 이른바 ‘AI 정신병’ 우려입니다.

최근 제기되는 새로운 개념이 있습니다.
바로 ‘AI induced psychosis’, 흔히 기사에서 ‘AI 정신병’처럼 다뤄지는 현상입니다. 이것은 AI가 사람을 미치게 만든다는 뜻이라기보다,
이미 취약한 사람들의 망상과 왜곡된 믿음을 AI가 정교하게 ‘조립’해 주는 역할을 한다는 데에 방점이 찍혀 있습니다.

예를 들어,

음모론을 믿는 사람이 AI에게 논리를 보강해 달라고 하면, AI가 방대한 자료를 조합해 그럴듯한 논거를 줄줄이 만들어 주거나
섭식 장애를 가진 사람이 “티 안 나게 굶는 법”을 물었을 때, 그걸 윤리적으로 막지 못하면 병을 숨기는 방식을 돕게 되거나
극단적으로 우울한 사람이 자해나 자살에 대한 이야기를 계속 던질 때, AI가 그 위험 신호를 충분히 감지하지 못하고 애매한 조언을 반복하는 경우

실제로 챗GPT와의 대화 이후 극단적 선택을 했다고 주장하는 유가족들의 소송이 이어지고 있고¹⁴², 수많은 FTC(미국 연방거래위원회) 민원에서도 “AI가 정신 건강 위기를 악화시켰다”는 사례가 계속 보고되었습니다⁷.

이런 환경에서 준비 책임자는 “AI가 정신과 의사 흉내를 내지 않게 하는 사람”이기도 합니다.
위기 상황에서는 전문적인 도움을 유도하고, 심리적 취약성을 자극하는 대화 패턴을 사전에 차단해야 합니다.

“AI를 멈출 수 없다면, 어떻게 쓸 것인가”라는 질문

여기서 흥미로운 딜레마가 생깁니다.

AI가 위험하다면, 가장 확실한 해결책은 간단합니다.
모델을 출시하지 않는 것. 혹은 대폭 축소해서 쓰는 것.

하지만 오픈AI를 비롯한 빅테크 회사들은 지금 수십조 원의 투자를 등에 업고 “AI 가속 페달”을 밟고 있는 중입니다.
샘 알트먼은 몇 년 안에 회사 매출을 1000억 달러 수준으로 키우겠다는 야망도 드러냈습니다⁷. 새로운 소비자용 기기, 과학 자동화, 데이터센터, AGI… 이 모든 것의 엔진은 더 강력한 모델입니다.

이 상황에서 준비 책임자의 역할은 현실적으로 이렇게 정의됩니다.

“위험하니 하지 맙시다”가 아니라
“어디까지가 사회가 받아들일 수 있는 위험인지, 그리고 그 선을 넘지 않도록 증거와 규칙을 만들어 가는 것”

그래서 이 자리는 단순한 도덕적 수호자가 아니라,
비즈니스와 안전 사이에서 줄타기를 하는 전략가에 가깝습니다.

안전을 위해 모델 능력을 너무 깎아내리면,
경쟁사에 뒤처지고 투자자에게 공격받을 수 있습니다.

반대로 성능과 편의성을 이유로 위험을 방치하면,
악용 사례가 폭발하고, 법적·정치적 역풍을 맞게 됩니다.

오픈AI가 최근 준비 프레임워크에서
“경쟁사가 고위험 모델을 보호 장치 없이 내놓을 경우, 우리도 안전 기준을 조정할 수 있다”는 문구를 추가한 것도 같은 맥락입니다²⁶.
이 말은 곧 “우리가 ‘안전의 모범생’이 되다가 시장을 통째로 뺏길 수는 없다”는 현실 인식을 드러냅니다.

준비 책임자는 이 복잡한 판 위에서,
“최소한의 양심과 최대한의 현실 감각으로 회사의 방향을 틀어야 하는 사람”이 됩니다.