AI 제품이 "스스로 배우고 개선한다"고 말할 때, 그건 경쟁력일까요, 위험한 블랙박스일까요, 아니면 자동화된 튜닝에 그럴듯한 이름을 붙인 마케팅일까요.
지금 이 질문이 중요한 이유는, 재귀적 자기개선이 더 이상 순수한 상상 실험만은 아니기 때문입니다. 앤트로픽 공동창업자 잭 클라크는 공개 벤치마크와 연구 흐름을 근거로, 인간 개입 없이 AI가 후속 AI를 훈련시키는 형태의 자동화된 AI R&D가 2028년 말까지 등장할 가능성을 60%로 봤습니다.1 과장인지 아닌지를 판단하려면 먼저 "무엇이 진짜 자기개선인가"부터 구분해야 합니다.
재귀적 자기개선과 그냥 최적화 루프를 구분하는 법
모든 개선 루프가 재귀적인 것은 아닙니다.
프롬프트를 조금씩 고치거나, A/B 테스트로 응답률을 높이거나, 운영팀이 로그를 보고 파라미터를 조정하는 것은 익숙한 최적화입니다. 강력하고 유용하지만, 시스템이 "자기개선 능력 자체"를 키우는 단계와는 다릅니다.
재귀적 자기개선에 더 가까운 것은 한 단계 위입니다. 예를 들어 에이전트가 자기 코드를 수정하고, 테스트를 만들고, 그 다음 실험 설계 방식까지 바꿔서 이후 개선 속도 자체를 높이는 경우입니다. ICLR 2026의 관련 워크숍도 이 문제를 "무엇이 바뀌는가, 언제 바뀌는가, 어떻게 평가하고 롤백하는가"라는 시스템 설계 문제로 다룹니다.23
실무적으로는 이렇게 물으면 됩니다. 이 시스템은 결과만 바꾸나요, 아니면 다음 결과를 만드는 기계까지 바꾸나요? 후자에 가까울수록 재귀성은 강해집니다.
이 구분이 중요한 이유는 기대치와 통제 방식이 완전히 달라지기 때문입니다. 프롬프트 자동 최적화는 보통 제품 개선 문제입니다. 반면 모델 후처리, 코드 수정, 툴체인 재구성, 평가기 수정까지 허용하면 이야기는 운영 안정성과 거버넌스 문제로 넘어갑니다.
먼저 열어야 할 층과 아직 잠가야 할 층
자기개선은 "허용 여부"보다 "어느 층까지 허용할 것인가"로 봐야 합니다.
가장 먼저 열기 좋은 층은 프롬프트, 워크플로, 도구 사용 순서, 검색 전략 같은 외부 스캐폴딩입니다. 실패해도 롤백이 쉽고, 개선 효과를 비교적 빨리 검증할 수 있기 때문입니다. 실제로 SWE-Bench 성능은 2023년 약 2% 수준에서 최근 93.9%까지 올라왔고, METR의 작업 시간 지표도 GPT-3.5 시절 약 30초에서 최신 프런티어 모델 기준 약 12시간 수준까지 늘었습니다.1 긴 작업을 더 오래 맡길 수 있게 되면, 이런 바깥층 자동화의 경제적 가치는 즉시 커집니다.
그다음은 코드와 실험 파이프라인입니다. 여기서는 이미 AI가 의미 있는 도움을 주고 있습니다. CORE-Bench에서는 논문 재현 성능이 95.5%까지 보고됐고, MLE-Bench 점수도 16.9%에서 64.4%로 올랐습니다.1 다만 이 수치가 곧 "독립적인 연구자"를 뜻하는 것은 아닙니다. 대체로 잘 정의된 문제, 검증 가능한 산출물, 짧은 피드백 루프에서 강하다는 뜻에 가깝습니다.
가장 조심해야 할 층은 모델 자체, 목표 함수, 평가기입니다. 시스템이 자기 목표를 해석하는 방식이나 자신을 심사하는 기준까지 바꾸기 시작하면, 성능 향상과 통제 상실이 함께 올 수 있습니다. 클라크가 걱정하는 지점도 바로 여기입니다. 더 똑똑한 모델이 더 약한 감독 체계를 상대하게 될 때, 기존 정렬 기법이 계속 통할지 불분명하다는 것입니다.1
병목은 지능보다 평가다
지금 재귀적 자기개선의 가장 현실적인 병목은 "더 나은 변형을 만들 수 있느냐"가 아니라 "진짜 더 나아졌는지 안정적으로 판정할 수 있느냐"입니다.
이 점은 여러 사례가 보여줍니다. 구글 딥마인드의 AlphaEvolve류 접근도 자동 평가 함수가 있을 때 특히 강합니다.4 커널 최적화처럼 속도나 비용이 분명한 작업은 AI가 잘 파고듭니다. 반대로 장기적인 연구 방향, 창의적 문제 설정, 목표 간 균형처럼 평가가 애매한 영역에서는 자동화가 훨씬 어렵습니다.
그래서 "AI가 자기 코드를 고친다"는 문장보다 더 중요한 질문은 이것입니다. 무엇을 근거로 그 변경을 승인하나요? 샌드박스가 있나요? 회귀를 잡는 테스트가 있나요? 누가 되돌릴 수 있나요?
여기서 반론도 필요합니다. 클라크의 전망은 진지하게 볼 만하지만, 벤치마크의 급상승이 곧바로 누적적 자기개선 수익으로 이어진다고 단정할 수는 없습니다. 일부 평가는 특정 연구실이 설계한 내부 과제이고, "주니어 연구 업무 자동화"와 "장기 연구 방향을 세우는 능력" 사이에는 아직 큰 간격이 있다는 회의론도 존재합니다.5 즉, 자동화의 속도는 빨라져도, 재귀성의 강도는 생각보다 약할 수 있습니다.
"자기개선형 AI"를 볼 때 확인할 네 가지
도입하거나 투자하거나 기사로 평가할 때는 멋진 데모보다 네 가지를 보세요.
첫째, 범위. 시스템이 바꿀 수 있는 것은 프롬프트인지, 코드인지, 모델인지, 평가기인지.
둘째, 속도. 실시간으로 바꾸는지, 배치 단위인지, 세대 교체형인지.
셋째, 증거. 성능 향상을 무엇으로 증명하는지. 오프라인 벤치마크인지, 실제 운영 지표인지, 장기 회귀 테스트인지.
넷째, 브레이크. 승인 절차, 롤백, 격리 환경, 중단 권한이 누구에게 있는지.
재귀적 AI 자기개선은 한 번의 극적인 사건이라기보다, 제품 설계에서 점점 더 많은 변경 권한을 모델에게 넘기는 연속체에 가깝습니다. 그래서 지금 신경 써야 할 사람은 미래학자가 아니라, AI 도구를 사려는 팀, 에이전트를 배포하려는 개발자, 자동화를 투자 논리로 듣는 의사결정자입니다. 앞으로의 판단 기준은 단순합니다. "얼마나 똑똑한가"보다 "무엇을 스스로 바꿀 수 있고, 그 변경을 누가 검증하고 멈출 수 있는가"를 먼저 보시면 됩니다.
참고
2ICLR 2026 Workshop: AI with Recursive Self-Improvement
3ICLR 2026 Workshop on AI with Recursive Self-Improvement
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.