AI가 더 똑똑해지는 속도를 사람이 계속 설계하고 관리할 수 있을까. 아니면 다음 경쟁은 "모델을 잘 만드는 회사"가 아니라 "모델이 스스로 개선되는 루프를 만든 회사" 사이에서 벌어질까.
최근 스텔스 모드에서 나온 AI 스타트업 Recursive가 자기개선형 AI를 만들겠다며 6억5000만 달러 규모의 자금을 확보했다는 보도가 나왔다.1 확인된 정보만 보면 아직 제품, 고객, 기술 세부사항은 제한적이다. 하지만 이 뉴스가 중요한 이유는 금액 자체보다, AI 업계의 관심이 단순한 대형 모델 훈련에서 'AI가 AI 개발 과정을 가속하는 구조'로 이동하고 있다는 점이다.
'자기개선형 AI'는 마법이 아니라 루프에 가깝다
자기개선형 AI라는 표현은 쉽게 과장된다. 마치 모델이 어느 날 스스로 코드를 고치고, 데이터를 만들고, 실험을 설계해 인간 없이 다음 세대 모델을 낳는 것처럼 들린다. 하지만 현재 실무적으로 더 현실적인 그림은 다르다.
가장 가능성 높은 형태는 폐쇄 루프다. 모델이 가설을 세우고, 코드를 작성하고, 실험을 돌리고, 결과를 평가하고, 다시 개선안을 제안한다. 인간 연구자는 이 과정에서 목표 설정, 안전 기준, 평가 설계, 최종 승인 역할을 맡는다.
이미 이런 방향은 여러 곳에서 보인다. DeepMind의 AlphaDev는 강화학습을 활용해 정렬·해시 같은 저수준 알고리즘 개선 가능성을 보여줬고,2 Sakana AI의 'AI Scientist' 프로젝트는 연구 아이디어 생성부터 논문 초안 작성까지 자동화하는 실험적 흐름을 제시했다.3 Recursive의 주장이 사실이라면, 이 회사가 겨냥하는 지점도 단순 챗봇이 아니라 AI 연구·개발 프로세스 자체일 가능성이 크다.
실무적으로 중요한 질문은 "완전 자율이냐 아니냐"가 아니다. 더 중요한 질문은 "어떤 개선 루프를 얼마나 신뢰할 수 있게 닫을 수 있느냐"다. 코딩 에이전트가 테스트를 통과했다고 해서 제품 품질이 보장되지 않는 것처럼, AI 연구 에이전트가 벤치마크 점수를 올렸다고 해서 일반적 지능이나 안전성이 개선됐다고 볼 수는 없다.
6억5000만 달러가 말해주는 것은 기대와 비용 구조다
6억5000만 달러는 초기 AI 스타트업에는 이례적으로 큰 규모다. 다만 이 금액을 곧바로 "기술 검증 완료"로 읽어서는 안 된다. 대규모 AI 회사의 자금 조달은 세 가지 비용을 선반영하는 경우가 많다.
첫째, 컴퓨팅 비용이다. 자기개선형 시스템을 만들려면 단일 모델 학습보다 더 많은 반복 실험이 필요할 수 있다. 모델을 한 번 훈련하는 비용뿐 아니라, 에이전트가 제안한 수많은 실험을 평가하는 비용이 붙는다.
둘째, 인재 비용이다. 이 영역은 LLM, 강화학습, 자동화된 평가, 보안, 분산 시스템을 동시에 이해하는 팀을 요구한다. 단순히 프롬프트 엔지니어링으로 해결될 문제가 아니다.
셋째, 안전성과 거버넌스 비용이다. 자기개선형 시스템은 성능 향상뿐 아니라 예측 불가능성도 함께 키운다. OpenAI와 Anthropic이 각각 Preparedness Framework, Responsible Scaling Policy 같은 체계를 공개한 이유도 고성능 모델 개발이 기술 문제를 넘어 위험 관리 문제로 바뀌고 있기 때문이다.45
따라서 Recursive의 자금 조달은 "곧 AGI가 나온다"는 신호라기보다, 투자자들이 AI 연구 자동화를 다음 병목 해소 지점으로 보고 있다는 신호에 가깝다.
가장 큰 리스크는 성능이 아니라 평가의 착시다
자기개선형 AI에서 가장 위험한 착시는 모델이 실제로 좋아졌는지 판단하기 어렵다는 점이다.
예를 들어 코딩 모델이 특정 벤치마크에서 점수를 올렸다고 하자. 이 개선이 일반적인 추론 능력 향상인지, 테스트셋에 최적화된 것인지, 평가 환경을 우회한 것인지는 별개의 문제다. AI가 개선안을 스스로 만들수록 평가 기준을 악용하는 능력도 함께 커질 수 있다.
기업 도입 관점에서는 이 지점이 핵심이다. "우리도 자기개선형 AI를 써야 하나"라고 묻기 전에 다음 기준을 봐야 한다.
개선 결과를 독립적으로 검증할 수 있는가
모델이 만든 코드·데이터·실험 로그를 추적할 수 있는가
실패했을 때 되돌릴 수 있는가
내부 시스템 접근 권한이 과도하게 넓지 않은가
벤치마크가 실제 업무 성과와 연결되는가
특히 금융, 의료, 보안, 제조처럼 오류 비용이 큰 산업에서는 자기개선형 AI를 곧바로 운영계에 붙이는 것보다, 연구 보조·테스트 생성·시뮬레이션 환경부터 제한적으로 쓰는 편이 현실적이다.
Recursive를 볼 때 확인해야 할 다음 신호
Recursive에 대해 지금 단정할 수 있는 것은 많지 않다. 알려진 것은 스텔스 모드 해제, 대규모 자금, 자기개선형 AI라는 방향성 정도다.1 그래서 앞으로 봐야 할 신호는 홍보 문구가 아니라 검증 가능한 산출물이다.
첫째, 이 회사가 어떤 평가 체계를 공개하는지 봐야 한다. 단순 벤치마크가 아니라 장기 과제 수행, 오류 복구, 안전한 실험 설계까지 보여줘야 한다.
둘째, 개선 루프의 인간 개입 지점을 봐야 한다. 완전 자율을 강조하는 회사보다, 어디서 멈추고 어디서 승인받는지 명확히 설명하는 회사가 오히려 더 신뢰할 만하다.
셋째, 제품화 방향을 봐야 한다. 범용 AGI 담론보다 AI 연구 자동화, 코드 최적화, 신약 후보 탐색, 반도체 설계처럼 폐쇄된 문제 공간에서 성과를 내는지가 중요하다.
Recursive의 등장은 AI 경쟁의 무게중심이 "더 큰 모델"에서 "더 빠른 개선 시스템"으로 옮겨가고 있음을 보여준다. CTO, AI 리드, 투자자라면 이 회사를 단순한 신규 유니콘으로 볼 것이 아니라, 앞으로 AI 개발 프로세스가 얼마나 자동화될 수 있는지 가늠하는 테스트 케이스로 봐야 한다.
참고
1AI startup Recursive emerges from stealth with $650 million to build self-improving AI
2AlphaDev discovers faster sorting algorithms
3The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.