의료 AI의 신뢰도를 가늠할 때 흔히 등장하는 질문이 있다. “이 모델은 어떤 데이터로 훈련됐는가?” 수술 보조 로봇이라면 질문은 더 까다로워진다. 합병증이나 장기 천공처럼 드물지만 치명적인 상황을 훈련 데이터에 얼마나 담았느냐는 물음으로 이어지기 때문이다. 문제는 그런 데이터를 실제 수술실에서 수집하는 일이 물리적으로도, 윤리적으로도, 법적으로도 거의 불가능에 가깝다는 점이다. 결국 수술 AI의 발전은 데이터 자체의 한계에 갇혀 있었고, 업계의 시선은 자연스럽게 합성 데이터 생성 기술로 이동했다.
세계 모델이 수술실로 들어오는 경로
자율주행 업계는 이미 유사한 난제를 정면으로 마주한 경험이 있다. NVIDIA는 Cosmos-1이라는 범용 세계 기반 모델을 Cosmos-Drive 계열로 도메인 특화하며, 구조화된 라벨이나 실제 주행 영상으로부터 픽셀 정렬된 HDMap 조건 영상을 만들어내는 파이프라인을 구축했다. 이 접근법의 핵심은 단순한 데이터 증강이 아니라, 실제 환경의 물리 법칙을 반영한 조건부 생성 자체를 훈련 인프라로 삼는 것이다.
동일한 철학이 수술 영역에 적용된 결과물이 NVIDIA Cosmos-H-Dreams다. Cosmos-Predict2.5-2B 기반의 Cosmos-H-Surgical-Simulator라는 대형 확산 트랜스포머를 교사 모델로 삼고, 이를 소수 스텝으로 추론 가능한 인과적 학생 모델로 증류한 구조를 갖췄다. 교사 모델은 Open-H 다중 로봇 수술 벤치마크에서 미세 조정됐으며, 9가지 로봇 구현체와 32개 데이터셋으로부터 총 약 490만 개의 동기화된 비디오-키네마틱 프레임을 학습했다. 여기서 조건 신호로 사용된 것은 엔드이펙터 포즈와 그리퍼 명령을 포함한 팔당 22차원의 운동학적 행동 벡터다. 실제로 2026년 4월 행동 임베더 MLP 초기화 버그 수정 후 FDS(L1) 지표가 0.223에서 0.184로 개선되는 등 교사 모델 자체의 정합성도 지속적으로 향상되고 있다.
실시간 추론이 열어주는 규모의 경제
많은 생성형 시뮬레이터가 연구실 수준의 오프라인 렌더링에 머무르는 이유는 추론 비용이다. NVIDIA Cosmos-H-Dreams는 이 지점에서 차별화된다. 단일 NVIDIA RTX PRO 6000 GPU에서 권장 해상도 512x288에 16:9 화면비 입력을 받으며 초당 약 160프레임을 처리한다. 이 추론 속도가 중요한 이유는 시뮬레이션 자체의 정밀도보다 훈련 파이프라인의 처리량을 결정하는 변수가 되기 때문이다. GPU 네이티브 시뮬레이션으로 8,192개 환경을 동시에 구동했을 때 정책 훈련 시간이 5시간 이상에서 2분 미만으로 단축된다는 NVIDIA의 벤치마크는, 실시간 생성이 단지 시각적 체험이 아니라 정책 탐색의 탐색 공간을 획기적으로 넓히는 인프라 요소임을 시사한다.
특히 da Vinci Research Kit(dVRK)의 테이블탑 봉합 작업에 특화된 형태로 제공된다는 점은 흥미롭다. 범용 시뮬레이터가 아니라 특정 술기와 특정 플랫폼에 집중한 구성은, 연구 커뮤니티가 현실적인 벤치마크를 빠르게 재현할 수 있도록 유도하는 의도로 읽힌다.
임상 구현체와의 접점, 그리고 오픈소스의 전략적 의미
연구실 데모를 넘어 실제 수술 플랫폼과 연결되는 지점도 주목할 만하다. CMR Surgical과 Cambridge Consultants는 Versius 수술 컨트롤러에 이 시뮬레이터를 통합했으며, CMR Surgical은 담낭절제술, 전립선절제술, 서혜부 탈장, 자궁절제술 등 실제 임상 시술 데이터를 기반으로 정량 평가를 수행했다. 이는 시뮬레이터가 사후 검증 도구가 아니라, 제품 개발 주기 안으로 편입되고 있다는 신호다. 더불어 Johnson & Johnson MedTech의 MONARCH 내시경 디지털 트윈이나 Medtronic Structural Heart의 가상 X선 센서 기반 카테터 내비게이션 연구 역시 같은 프레임워크 위에서 진행되고 있다.
여기에 오픈소스 공개라는 결정은 단순한 생태계 전략 이상의 무게를 갖는다. 수술 로봇이 FDA 승인을 받기 위해서는 훈련 데이터의 출처, 다양성, 그리고 대표성을 추적 가능한 형태로 제시해야 한다. 블랙박스 시뮬레이터로는 이 요건을 충족할 수 없다. 공개된 파이프라인은 규제 당국에 설명 가능한 근거를 제출할 수 있는 기반이 되며, 동시에 경쟁 병원이나 연구소가 자체 데이터를 접목해 검증할 수 있는 공통 언어로 기능한다.
앞으로 지켜봐야 할 지점
몇 가지 질문은 여전히 열려 있다. 첫째, 교사 모델에서 학생 모델로 증류하는 과정에서 소실되는 정보는 무엇이며, 그 비대칭성이 특정 술기나 조직 반응에서 어떤 편향을 만들어내는가다. dVRK 테이블탑 봉합 외의 작업으로 일반화할 때 성능 저하가 수반된다면, 특화 모델 여러 개를 운영해야 하는 실용적 부담이 따른다. 둘째, CMR Surgical의 Versius 통합 사례는 인상적이지만 다른 상용 수술 로봇 플랫폼과의 인터페이스 표준화는 아직 논의 초기다. 셋째, 생성된 영상이 가질 수 있는 미세한 시각적 아티팩트가 강화 학습 정책에 어떤 영향을 주는지에 대한 장기 관찰이 필요하다.
데이터 부족이라는 벽 앞에서 멈춰 있던 수술 AI 연구에 NVIDIA Cosmos-H-Dreams는 새로운 출구 전략을 제시한다. 수천 번의 가상 실패를 안전하게 축적할 수 있는 인프라가 열렸다는 사실이, 수술실 밖에서 수술의 안전성을 높이는 가장 조용하지만 강력한 변화일지 모른다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.