NeuroVFM: 병원 데이터로 배운 신경영상 파운데이션 모델

의료 AI의 병목은 모델 크기만이 아닙니다. 실제 진료 과정에서 생성되는 데이터에 접근하기 어렵다는 점도 큽니다. 공개 인터넷 데이터로 학습한 멀티모달 LLM은 병원 안의 비공개 임상 정보를 충분히 활용하기 어렵습니다.¹

NeuroVFM은 이 문제를 신경영상 영역에서 다룬 사례입니다. 미시간대학교 연구진이 개발한 범용 신경영상 시각 파운데이션 모델로, 미시간 메디신의 20년 이상 임상 진료에서 수집된 CT·MRI 데이터를 바탕으로 학습됐습니다.¹

NeuroVFM을 이해하는 핵심: 헬스 시스템 러닝

NeuroVFM의 출발점은 헬스 시스템 러닝입니다. 이는 병원 운영 중 자연스럽게 쌓이는 비정제 임상 데이터를 직접 학습에 활용하는 의료 파운데이션 모델 학습 패러다임입니다.¹

여기에 사용된 데이터셋이 UM-NeuroImages입니다. 이 데이터셋은 CT·MRI 연구 56만 6,915건과 3D 볼륨 524만 개로 구성됩니다.¹ 범위도 뇌 영상에만 그치지 않고 머리, 목, 얼굴, 안와 CT·MRI까지 포함합니다.¹

이 접근의 의미는 분명합니다. 모델이 잘 정제된 예제집이 아니라 실제 진료 환경에서 생성된 영상 분포를 배운다는 점입니다. 임상 영상은 장비, 촬영 프로토콜, 환자 상태, 검사 목적에 따라 크게 달라집니다. 따라서 병원 데이터에서 직접 표현을 학습하는 전략은 의료 영상 AI에서 중요한 차이를 만들 수 있습니다.

Vol-JEPA: 보고서 라벨 없이 3D 영상을 배우는 방식

NeuroVFM의 기반은 Vol-JEPA입니다. Vol-JEPA는 I-JEPA와 V-JEPA의 아이디어를 CT·MRI 같은 체적 의료 영상으로 확장한 자기지도 학습 방법입니다.¹

자기지도 학습의 핵심은 사람이 붙인 정답 없이 데이터 자체의 구조를 이용해 표현을 배우는 데 있습니다. Vol-JEPA는 CT와 MRI를 위한 통합 잠재 공간을 학습하며, 3D 영상 일부를 보고 가려진 영역의 표현을 예측하도록 설계됐습니다.¹ 이를 통해 모델은 방사선 보고서 라벨 없이도 뇌 해부학과 병리의 구조를 학습합니다.

진단 라벨이 전혀 없었던 것은 아닙니다. 연구진은 MRI 74개, CT 82개의 진단 온톨로지를 정의했고, 여기에는 종양성, 외상성, 감염성, 염증성 등 주요 병리 범주가 포함됩니다.¹ 라벨은 검증된 LLM 파이프라인으로 방사선 보고서에서 자동 부여됐습니다.¹

다만 중요한 구분이 있습니다. 이 보고서 기반 진단 라벨은 자기지도 사전학습에는 사용되지 않았고, 지도학습 진단 헤드의 학습과 평가에만 사용됐습니다.¹ 즉 NeuroVFM의 기본 표현은 라벨링된 정답을 외운 결과라기보다, 대규모 임상 3D 영상에서 구조를 학습한 결과로 이해하는 편이 적절합니다.

무엇을 봐야 할까: 모델보다 데이터 전략

NeuroVFM의 시사점은 “의료용 GPT가 하나 더 나왔다”가 아닙니다. 더 중요한 메시지는 의료 파운데이션 모델의 경쟁력이 알고리즘만이 아니라 어떤 임상 데이터를 어떤 방식으로 학습하느냐에 크게 좌우된다는 점입니다.

실무적으로는 두 가지 판단 기준이 필요합니다.

첫째, 병원 데이터 기반 모델은 외부 기관에서도 잘 작동하는지 검증해야 합니다. 특정 헬스 시스템의 데이터로 학습한 모델은 그 환경의 장비, 프로토콜, 환자군, 보고 관행을 반영할 수 있습니다. 따라서 실제 활용을 논의하려면 기관 간 일반화 가능성을 별도로 봐야 합니다.

둘째, 연구용 모델과 임상 의사결정 도구는 구분해야 합니다. NeuroVFM 공개 저장소도 연구용이며 임상 의사결정에 사용하지 말라고 명시합니다.² 모델이 강력한 표현을 학습했다는 점과, 실제 진료에서 안전하게 사용할 수 있다는 점은 별개의 문제입니다.

결론

NeuroVFM은 신경영상 AI가 어디로 가고 있는지를 보여주는 사례입니다. 핵심은 더 큰 모델을 만드는 것만이 아니라, 실제 진료 흐름에서 생성되는 3D 의료 영상을 얼마나 잘 학습하고 표현하느냐에 있습니다.

따라서 NeuroVFM을 볼 때는 성능 수치만이 아니라 데이터 출처, 학습 방식, 라벨 사용 범위, 외부 검증 가능성, 임상 사용 제한을 함께 봐야 합니다. 이 기준이 앞으로 의료 영상 파운데이션 모델을 평가하는 실질적인 출발점이 될 것입니다.

¹Health system learning enables generalist neuroimaging models

²GitHub - MLNeurosurg/neurovfm