이스라엘 레호보토 소재 와이즈만 연구소의 Michal Irani 교수 연구진은 뇌 스캔 데이터를 분석하여 사람이 보고 있는 시각 이미지를 고정밀로 재구성하고, 반대로 이미지를 통해 뇌 활동을 예측할 수 있는 새로운 AI 기반 '뇌 디코더(brain decoder)' 기술을 개발했습니다1. 2026년 9월 뉴욕에서 열린 인지 계산 신경과학(Cognitive Computational Neuroscience) 학회에서 발표된 이 연구는 기존 기술의 최대 병목이었던 막대한 뇌 스캔 데이터 요구량을 획기적으로 줄였습니다1. 기존의 뇌 해독 모델들은 새로운 피험자의 뇌 활동을 예측하기 위해 약 40시간의 fMRI(기능적 자기공명영상) 데이터가 필요했던 반면, Michal Irani 교수팀이 개발한 모델은 단 1시간의 데이터 분석만으로도 작동이 가능합니다1.
이 기술은 향후 의사소통 장애를 겪는 실어증 환자들의 재활 치료나 뇌 질환 환자들을 위한 보조 공학 도구 개발에 기여할 가능성이 있어 학계와 의료계의 주목을 받고 있습니다2. 특히 fMRI 촬영 비용이 시간당 약 600달러에서 1,000달러에 달하는 현실을 고려할 때, 필요한 데이터 수집 시간을 40시간에서 1시간으로 단축한 것은 연구 비용을 수만 달러 절감하고 임상 연구 속도를 높이는 직접적인 계기가 됩니다1.
복잡한 자연 장면의 시각 정보 분석 메커니즘
기존의 뇌 신호 해독 연구들은 주로 단순한 단일 객체 중심의 ImageNet 데이터셋을 활용해 해독을 시도해 왔기 때문에, 여러 사물이 혼재된 일상의 복잡한 풍경을 복원하는 데 한계가 있었습니다3. 연구진은 이러한 한계를 극복하기 위해 다수의 객체와 복잡한 자연적 특성을 지닌 COCO 데이터셋의 이미지를 시청할 때의 뇌 활동을 기록한 대규모 7T fMRI 데이터셋인 '자연 장면 데이터셋(NSD)'을 연구의 기반으로 채택했습니다3. 해당 데이터셋은 8명의 피험자가 COCO 이미지를 보는 방식으로 수집되었으며, 이번 연구에서는 실험의 모든 세션을 완료한 4명의 피험자(sub1, sub2, sub5, sub7) 데이터를 선별해 정밀 분석에 활용했습니다3.
또한 연구진은 공간 해상도가 낮은 일반 fMRI 데이터 대신, 1세제곱밀리미터 수준의 미세한 뉴런 영역(세제곱밀리미터당 약 16,000개의 뉴런 분포)을 감지하는 고해상도 스캐너 데이터를 사용하여 뇌의 활성 단위인 '복셀(voxel)' 정보의 정밀도를 대폭 높였습니다1. 일반적인 fMRI 장비가 커버하는 복셀 영역이 약 3세제곱밀리미터 수준인 것과 비교하면 뇌 활동 변화를 훨씬 더 촘촘하게 추적할 수 있게 된 것입니다1.
이 정보를 처리하는 핵심 기술은 연구진이 제안한 'Brain-Diffuser' 프레임워크입니다3. 이 프레임워크의 첫 번째 단계에서는 매우 깊은 변분 오토인코더인 'VDVAE(Very Deep Variational Autoencoder)'를 활용해 fMRI 신호로부터 이미지의 윤곽과 색상 분포 등 저수준 형태를 복원한 '초기 추정치'를 만들어냅니다3. 그 다음 뇌 디코더의 두 가지 독자적인 브랜치가 가동됩니다. 첫 번째 브랜치는 이미지의 구조(예: 사물의 위치 및 대략적인 형태)를 예측하고, 두 번째 브랜치는 구체적인 콘텐츠의 의미(예: 사물의 정체)를 예측합니다1. 이 두 예측 정보가 디퓨전 모델에 결합되어 노이즈를 제거해가며 사람이 실제로 바라본 이미지에 가까운 고정밀 이미지를 최종 재구성하게 됩니다13.
데이터 부족을 극복한 범용 뇌 인코더와 변환기 알고리즘
AI 모델이 사람의 뇌 신호를 제대로 해석하려면 방대한 학습 데이터가 필수적이지만, 사람이 fMRI 장비 안에 수십 시간 동안 누워 데이터를 생성하는 것은 물리적, 비용적으로 매우 어렵습니다. Michal Irani 교수 연구팀은 이 문제를 해결하기 위해 이미지로부터 직접 뇌 활동을 역으로 예측해내는 '인코더(encoder)' 모델을 추가로 훈련시키는 독창적인 우회로를 마련했습니다1.
연구팀은 먼저 fMRI 장비 안에서 약 9,000개의 이미지를 시청한 8명의 피험자 데이터를 사용해 초기 AI 모델을 학습시켰습니다1. 이후 데이터 부족 문제를 해결하기 위해 인코더와 디코더를 상호 보완적으로 학습시키는 인코더-디코더 루프를 구성했습니다1. 이 과정에서 인코더를 훈련시키는 데 사용된 이미지 데이터의 약 70%는 fMRI 스캔 기록이 아예 존재하지 않는 순수 이미지 데이터로 구성되었습니다1. AI가 임의의 이미지를 보고 뇌가 어떻게 반응할지 스스로 예측하도록 유도함으로써, 실제 수집된 뇌 스캔 데이터의 한계를 넘어 무한히 많은 가상 뇌 신호 데이터를 생성해 학습 효율을 극대화한 것입니다1.
여기에 다른 피험자의 뇌 패턴에 빠르게 적응할 수 있도록 설계된 새로운 변환기(converter) 알고리즘이 적용되면서 '범용 뇌 인코더(universal brain encoder)'의 이식성이 극대화되었습니다2. 이 변환 기술 덕분에 기존에는 사용자당 약 40시간의 fMRI 훈련 데이터가 필요했던 장벽이 단 1시간의 최소한의 보정 데이터만으로 단축될 수 있었습니다12. 실제 비교 벤치마크 테스트에서도 해당 도구는 기존에 발표된 다른 유사 디코더 모델 대비 오차 범위 밖의 유의미한 성능 차이로 우월한 이미지 재구성 정밀도를 입증했습니다1.
실용화를 위한 과제와 기술적 제약 사항
학술적 성과에도 불구하고 이 기술을 실제 임상 환경이나 일상에 도입하기 위해서는 넘어야 할 제약 조건이 뚜렷합니다. 가장 큰 한계는 수십억 원대에 달하는 거대하고 값비싼 fMRI 장비의 물리적 특성입니다. 환자가 좁은 스캐너 내부에 움직임 없이 정자세로 누워 있어야만 고해상도 데이터를 얻을 수 있기 때문에 일상적인 보조 기기나 의사소통 장치로서의 간편한 활용은 불가능에 가깝습니다.
이를 보완하기 위해 연구팀은 전극 캡이나 전용 헤드폰 등을 통해 뇌의 전기적 신호를 간편하게 측정하는 EEG(뇌전도) 데이터를 활용해 뇌 활동을 디코딩하는 유사한 접근법들을 병행 연구하고 있습니다1. EEG는 fMRI에 비해 장비 가격이 저렴하고 휴대성이 뛰어나지만, 수집되는 신호의 해상도가 fMRI에 비해 매우 낮기 때문에 정밀한 이미지 재구성을 위해서는 수집 데이터의 잡음 제거와 디코딩 성능 고도화가 추가로 검증되어야 합니다.
더불어 Michal Irani 교수는 정적 이미지 디코딩 단계를 넘어 비디오 및 오디오 데이터로 해독 영역을 확장하겠다는 계획을 밝혔습니다1. 연구진은 장기적으로 사용자가 물리적인 시각 자극 없이 단지 머릿속으로 생각하거나 상상하는 내용, 그리고 수면 중 겪는 꿈의 시각적 콘텐츠까지 화면으로 재구성하는 기술 수준 확보를 목표로 연구를 이어가고 있습니다1.
독자가 유의해야 할 기술 도입 및 판단 기준
이 기술은 뇌-컴퓨터 인터페이스(BCI) 기술 연구의 획기적인 도약을 보여주지만, 예비 도입 기업이나 임상 연구원들이 실질적으로 주목해야 할 기준은 아직 가시화되지 않은 기술적 디테일에 있습니다.
첫째, 현 단계의 성공은 7T 초고해상도 fMRI라는 고도로 제어된 하드웨어 환경과 COCO 자연 장면 데이터셋(NSD)의 한정된 피험자 데이터(sub1, sub2, sub5, sub7) 분석에 기반하고 있다는 점입니다3. 따라서 병원 등에서 쓰이는 저해상도 범용 fMRI 장비나 실시간 분석 환경에서도 동일한 정확도가 확보되는지 독립적인 검증이 필요합니다.
둘째, 1시간 수준의 훈련 데이터 제약 극복이 환자 맞춤형 장치 도입의 장벽을 낮춘 것은 사실이나, 비침습적인 웨어러블 형태(예: EEG 헤드폰)로 전환했을 때의 정밀도 손실률과 그에 따른 훈련 시간 증가 여부를 추가로 검증해야 합니다12. 기술적 신뢰성을 면밀히 따지기 위해서는 연구진이 계획 중인 후속 EEG 디코딩 모델의 성능 지표와 실제 실어증 환자 대상의 임상 적용 결과가 발표되는 시점까지 추이를 면밀히 살펴야 할 것입니다.
참고
1An AI "mind-reading" tool can reconstruct what you're looking at from a brain scan
2AI 'brain decoder' can read a person's thoughts with just a quick brain scan and almost no training
3Natural scene reconstruction from fMRI signals using generative latent diffusion
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.