웨어러블 연구의 병목은 데이터를 더 많이 모으는 데만 있지 않다. 수면, 심박수, 활동량에서 수많은 패턴을 계산할 수 있어도 어떤 신호를 후속 검증 대상으로 삼을지, 통계적 연관성이 실제 임상 판단에 도움이 되는지를 구분해야 한다. 디지털 바이오마커는 생체측정기술로 디지털 수집한 데이터를 건강 결과의 지표로 변환한 것이므로, 단순한 센서 특성과 동일하게 취급할 수 없다.1
이 관점에서 Biomarker Discovery Framework의 의미는 자동 진단보다 연구 의사결정의 구조화에 있다. 후보를 많이 만드는 능력보다 후보가 선택된 과정, 분석의 안정성, 임상의가 받아들일 수 있는 근거를 함께 관리하는지가 더 중요한 평가 기준이다.
분석 자동화가 아니라 연구 절차의 분업
Biomarker Discovery Framework에서 활용되는 CoDaS는 자연어 연구 목표를 실행 가능한 단계로 나누고, 하위 에이전트가 결정론적 코드를 수행하도록 구성된다. 전체 과정은 데이터 프로파일링, 가설 생성, 통계·머신러닝 분석, 적대적 검증, 기전 추론, 보고서 종합이라는 6단계를 반복한다.2
이 설계에서 주목할 부분은 언어 모델이 모든 판단을 한 번에 내리는 것이 아니라는 점이다. 가설을 제안하는 작업과 코드를 실행하는 작업을 구분하고, 재현성·안정성·강건성·데이터 누출 여부를 내부적으로 점검한다. 인간은 후보의 우선순위와 해석을 감독한다.2
따라서 이 접근의 잠재적 가치는 연구자를 대체하는 데 있지 않다. 탐색 과정의 각 결정을 다시 살펴볼 수 있게 만들고, 그럴듯한 결과가 검증 없이 다음 단계로 넘어가는 위험을 줄이는 연구 운영 방식에 가깝다.
성과는 세 층위로 나눠 읽어야 한다
이 시스템의 결과를 평가할 때는 후보 수, 예측력, 임상적 활용 가능성을 하나의 성과로 합쳐서는 안 된다.
1. 후보를 찾아내는 능력
Biomarker Discovery Framework는 3개 코호트의 참가자-관측치 9,279건에 적용됐으며, 정신건강 분야에서 후보 디지털 바이오마커 41개, 대사질환 분야에서 25개를 식별했다.2 이는 탐색 범위를 좁히는 성과이지만, 후보 개수 자체가 임상적 유용성을 뜻하지는 않는다.
개별 결과도 같은 원칙으로 해석해야 한다. DWB 데이터셋에서는 수면시간 변동성과 PHQ-8 중증도 사이에 상관관계가 관찰됐다(ρ=0.252, p<0.001). GLOBEM 코호트에서는 수면 시작 시각의 변동성이 우울증과 연관됐다(ρ=0.126, p<0.001). 걸음 수를 안정 시 심박수로 나눈 심혈관 체력 지표는 인슐린 저항성과 음의 상관관계를 보였다(ρ=-0.374, p<0.001).2
이 수치들은 후속 연구의 방향을 제시하지만 인과관계, 진단 가능성 또는 치료 효과를 확정하지 않는다. 통계적 유의성과 함께 연관성의 크기와 다른 조건에서의 재현 여부를 따로 확인해야 한다.
2. 기존 정보에 무엇을 더하는가
프레임워크가 도출한 특성을 인구통계 변수와 결합했을 때 예측 성능은 우울증에서 ΔR²=0.040, 인슐린 저항성에서 ΔR²=0.021 향상됐다.2
여기서 중요한 질문은 단순히 성능이 개선됐는지가 아니다. 그 개선이 기존 평가만으로 얻을 수 없던 정보를 제공하는지, 다른 데이터에서도 유지되는지, 실제 적용에 필요한 부담을 감수할 만큼 의미가 있는지를 구분해야 한다. 추가 예측력은 후보의 가능성을 뒷받침하지만 임상 채택의 충분조건은 아니다.
3. 사람이 행동할 수 있는 정보인가
12명의 임상의가 약 25시간 동안 수행한 검토에서는 후보의 타당성 판단과 CoDaS 신뢰도 등급 사이에 0.67의 상관계수가 나타났다(p=0.005). 그러나 후보가 제공하는 추가 임상 가치와 실제 행동으로 옮길 수 있다는 신뢰는 타당성보다 낮게 평가됐다.2
이 결과는 자동 평가와 전문가 판단이 어느 정도 같은 방향을 가리킬 수 있음을 보여주는 동시에, 과학적으로 그럴듯한 후보와 진료에 사용할 수 있는 지표 사이에 별도의 검증 단계가 필요함을 드러낸다. 임상의가 결과를 믿는 것과 그 결과를 근거로 행동을 선택하는 것은 서로 다른 문제다.
자동화가 만들어내는 새로운 절충점
결정론적 코드 실행과 반복 검사는 재현 가능한 분석에 유리하다. 반면 자연어 목표를 어떤 실행 계획으로 분해할지, 어떤 후보를 우선 검토할지, 기전 추론을 얼마나 신뢰할지는 여전히 인간의 판단과 연결된다. 자동화 범위가 넓어질수록 최종 결과뿐 아니라 중간 단계의 선택을 검토할 수 있어야 한다.
또 다른 절충점은 탐색 규모와 검토 부담 사이에 있다. 다중 에이전트가 많은 후보를 신속하게 제시하더라도 임상적 가치와 행동 가능성은 사람이 별도로 판단해야 한다. 후보 생성 속도가 빨라졌다는 이유로 독립적 검증이나 전문가 검토를 축소하면 프레임워크의 장점인 우선순위화가 오히려 검증되지 않은 결과의 확대로 바뀔 수 있다.
웨어러블 데이터에서 지표를 개발하는 과정은 후보 발견만으로 끝나지 않는다. 측정값을 건강 결과와 연결하고 검증 가능한 바이오마커로 발전시키려면 단계별 평가 구조가 필요하다.3
앞으로 확인할 기준
Biomarker Discovery Framework의 다음 성과를 판단할 때는 다음 질문을 중심으로 보는 것이 적절하다.
발견된 후보가 다른 코호트와 측정 조건에서도 재현되는가?
내부 검사가 데이터 누출과 불안정한 결과를 실제로 얼마나 걸러내는가?
인구통계 변수에 더해지는 예측력이 독립적인 데이터에서도 유지되는가?
높은 신뢰도 등급이 추가 임상 가치와 행동 가능성으로 이어지는가?
인간 감독이 개입한 지점과 후보 우선순위가 결정된 근거를 다시 검토할 수 있는가?
결국 경쟁력은 후보 수보다 검증 비용을 얼마나 합리적으로 배분하느냐에 달려 있다. Biomarker Discovery Framework는 웨어러블 신호를 확정된 진단으로 바꾸는 장치가 아니라, 제한된 연구 자원을 어떤 후보에 먼저 투입할지 결정하는 체계로 평가해야 한다.
2An AI Co-Data-Scientist for Prioritizing Candidate Biomarkers from Wearable Sensor Data
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.