AI 모델이 내 이름을 알고 있다면, 그것은 방금 검색한 결과일까요. 아니면 모델 내부에 이미 남아 있던 정보일까요.
웹사이트 In the Weights는 이 질문을 실험처럼 보여줍니다. 여러 대규모 언어 모델에 특정 인물이 누구인지 묻고, 그 결과를 결합해 ‘강도 점수’를 매깁니다. 기사에 따르면 리더보드의 최대 점수는 996이며, 모차르트, 셰익스피어, 테일러 스위프트 같은 이름이 높은 점수에 해당합니다.1
이 사이트를 만든 사람은 전 OpenAI 직원 Joey Flynn과 Thomas Dimson입니다.1 흥미로운 점은 단순히 “AI가 누구를 아는가”가 아니라, 그 앎이 모델의 가중치와 어떤 관계가 있는지를 묻게 만든다는 데 있습니다.
‘가중치에 있다’는 말은 무슨 뜻일까
신경망에서 가중치는 각 입력이 출력에 얼마나 영향을 미치는지 정하는 숫자입니다. 편향은 입력과 별개로 뉴런의 출력을 이동시키는 추가 파라미터입니다.2
순전파 과정에서 모델은 입력값에 가중치를 곱하고 편향을 더한 뒤, 활성화 함수를 거쳐 다음 층으로 넘깁니다. 예측이 틀리면 역전파를 통해 예측값과 실제값의 차이를 손실로 계산하고, 각 가중치와 편향이 그 손실에 얼마나 기여했는지 거꾸로 따집니다. 이후 경사하강법 같은 최적화 방법으로 값을 조정해 오류를 줄입니다.2
따라서 “어떤 인물이 가중치에 있다”는 말은 모델 안에 인물 카드나 데이터베이스 항목이 그대로 저장돼 있다는 뜻이 아닙니다. 훈련 과정에서 반복적으로 접한 이름, 맥락, 설명, 관계가 수많은 숫자 패턴으로 반영되어, 모델이 별도 검색 없이도 그 인물에 대해 응답할 수 있다는 뜻에 가깝습니다.
점수는 ‘명성’보다 ‘모델 내부의 흔적’에 가깝다
In the Weights의 강도 점수는 얼핏 유명도 순위처럼 보일 수 있습니다. 하지만 더 정확히는 여러 모델이 특정 인물을 얼마나 안정적으로 알아보는지를 나타내는 신호에 가깝습니다.1
이 차이는 중요합니다. 점수가 높다고 해서 그 인물에 대한 모델의 지식이 정확하다는 뜻은 아닙니다. 제작자들도 모델이 전기적 세부사항을 환각할 수 있고, 오타나 흔한 이름이 점수에 영향을 줄 수 있다고 밝혔습니다.1
이는 신경망 전반의 한계와도 맞닿아 있습니다. 잘 학습된 가중치는 모델이 새로운 데이터에 일반화하는 데 도움을 주지만, 개별 가중치와 편향이 특정 판단에 어떻게 기여했는지 해석하기는 어렵습니다. 또한 과도한 파라미터 조정은 모델이 훈련 데이터에 지나치게 의존하는 과적합으로 이어질 수 있습니다.2
즉 In the Weights의 점수는 신원 확인 도구나 평판 지표로 쓰기보다, 모델이 훈련 과정에서 어떤 사회적 흔적을 흡수했는지 살펴보는 단서로 보는 편이 안전합니다.
AI 평가에 추가된 새로운 질문
AI 모델을 비교할 때 흔히 보는 기준은 성능입니다. 예를 들어 BenchLM은 261개 대규모 언어 모델을 249개 벤치마크와 함께 추적하며, 품질, 가격, 런타임 데이터, 컨텍스트 윈도우 같은 항목을 비교한다고 설명합니다.3
In the Weights는 여기에 다른 질문을 덧붙입니다.
이 모델은 무엇을 잘하는가?
그리고 이 모델 안에는 어떤 정보와 사회적 흔적이 남아 있는가?
내 이름이 나온다고 해서 AI가 나를 이해한다는 뜻은 아닙니다. 반대로 나오지 않는다고 해서 내가 중요하지 않다는 뜻도 아닙니다. 모델의 응답은 이해나 인정이 아니라, 훈련 데이터와 가중치에 남은 패턴의 결과이기 때문입니다.
그래서 이 사이트의 실질적 가치는 호기심 충족에만 있지 않습니다. 앞으로 AI 모델을 볼 때 성능표만이 아니라, 그 모델이 어떤 데이터를 통해 어떤 기억의 흔적을 갖게 되었는지도 함께 물어야 한다는 점을 보여줍니다.
참고
1Website "In the Weights" shows whether AI models know who you are
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.