Goodfire가 기계적 해석가능성(mechanistic interpretability) 기반 도구 'Silico'를 공개했다. 핵심은 LLM의 입력·출력만 보는 대신, 내부 뉴런과 회로 수준에서 "어떤 표현이 왜 나왔는지"를 더 직접적으로 추적하고, 일부는 조정까지 하겠다는 것이다.1
이게 지금 중요한 이유는 단순하다. AI 업계는 모델을 점점 더 크게 만들고 있지만, 여전히 많은 조직은 모델이 왜 그런 답을 냈는지 설명하지 못한다. 의료·금융처럼 실수 비용이 큰 분야에선 "성능이 좋다"만으로는 부족하다. 이제 질문은 더 커진다. 설명은 가능한가, 수정은 재현 가능한가, 그리고 그 결과를 실제 의사결정에 써도 되는가.
"모델을 이해한다"는 말의 현실: 관찰에서 개입으로
기계적 해석가능성은 블랙박스 모델의 내부를 분해해 뉴런, 특징, 경로가 어떤 역할을 하는지 찾으려는 접근이다. Goodfire는 Silico를 통해 특정 뉴런이나 뉴런 묶음을 들여다보고, 어떤 입력에서 활성화되는지 보고, 상류·하류 경로를 추적하고, 연결된 파라미터를 조정해 행동을 증폭하거나 억제할 수 있다고 설명한다.12
여기서 중요한 변화는 "설명"에서 "디버깅"으로 무게중심이 옮겨갔다는 점이다. 기존의 많은 AI 품질 관리는 프롬프트 수정, 파인튜닝, RLHF, 출력 필터링 같은 바깥쪽 제어에 머물렀다. 반면 Silico류 도구는 내부 표현을 직접 겨냥한다. Goodfire는 과거 해석가능성 기반 개입으로 환각을 줄였다고 주장해 왔고, 이번 제품은 그런 내부 기법을 플랫폼으로 내놓는 성격이 강하다.13
하지만 여기서 신화를 하나 걷어낼 필요가 있다. "내부를 본다"가 곧 "모델을 이해했다"는 뜻은 아니다. 암스테르담대 연구자 Leonard Bereska가 지적했듯, 이런 도구는 연금술에 정밀도를 더하는 쪽에 가깝지, 아직 완전한 공학이라고 부르긴 어렵다.1 즉, 회로 일부를 찾아 조정할 수는 있어도, 전체 모델 행동을 원인-결과로 완전히 설명하는 단계는 아니다.
실무적으로는 이 차이가 크다. 관찰 가능한 내부 신호가 늘어나는 것은 분명 가치가 있지만, 그것이 곧 규제 대응용 설명 가능성이나 안전성 보증으로 직결되진 않는다.
좋은 데모와 믿을 만한 도구를 구분하는 5가지 질문
Silico 같은 도구를 볼 때는 "멋진 시연"보다 "어떤 결정을 더 잘하게 해주나"를 먼저 봐야 한다.
첫째, 무엇을 모델링하거나 조정했는가. 특정 뉴런 하나를 건드려 답변 톤이 바뀌는 것과, 반복적으로 나타나는 환각 패턴을 줄이는 것은 난도가 다르다. Goodfire가 제시한 예시는 도덕적 딜레마 표현, 투명성 관련 응답 전환, 숫자 비교 오류 같은 사례다.1 흥미롭지만, 이들이 얼마나 일반화되는지는 별도 문제다.
둘째, 어떤 데이터와 벤치마크로 검증했는가. 해석가능성 도구는 내부 그림이 그럴듯해 보여도, 외부 성능 개선과 연결되지 않으면 가치가 제한적이다. 환각 감소, PII 탐지, 고위험 도메인 적용처럼 실제 과업 기준의 전후 비교가 필요하다.34
셋째, 어떤 의사결정을 개선하는가. 이 도구의 진짜 고객은 "AI를 이해하고 싶은 사람"이 아니라, 모델 배포 리스크를 낮추거나 파인튜닝 시행착오를 줄이고 싶은 팀이다. Goodfire도 소형 연구팀이나 중견 기업이 해석가능성 연구자를 직접 채용하지 않고도 모델을 다루게 하겠다는 포지션을 취한다.1
넷째, 어디서 잘 맞고 어디서 약한가. 대부분의 사용자는 ChatGPT나 Gemini 내부를 직접 들여다볼 수 없다. Silico의 현실적 대상은 내부 파라미터 접근이 가능한 오픈소스 모델이나 자체 학습·파인튜닝 모델이다.1 즉, 범용 소비자용 도구가 아니라 모델 소유권이 있는 팀을 위한 인프라에 가깝다.
다섯째, 불확실성을 어떻게 드러내는가. 바이오 분야의 in silico 결과도 결국 모델 품질, 데이터 편향, 검증 방식에 따라 가치가 갈린다. 컴퓨터에서 돌렸다는 사실 자체는 근거가 아니다. 중요한 건 실제 실험이나 운영 환경에서 무엇을 얼마나 줄였는지다.56
최고의 활용처는 "진실 증명"이 아니라 "탐색 공간 축소"다
바이오에서 in silico가 가장 빛나는 순간은 실험실을 대체할 때가 아니라, 후보를 줄이고 실패를 앞당겨 발견할 때다. 분자 도킹, QSAR, PBPK, 독성 예측 모두 마찬가지다. 빠르고 싸지만, 정확도는 모델과 검증에 달려 있다.56 AI 해석가능성 도구도 같은 잣대로 봐야 한다.
Silico가 정말 유용한 경우는 이렇다. 파인튜닝 전에 내부 표현의 병목이나 붕괴를 빨리 찾고, 문제 행동의 후보 원인을 좁히고, 특정 데이터나 회로가 어떤 왜곡을 만드는지 확인해 재학습 비용을 줄이는 경우다.2 다시 말해, "이 모델은 안전하다"를 혼자 증명하는 도구라기보다, "어디를 먼저 의심하고 어떻게 수정할지"를 알려주는 탐사 장비에 가깝다.
반대로 경계할 지점도 분명하다. 내부 특징에 이름을 붙이는 행위는 언제든 과잉 해석으로 흐를 수 있다. "이 뉴런은 윤리", "저 회로는 투명성" 같은 라벨은 설명을 돕지만, 엄밀한 의미에서 완결된 의미 단위라고 보기 어렵다. 해석가능성이 실무 인프라가 되려면, 멋진 시각화보다 개입의 재현성과 부작용 측정이 먼저 쌓여야 한다.
결국 이 도구를 지금 가장 진지하게 봐야 하는 사람은 자체 모델을 학습·튜닝하는 팀, 특히 오류 비용이 큰 산업의 AI 조직이다. 판단 기준은 간단하다. 내부를 보여주느냐가 아니라, 그 통찰이 실제 실패를 줄이고 재학습 비용을 낮추며, 검증 가능한 방식으로 의사결정을 개선하느냐다.
참고
1This startup's new mechanistic interpretability tool lets you debug LLMs
2Build AI models the way you write software
3Goodfire: AI 블랙박스를 여는 열쇠, $1.25B 해석가능성 스타트업의 부상
4The First Mechanistic Interpretability Frontier Lab -- Myra Deng & Mark Bissell of Goodfire AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.