AI가 이미지 속 차트를 보고 코드를 다시 만들어내는 데모는 꽤 인상적입니다. 그런데 최근 소개된 RealChart2Code 벤치마크는, 차트가 복잡해지는 순간 최고 수준 모델도 성능이 크게 떨어진다고 보여줬습니다. 관련 보도에 따르면 "복잡한 차트" 구간에서 성능이 대략 절반 수준으로 무너집니다.1
왜 지금 이게 중요할까요. 차트 생성 AI의 진짜 용도는 예쁜 그림을 흉내 내는 데 있지 않기 때문입니다. 대시보드, 보고서, 연구 재현, BI 제품에서는 "비슷하게 보이는 코드"가 아니라 "같은 뜻을 담은 코드"가 필요합니다. RealChart2Code는 바로 그 간극을 드러낸 사례에 가깝습니다.2
닮은 차트와 믿을 수 있는 코드는 전혀 다른 문제다
이번 벤치마크의 핵심은 규모보다 설계에 있습니다. 연구진은 2,896개 인스턴스를 만들었고, Kaggle 기반의 실제 데이터와 명확한 분석 의도를 넣었습니다. 또 단일 생성만이 아니라, 대화형 수정 과정까지 평가했습니다.2 이건 기존 chart-to-code 벤치마크들이 주로 단순한 단일 패널 차트나 합성 데이터에 기대던 방식과 다릅니다.2
여기서 중요한 해석이 나옵니다. 차트 코드는 단순한 UI 코드가 아닙니다. 집계 방식, 축 설정, 범례 매핑, 서브플롯 배치, 누락값 처리 같은 분석 로직이 숨어 있습니다. 겉모습만 비슷하면 통과시키는 평가는 실무 기준과 어긋납니다.
예를 들어 막대 높이가 얼추 맞아 보여도, 실제로는 평균을 그려야 할 자리에 합계를 그렸다면 그 차트는 틀린 겁니다. 색상이나 범례가 뒤바뀌면 시각적으로는 그럴듯해도 해석은 반대로 갈 수 있습니다. Tableau와 Wren AI가 최근 "차트를 그리는 능력"보다 "의미를 규정하는 semantic layer"를 강조하는 이유도 여기에 있습니다.34
실무에서 특히 위험한 실패는 다섯 가지다
RealChart2Code 논문은 복잡한 멀티패널 구조와 실제 데이터에서 모델이 약하다고 말합니다.2 이를 실무 언어로 바꾸면, 팀이 점검해야 할 실패 유형은 대체로 다섯 가지입니다.
첫째, 집계가 틀리는 경우입니다. 평균·합계·비율·정규화가 바뀌면 차트는 "그럴듯한 오답"이 됩니다.
둘째, 축이 해석을 바꾸는 경우입니다. 로그 축, 시작점, 범위 절단, 날짜 정렬이 조금만 어긋나도 메시지가 달라집니다.
셋째, 서브플롯 논리가 무너지는 경우입니다. 여러 패널이 같은 축을 공유하는지, 패싯 기준이 무엇인지, 패널 순서가 어떤 의미를 갖는지가 자주 깨집니다.
넷째, 스타일이 의미를 바꾸는 경우입니다. 색상 매핑, 강조선, 주석, 범례 순서는 장식이 아니라 해석 장치입니다.
다섯째, 데이터 전제가 사라지는 경우입니다. 결측치 제거, 이상치 필터링, 샘플링, 전처리 규칙이 코드에 드러나지 않으면 재현성과 신뢰가 함께 무너집니다.
이 다섯 가지는 "차트가 보이느냐"보다 "의사결정에 써도 되느냐"를 가르는 기준입니다.
지금 당장 써도 되는 곳과 아직 이른 곳
그렇다고 chart-to-code가 쓸모없다는 뜻은 아닙니다. 프로토타이핑, 교육용 예제, 기존 차트의 초안 복원에는 이미 꽤 유용할 수 있습니다. 특히 Recharts 같은 컴포넌트 기반 라이브러리로 옮겨 가볍게 편집하는 흐름에는 생산성 이점이 있습니다.5
하지만 생산 환경의 대시보드, 경영 보고, 규제 대응 문서, 연구 재현에는 기준이 더 높아야 합니다. 여기서는 "한 번 맞춘다"보다 "반복해서 안정적으로 맞춘다"가 중요합니다. RealChart2Code가 멀티턴 수정까지 넣은 이유도 실제 업무가 한 번의 생성으로 끝나지 않기 때문입니다.2
반론도 있습니다. 벤치마크가 어려워졌으니 점수가 떨어지는 건 당연하다는 주장입니다. 맞는 말입니다. 다만 바로 그 점이 핵심입니다. 쉬운 벤치마크에서 높은 점수를 받는 모델이 실제 업무에서도 강할 것이라고 가정하면 안 된다는 뜻이니까요. 보안 분야의 CTI-REALM도 비슷한 문제의식을 보여줍니다. 단순 지식 테스트보다 실제 워크플로우를 끝까지 수행하는지가 더 중요하다는 것입니다.6
차트 AI를 평가할 때 이제는 이렇게 봐야 한다
도입을 검토한다면 질문은 하나입니다. "잘 그리나?"가 아니라 "우리 데이터와 업무 맥락에서 조용히 틀리지 않나?"입니다.
평가도 그 기준으로 해야 합니다. 실제 사내 데이터로, 멀티패널 차트로, 긴 레이블과 예외 케이스를 넣고, 수정 요청까지 포함해 테스트해야 합니다. 그리고 최종 이미지만 보지 말고 코드 안의 집계, 필터, 축, 범례, 결측 처리까지 리뷰해야 합니다.
정리하면, RealChart2Code가 바꾼 건 모델 순위표보다 판단 기준입니다. 지금 이 기술을 가장 진지하게 봐야 하는 사람은 AI 데모를 만드는 팀보다, 차트를 근거로 결정을 내려야 하는 팀입니다. 그들에게 필요한 질문은 "AI가 차트를 그릴 수 있는가"가 아니라 "이 코드가 우리 비즈니스 의미를 보존하는가"입니다.
참고
3AI Can Draw the Chart. Tableau Defines the Truth.
6CTI-REALM: A new benchmark for end-to-end detection rule generation with AI agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.