AI 3D 생성에서 중요한 질문은 “보기 좋은가”만이 아닙니다. 엔지니어링 부품이라면 구멍 위치, 체결부, 위상, STEP 파일의 유효성이 더 중요합니다. 결과물이 실제 CAD 워크플로에서 열리고, 검증되고, 수정될 수 있어야 하기 때문입니다.
Hugging Face와 mecadoinc가 함께 만든 CADGenBench는 이 지점을 평가하기 위한 벤치마크입니다. AI 시스템이 기계 부품을 얼마나 정확하게 만들고 수정할 수 있는지, 다시 말해 “그럴듯한 3D”가 아니라 “엔지니어링에 쓸 수 있는 3D”를 만들 수 있는지를 묻습니다.1
CADGenBench가 보는 것: 생성과 편집
CADGenBench의 과제는 크게 두 가지입니다.
첫째는 엔지니어링 도면을 보고 3D 부품을 생성하는 과제입니다. 둘째는 기존 STEP 파일에 요청된 변경을 반영하는 편집 과제입니다.1
중요한 점은 특정 제작 도구에 종속되지 않는다는 것입니다. build123d, Fusion, Onshape, 자체 에이전트 등 어떤 방식으로 모델을 만들든 최종 제출물은 STEP 파일이면 됩니다.1 즉, CADGenBench의 관심은 “어떤 도구를 썼는가”보다 “결과물이 CAD 데이터로서 쓸 만한가”에 있습니다.
채점 엔진과 build123d 기반 참조 베이스라인이 오픈소스로 공개된 점도 실용적입니다.1 연구자는 모델 성능을 비교할 수 있고, 제품 팀은 자체 CAD 에이전트의 약점을 같은 기준으로 점검할 수 있습니다.
점수의 출발점은 STEP 파일의 유효성
CADGenBench는 먼저 제출된 STEP 파일이 유효한지 확인합니다. BREP가 제대로 구성됐는지, 물이 새지 않는 닫힌 솔리드인지, 메시로 변환 가능한지 등을 봅니다. 이 단계에서 실패하면 점수는 0입니다.2
이는 단순하지만 중요한 기준입니다. 아무리 시각적으로 그럴듯해도 CAD 시스템에서 안정적으로 다룰 수 없다면 엔지니어링 산출물로 보기 어렵기 때문입니다.
유효성 검사를 통과한 뒤에는 더 세부적인 기준으로 평가합니다. 전체 형상이 목표와 얼마나 가까운지, 구멍이나 조각 수 같은 위상이 맞는지, 체결부처럼 실제 조립에 필요한 인터페이스가 올바른지를 나눠 봅니다.2
편집 과제에서는 또 다른 함정도 다룹니다. 기존 STEP 파일을 거의 그대로 제출하면 겉보기 유사도는 높게 나올 수 있습니다. 그래서 CADGenBench는 “아무것도 편집하지 않은 결과”를 기준선으로 두고, 요청된 변경이 실제로 반영됐는지를 보정합니다.2
왜 CAD 벤치마크가 지금 필요한가
LLM 에이전트는 이미 공학 설계 작업에 점점 더 적용되고 있습니다. EngiAI 논문은 이러한 시스템이 시뮬레이션, 검색, 제조 준비 같은 작업과 결합되고 있다고 설명합니다.3
문제는 평가입니다. 공학 설계 에이전트는 단순히 질문에 답하는 시스템이 아니라, 도구를 쓰고, 정보를 검색하고, 조건에 따라 절차를 바꾸고, 긴 작업 맥락을 유지해야 합니다. EngiAI는 기존 평가 프레임워크가 이런 멀티에이전트 시스템을 충분히 다루지 못한다고 지적합니다.3
그래서 EngiAI는 워크플로, RAG, HPC라는 세 가지 평가 차원을 제안합니다. 워크플로 벤치마크는 여러 프롬프트 스타일을 통해 직접 도구 사용, 의미적 모호성 해소, 조건 분기, 작업 기억 같은 능력을 봅니다. RAG 벤치마크는 검색이 실제 파라미터 선택에 기여했는지를 게이트형 채점으로 분리해 평가하고, HPC 벤치마크는 SLURM 클러스터에서 엔드투엔드 ML 학습 오케스트레이션을 평가합니다.3
CADGenBench도 같은 문제의식 위에 있습니다. 다만 초점은 CAD 산출물입니다. AI가 설명을 잘했는지가 아니라, 최종 STEP 파일이 엔지니어링 제약을 만족하는지를 봅니다.
실무적으로 어떻게 읽어야 하나
CADGenBench의 메시지는 명확합니다. AI 설계 도구를 평가할 때는 “생성 가능”보다 “검증 가능”을 기준으로 삼아야 합니다.
팀에서 AI CAD 에이전트를 실험한다면 성능을 한 점수로만 보지 않는 편이 좋습니다. 최소한 다음 항목은 분리해서 확인해야 합니다.
STEP 파일이 유효한가
전체 형상이 목표와 맞는가
구멍, 조각 수, 연결 관계 같은 위상이 맞는가
체결부와 조립 인터페이스가 정확한가
편집 과제에서 요청된 변경이 실제로 반영됐는가
이렇게 나눠 보면 데모와 실제 설계 자동화 사이의 간격이 더 선명해집니다. 어떤 시스템은 보기 좋은 형상은 만들지만 STEP 유효성에서 실패할 수 있고, 어떤 시스템은 전체 형상은 맞지만 체결부나 편집 반영에서 약할 수 있습니다.
CADGenBench의 가치는 바로 여기에 있습니다. AI CAD 시스템을 막연히 “잘 만든다” 또는 “못 만든다”로 판단하는 대신, 엔지니어링 실무에 필요한 실패 지점을 구체적으로 드러내는 기준을 제공합니다.
1GitHub - huggingface/cadgenbench
2CADGenBench: CAD Score metrics overview
3EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.