평가 지표

모델을 만든 뒤 숫자 하나를 보는 순간이 있습니다. 그 숫자가 높으면 왠지 안심이 되고, 낮으면 급히 모델을 바꾸고 싶어집니다. 그런데 머신러닝에서 가장 위험한 실수 중 하나는 좋아 보이는 숫자를 좋은 모델로 착각하는 것입니다.

특히 입문자는 정확도부터 보게 됩니다. 정확도는 직관적입니다. 맞춘 비율이니까요. 하지만 현실의 문제는 그렇게 단순하지 않습니다. 어떤 실수는 가볍고, 어떤 실수는 매우 비쌉니다. 어떤 문제는 양성과 음성이 비슷한 비율로 나오지 않고, 어떤 서비스는 상위 몇 개만 잘 골라도 충분합니다. 그래서 평가 지표는 단순한 점수표가 아니라, 이 모델이 어떤 실수를 하고 있고 그 실수가 우리에게 얼마나 아픈지 보여 주는 창문에 가깝습니다.

이번 장에서는 분류와 회귀 문제에서 자주 쓰는 지표를 살펴보며, 결국 가장 중요한 질문 하나로 돌아가 보겠습니다. 이 모델이 틀렸을 때, 누가 어떤 비용을 치르는가?

정확도는 왜 자주 우리를 속일까

정확도는 전체 예측 중 맞춘 비율입니다. 예를 들어 100개 중 90개를 맞히면 정확도는 90%입니다. 얼핏 보면 꽤 좋아 보입니다. 문제는 데이터가 한쪽으로 치우쳐 있을 때입니다.

사기 거래 탐지 모델을 상상해 봅시다. 거래 1,000건 중 실제 사기는 10건이고, 나머지 990건은 정상 거래라고 해 보겠습니다. 이때 모델이 아무 생각 없이 모든 거래를 정상이라고만 예측하면 어떻게 될까요. 990건은 맞히고 10건은 틀립니다. 정확도는 99%입니다.

숫자만 보면 훌륭한 모델 같지만, 실제로는 사기를 단 한 건도 잡지 못한 모델입니다. 서비스 관점에서는 거의 쓸모가 없습니다.

이것이 클래스 불균형의 함정입니다. 클래스 불균형이란 한쪽 사례가 다른 쪽보다 훨씬 많이 나타나는 상황을 말합니다. 현실의 많은 문제들이 그렇습니다. 사기 탐지, 질병 진단, 고장 예측, 이상 탐지, 희귀 이벤트 예측은 대개 정상 사례가 압도적으로 많습니다.

이런 문제에서 정확도는 종종 이렇게 말합니다.

"대부분을 맞췄습니다."

하지만 우리가 진짜 묻고 싶은 것은 이런 것입니다.

"정작 중요한 것을 잡아냈습니까?"

정확도는 여전히 쓸 수 있는 지표입니다. 클래스 비율이 비교적 균형 잡혀 있고, 두 종류의 실수 비용이 비슷할 때는 꽤 괜찮습니다. 하지만 불균형 데이터에서는 정확도만 보면 착시가 생기기 쉽습니다. 그래서 분류 문제를 제대로 읽으려면, 먼저 모델의 실수를 종류별로 나누어 봐야 합니다.

분류 지표를 이해하는 가장 좋은 출발점

분류 문제에서는 단순히 맞았는지 틀렸는지만 보는 것이 아니라, 어떤 방식으로 맞았고 어떤 방식으로 틀렸는지를 봐야 합니다. 이때 자주 쓰는 표가 혼동 행렬입니다.

이 네 칸이 분류 지표의 출발점입니다.

진짜 양성은 실제로 양성인 대상을 양성이라고 맞힌 경우입니다. 거짓 양성은 실제로는 아닌데 양성이라고 잘못 경보를 울린 경우입니다. 거짓 음성은 실제로는 중요한 양성인데 놓쳐 버린 경우입니다.

이제 관점이 바뀝니다. 모델의 품질은 단순히 몇 개를 맞췄느냐가 아니라, 거짓 양성과 거짓 음성을 얼마나 만들었느냐로 읽히기 시작합니다. 그리고 여기서부터 정밀도와 재현율이 등장합니다.

정밀도는 "경보를 울렸을 때 얼마나 믿을 만한가"를 본다

정밀도는 모델이 양성이라고 예측한 것들 중에서, 실제로 양성인 비율입니다. 쉽게 말해 양성이라고 찍은 것의 순도입니다.

정밀도가 높은 모델은 함부로 양성 판정을 내리지 않습니다. 대신 양성이라고 말할 때는 비교적 믿을 만합니다. 이 지표가 중요한 상황은 거짓 양성의 비용이 큰 문제입니다.

예를 들어 중요한 업무 메일을 스팸으로 분류하는 시스템을 생각해 봅시다. 스팸을 잘 잡는 것도 중요하지만, 정상 메일을 스팸함으로 보내 버리면 사용자는 큰 불편을 겪습니다. 금융 서비스에서 정상 결제를 사기 거래로 과하게 차단해도 마찬가지입니다. 실제 고객이 결제를 못 하게 되면 매출 손실과 사용자 불만이 동시에 생깁니다.

이럴 때는 재현율만 높다고 좋은 것이 아닙니다. 양성으로 많이 잡아내는 대신 정상까지 너무 많이 끌어들이면 운영이 망가집니다. 정밀도는 바로 이 지점을 보여 줍니다.

정밀도를 읽는 감각은 이렇습니다. 모델이 "이건 위험합니다"라고 말했을 때, 그 말을 어느 정도 믿고 바로 행동할 수 있는가. 수작업 검토 비용이 비싸거나, 잘못된 경고가 서비스 경험을 해칠 때 정밀도는 매우 중요해집니다.

재현율은 "놓치지 않았는가"를 본다

재현율은 실제 양성인 것들 중에서, 모델이 양성으로 제대로 찾아낸 비율입니다. 쉽게 말해 중요한 대상을 얼마나 놓치지 않았는가를 보는 지표입니다.

재현율이 중요한 문제는 거짓 음성의 비용이 큰 상황입니다. 실제 위험을 놓치면 안 되는 문제들이 여기에 해당합니다.

예를 들어 암 검진 보조 모델을 생각해 봅시다. 정밀도도 중요하지만, 실제 위험 환자를 음성이라고 놓쳐 버리는 것은 훨씬 더 큰 문제일 수 있습니다. 제조업의 설비 고장 예측도 비슷합니다. 고장 징후를 놓치면 생산 라인이 멈추고, 손실은 빠르게 커집니다. 고객 이탈 예측에서도 이탈 가능성이 높은 고객을 너무 많이 놓치면 마케팅 액션 자체가 의미를 잃습니다.

재현율을 읽는 감각은 이렇습니다. 실제로 잡아내야 할 것 중에서 우리가 몇 개를 건졌는가. 특히 안전, 리스크, 장애, 의료, 이상 탐지처럼 놓치는 비용이 큰 도메인에서는 재현율이 핵심이 됩니다.

정밀도와 재현율은 서로 줄다리기한다

초보자가 자주 묻는 질문이 있습니다. "그럼 정밀도와 재현율 중에 무엇이 더 중요하죠?" 정답은 문제에 따라 다르다는 것입니다. 더 정확히 말하면, 임계값을 어디에 두느냐에 따라 둘은 서로 영향을 주기 쉽습니다.

예를 들어 스팸 점수를 0에서 1 사이로 예측하는 모델이 있다고 해 봅시다. 0.9 이상일 때만 스팸으로 처리하면 매우 확실한 경우만 잡게 됩니다. 그러면 정밀도는 올라가기 쉽지만, 놓치는 스팸이 많아져 재현율은 떨어질 수 있습니다.

반대로 0.3 이상이면 스팸으로 처리하겠다고 기준을 낮추면 더 많은 스팸을 잡을 수 있습니다. 재현율은 올라가지만, 정상 메일까지 스팸으로 오인할 가능성이 커져 정밀도는 내려갈 수 있습니다.

즉, 모델이 하나의 확률을 내놓고 나면 실제 의사결정은 그다음 단계에서 일어납니다. 그리고 그 의사결정 기준은 서비스의 비용 구조와 연결되어야 합니다.

• 거짓 양성이 더 아프면 정밀도를 더 챙긴다.

• 거짓 음성이 더 아프면 재현율을 더 챙긴다.

• 둘 다 중요하면 균형을 본다.

좋은 모델을 고르는 일은 종종 좋은 알고리즘을 찾는 일보다, 좋은 임계값을 정하는 일에 더 가깝습니다.

F1 점수는 균형을 보고 싶을 때 유용하다

F1 점수는 정밀도와 재현율을 함께 반영하는 지표입니다. 둘 중 하나만 높고 다른 하나가 매우 낮으면 좋은 점수를 받기 어렵습니다. 그래서 정밀도와 재현율 사이의 균형을 보고 싶을 때 자주 씁니다.

이 지표가 유용한 이유는 간단합니다. 어떤 모델은 정밀도만 높고, 어떤 모델은 재현율만 높을 수 있기 때문입니다. F1 점수는 둘을 함께 보면서 "한쪽만 잘하는 모델"을 어느 정도 걸러 줍니다.

예를 들어 고객 문의 중 긴급 이슈를 분류하는 시스템이 있다고 해 봅시다. 긴급하지 않은 티켓을 너무 많이 긴급으로 올려도 운영팀이 지치고, 반대로 진짜 긴급 티켓을 놓쳐도 문제가 됩니다. 이런 경우에는 정밀도와 재현율을 함께 고려하는 것이 자연스럽고, F1 점수가 좋은 출발점이 됩니다.

다만 F1 점수도 만능은 아닙니다. 이 숫자는 정밀도와 재현율을 하나로 묶어 주지만, 어떤 실수가 더 비싼지까지는 말해 주지 못합니다. 예를 들어 의료 문제처럼 놓침이 훨씬 더 위험한 경우라면, 단순히 F1이 높은 모델보다 재현율이 더 높은 모델이 더 낫기도 합니다.

그래서 F1 점수는 "균형 지표"로는 좋지만, 최종 선택에서는 여전히 도메인 비용을 함께 봐야 합니다.

지표는 모델의 성격을 보여 주지만, 임계값은 운영의 성격을 결정한다

분류 모델이 예측 확률을 낸다고 해서 일이 끝나는 것은 아닙니다. 실제 서비스에서는 그 확률을 행동으로 바꾸어야 합니다. 누구를 차단할지, 누구에게 쿠폰을 보낼지, 어떤 알림을 띄울지 결정해야 합니다.

여기서 중요한 사실이 하나 있습니다. 같은 모델이라도 임계값을 어떻게 두느냐에 따라 완전히 다른 서비스가 됩니다.

사기 탐지에서 임계값을 높게 두면 정말 의심스러운 결제만 막게 됩니다. 정밀도는 높아질 가능성이 있지만, 사기를 더 놓칠 수 있습니다. 임계값을 낮추면 더 많은 사기를 잡지만, 정상 결제를 더 많이 건드리게 됩니다. 결국 모델 평가는 알고리즘의 문제가 아니라 운영 정책의 문제까지 끌고 들어옵니다.

그래서 분류 지표를 읽을 때는 숫자 하나보다, 그 숫자가 어떤 임계값에서 나온 것인지 함께 보아야 합니다. 모델이 똑같아도 의사결정 기준이 달라지면 성능 체감은 완전히 달라집니다.

ROC-AUC는 순위의 품질을 보는 지표다

이제 조금 시선을 바꿔 보겠습니다. 지금까지 본 정밀도와 재현율은 대개 어떤 임계값을 정한 뒤에 계산합니다. 그런데 때로는 아직 임계값을 정하지 않았거나, 여러 임계값에서 모델이 얼마나 안정적으로 좋은 순위를 만드는지 보고 싶을 때가 있습니다. 이때 ROC-AUC가 자주 등장합니다.

ROC-AUC를 처음 보면 이름부터 부담스럽습니다. 하지만 핵심 직관은 의외로 단순합니다. 이 지표는 모델이 양성을 음성보다 대체로 더 높은 점수로 올려놓는가를 보는 지표입니다. 즉, 분류 자체보다 순위의 품질에 가깝습니다.

예를 들어 고객 이탈 확률을 예측하는 모델이 있다고 해 봅시다. 마케팅 예산 때문에 상위 위험 고객 10%만 먼저 관리할 수 있다면, 모델이 누가 더 위험한지 순서를 잘 매기는 것이 중요합니다. ROC-AUC는 이런 순위 감각을 평가하는 데 도움을 줍니다.

ROC 곡선은 여러 임계값을 움직여 가며 거짓 양성 비율과 참 양성 비율의 관계를 보는 그림입니다. AUC는 그 곡선 아래 면적입니다. 값이 클수록 전반적으로 양성을 더 위로 올려놓는 경향이 강하다고 볼 수 있습니다.

이 지표의 장점은 특정 임계값 하나에 덜 묶인다는 점입니다. 아직 운영 정책이 완전히 정해지지 않았을 때 모델 자체의 순위 능력을 비교하는 데 유용합니다.

하지만 불균형 데이터에서는 ROC-AUC가 지나치게 낙관적으로 보일 수 있다

ROC-AUC가 유용하다고 해서 모든 문제에 가장 좋은 지표는 아닙니다. 특히 양성이 매우 드문 문제에서는 ROC-AUC가 실제 체감보다 좋아 보일 때가 있습니다.

왜 그럴까요. ROC 곡선은 거짓 양성 비율을 쓰기 때문입니다. 그런데 음성 샘플이 매우 많으면, 거짓 양성이 꽤 생겨도 비율로 보면 작아 보일 수 있습니다. 예를 들어 정상 거래가 엄청나게 많은 사기 탐지 문제에서는, 정상 결제를 조금씩 잘못 잡아도 숫자가 크게 나빠 보이지 않을 수 있습니다.

이 말은 곧 이런 뜻입니다. 모델이 실무에서는 귀찮은 오탐을 많이 만들고 있는데도, ROC-AUC는 꽤 괜찮아 보일 수 있습니다.

그래서 클래스 불균형이 심하고 우리가 양성 클래스에 특히 관심이 있을 때는 PR-AUC를 함께 보는 편이 훨씬 낫습니다.

PR-AUC는 희귀한 양성을 얼마나 잘 건져 올리는지에 더 민감하다

PR-AUC는 Precision-Recall 곡선 아래 면적입니다. 이름 그대로 정밀도와 재현율의 관계를 여러 임계값에서 살펴봅니다. 그래서 양성 클래스를 얼마나 잘 찾아내는지에 더 집중한 지표라고 볼 수 있습니다.

사기 탐지, 의료 위험 예측, 장애 탐지처럼 양성이 드문 문제에서는 PR-AUC가 더 현실적인 감각을 주는 경우가 많습니다. 왜냐하면 이 문제들에서 우리가 진짜 궁금한 것은 "정상 사례를 얼마나 잘 구분했나"보다, "드문 양성을 잡아낼 때 얼마나 믿을 만한가"이기 때문입니다.

예를 들어 이상 탐지 모델이 1만 건 중 50건의 이상만 찾아야 하는 상황이라면, 상위 경고 리스트의 품질이 매우 중요합니다. 현업 담당자는 알림을 다 볼 수 없기 때문입니다. 이럴 때 PR-AUC는 양성 탐지 성능을 더 날카롭게 보여 줍니다.

간단히 정리하면 이렇습니다.

• ROC-AUC는 전반적인 순위 품질을 보는 데 좋다.

• PR-AUC는 불균형 데이터에서 양성 탐지의 질을 보는 데 더 민감하다.

• 양성이 드물고 양성 클래스가 중요할수록 PR-AUC의 가치가 커진다.

중요한 점은 둘 다 "순위"를 보는 지표라는 것입니다. 즉, 특정 임계값에서의 최종 행동보다, 모델이 샘플들을 얼마나 잘 줄 세우는지에 더 가깝습니다.

분류 지표는 결국 실수 비용을 숫자로 번역한 것이다

지표를 외우려 하면 금방 헷갈립니다. 하지만 질문을 바꾸면 훨씬 쉬워집니다.

"이 문제에서 더 싫은 실수는 무엇인가?"

이 질문에 답하면 지표 선택도 따라옵니다. 정상 고객을 잘못 차단하는 것이 더 싫다면 정밀도 쪽이 중요해집니다. 위험 환자를 놓치는 것이 더 싫다면 재현율이 중요해집니다. 두 종류의 실수가 모두 부담스럽다면 F1 점수나 임계값별 정밀도-재현율 균형을 봐야 합니다. 여러 운영 정책을 아직 비교 중이라면 ROC-AUC나 PR-AUC로 순위 품질을 먼저 볼 수 있습니다.

이 감각을 익히면 지표는 더 이상 시험용 정의가 아닙니다. 실수의 가격표가 됩니다.

회귀 문제에서는 오차의 크기를 어떻게 읽어야 할까

분류 문제에서는 맞고 틀림이 비교적 분명합니다. 하지만 회귀 문제는 다릅니다. 집값 예측, 배달 시간 예측, 수요 예측처럼 숫자를 예측하는 문제에서는 "맞았다/틀렸다"보다 얼마나 어긋났는가가 중요합니다.

이때 자주 쓰는 대표 지표가 MAE와 RMSE입니다.

MAE는 평균 절대 오차입니다. 실제값과 예측값의 차이를 절댓값으로 바꾼 뒤 평균한 값입니다. 쉽게 말해 평균적으로 얼마나 빗나갔는가를 같은 단위로 보여 줍니다.

예를 들어 배달 시간 예측 모델의 MAE가 4분이라면, 평균적으로 4분 정도는 틀린다는 뜻입니다. 집값 예측 모델의 MAE가 1,500만 원이라면, 평균 오차 규모를 바로 돈 단위로 이해할 수 있습니다. 그래서 MAE는 직관적이고 설명하기 쉽습니다.

반면 RMSE는 오차를 제곱한 뒤 평균을 내고 다시 제곱근을 취한 값입니다. 계산 과정이 조금 더 복잡해 보이지만 핵심은 분명합니다. 큰 오차에 더 민감하다는 점입니다.

즉, 대부분은 잘 맞히지만 가끔 매우 크게 틀리는 모델이라면 RMSE가 더 나빠질 가능성이 큽니다. 그래서 큰 실패가 특히 위험한 문제에서는 RMSE가 더 의미 있을 수 있습니다.

MAE는 "평균적인 빗나감"을, RMSE는 "큰 실패의 벌점"을 강조한다

둘의 차이는 실제 비즈니스 상황에 대입하면 훨씬 잘 보입니다.

배달 도착 시간 예측을 예로 들어 봅시다. 고객이 대체로 예측 시간과 비슷하게 받는 것이 중요하다면 MAE가 직관적입니다. 평균적으로 몇 분 정도 오차가 나는지를 바로 읽을 수 있으니까요.

하지만 공장 설비 유지보수 비용 예측처럼, 가끔 발생하는 매우 큰 오차가 운영 계획 전체를 흔든다면 RMSE가 더 중요할 수 있습니다. 큰 오차 하나가 인력 배치, 재고 확보, 예산 책정에 연쇄적인 손실을 만들기 때문입니다.

집값 예측도 마찬가지입니다. 보통 수준의 오차를 이해하고 싶다면 MAE가 좋습니다. 하지만 일부 고가 주택에서 예측이 크게 빗나가면 금융 심사나 투자 판단에 큰 문제가 생긴다면 RMSE의 경고를 무시하면 안 됩니다.

같은 모델이라도 MAE는 괜찮고 RMSE는 나쁠 수 있습니다. 이 경우는 대개 "대부분은 무난하지만, 몇몇 사례에서 크게 틀린다"는 뜻입니다. 즉, 평균은 괜찮은데 꼬리가 위험한 모델일 수 있습니다.

회귀 지표를 읽을 때는 단위를 잃지 말아야 한다

회귀 지표의 큰 장점은 많은 경우 원래 문제의 단위로 돌아갈 수 있다는 점입니다. 분 단위 예측이면 분으로, 원 단위 예측이면 원으로 해석할 수 있습니다. 이 점은 비즈니스와 연결할 때 매우 중요합니다.

예를 들어 수요 예측 모델의 MAE가 120개라고 해 봅시다. 이 숫자는 그냥 점수가 아닙니다. 평균적으로 재고를 120개쯤 과소 또는 과대 추정한다는 뜻입니다. 그 차이가 곧 재고 비용, 품절 손실, 창고 운영 비용으로 이어질 수 있습니다.

반대로 RMSE가 큰데 MAE는 상대적으로 작다면, 평소에는 괜찮지만 특정 시점에 오차가 급격히 커진다는 신호일 수 있습니다. 프로모션 기간, 명절 시즌, 장애 발생 직후처럼 특수한 구간에서 모델이 흔들릴 가능성을 떠올려 볼 수 있습니다.

숫자를 숫자로만 보지 말고, 항상 이렇게 바꿔 읽는 습관이 필요합니다.

"이 오차는 실제 운영에서 어떤 비용으로 번역되는가?"

좋은 지표는 모델 성능이 아니라 행동의 품질을 설명해야 한다

실무에서 정말 중요한 것은 지표가 예쁜가가 아닙니다. 그 지표가 우리의 행동을 제대로 안내하는가입니다.

예를 들어 고객 이탈 예측 모델의 AUC가 높다고 해도, 실제 마케팅 캠페인에서 상위 5% 고객에게만 혜택을 줄 수 있다면 우리가 진짜 봐야 할 것은 그 구간의 포착률일 수 있습니다. 스팸 분류 모델의 F1 점수가 좋아도, 중요한 업무 메일이 가끔 스팸함으로 빠진다면 현업은 그 모델을 신뢰하지 않을 수 있습니다. 수요 예측 모델의 RMSE가 조금 낮아졌다고 해도, 재고 비용 절감이나 품절 감소로 이어지지 않으면 개선의 의미가 약합니다.

그래서 머신러닝 지표와 비즈니스 지표는 따로 놀면 안 됩니다. 모델은 결국 제품 안에서 행동으로 이어지기 때문입니다.

좋은 연결 방식은 대체로 다음 순서를 따릅니다.

• 먼저 모델이 어떤 결정을 돕는지 정한다.

• 그 결정에서 더 비싼 실수가 무엇인지 정한다.

• 그 실수 구조를 잘 반영하는 ML 지표를 고른다.

• 마지막으로 그 지표 변화가 매출, 비용, 전환율, 이탈률 같은 비즈니스 숫자와 어떻게 이어지는지 확인한다.

지표를 고르는 일은 평가 단계의 기술 작업처럼 보이지만, 사실은 제품 설계의 일부입니다.

어떤 지표를 골라야 할지 막막할 때의 실전 기준

처음에는 지표가 너무 많아 보여서 오히려 판단이 안 될 수 있습니다. 그럴 때는 문제를 복잡하게 생각하지 말고 아래 기준으로 좁혀 가면 됩니다.

분류 문제라면 먼저 클래스 불균형이 심한지 보아야 합니다. 불균형이 심하다면 정확도는 보조 지표로만 보고, 정밀도·재현율·F1·PR-AUC 쪽을 중심에 두는 편이 안전합니다.

그다음에는 거짓 양성과 거짓 음성 중 어느 쪽이 더 비싼지 물어야 합니다. 잘못 경보를 울리는 비용이 더 크면 정밀도를, 놓치는 비용이 더 크면 재현율을 우선으로 봅니다. 둘 다 함께 중요하면 F1 점수나 정밀도-재현율 곡선을 봅니다.

여러 임계값을 아직 비교 중이고, 모델이 대상을 얼마나 잘 줄 세우는지가 중요하다면 ROC-AUC나 PR-AUC를 봅니다. 이때 양성이 드문 문제일수록 PR-AUC가 더 현실적인 경우가 많습니다.

회귀 문제라면 평균적인 오차를 쉽게 설명하고 싶을 때 MAE가 좋습니다. 반대로 큰 오차가 특히 위험하다면 RMSE를 더 주의 깊게 봐야 합니다. 둘을 함께 보면 모델의 성격이 훨씬 잘 드러납니다.

숫자 하나를 맹신하지 않는 사람이 결국 더 좋은 모델을 만든다

평가 지표를 공부하다 보면 자꾸 "그래서 가장 좋은 지표는 무엇인가요?"라는 질문을 하게 됩니다. 하지만 진짜 답은 늘 같습니다. 문제마다 다르다는 것입니다.

이 말이 대충 들릴 수 있지만, 사실 머신러닝 실무의 핵심이 여기에 담겨 있습니다. 모델은 현실의 불완전한 의사결정을 돕기 위해 존재합니다. 따라서 좋은 지표란 보편적으로 멋진 숫자가 아니라, 내 문제에서 중요한 실수를 가장 잘 드러내는 숫자여야 합니다.

정확도 99%가 쓸모없는 모델을 만들 수도 있습니다. 반대로 정확도는 평범해 보여도, 정밀도와 재현율을 잘 조정해 실제 운영에서는 훨씬 가치 있는 모델을 만들 수도 있습니다. 회귀 문제에서도 평균 오차가 작다는 말만으로는 부족합니다. 큰 실패가 얼마나 위험한지까지 함께 봐야 합니다.

평가 지표는 모델의 성적표가 아닙니다. 그것은 모델이 현실에서 어떤 식으로 실패할지를 미리 보여 주는 지도입니다. 그 지도를 제대로 읽을 수 있어야, 높은 점수에 속지 않고 진짜 쓸모 있는 모델을 고를 수 있습니다.

다음 장에서는 여기서 한 걸음 더 나아가, 왜 어떤 모델은 학습 데이터에서는 좋아 보이는데 새로운 데이터에서는 갑자기 무너지는지 살펴보겠습니다. 결국 좋은 지표를 고르는 일만큼 중요한 것은, 그 지표가 새로운 데이터에서도 유지되는가를 이해하는 일이기 때문입니다.