PCA, 즉 주성분 분석은 데이터셋에서 중요한 특징을 추출하는 통계 절차입니다.1 핵심 목적은 복잡한 데이터를 더 적은 차원으로 표현하면서도, 데이터가 가진 주요 변동을 최대한 보존하는 것입니다.
가장 직관적인 예는 2차원 점 집합입니다. 점들이 대각선 방향으로 길게 퍼져 있다면, 전체 점들을 하나의 선으로 꽤 잘 근사할 수 있습니다.1 이때 PCA가 찾는 것은 임의의 선이 아니라, 데이터가 가장 크게 변하는 방향입니다.1
PCA는 기존 축을 고르는 것이 아니라 새 축을 만든다
PCA를 이해할 때 가장 중요한 점은 “변수 하나를 선택하는 방법”이 아니라는 것입니다. PCA는 여러 변수의 조합으로 새로운 좌표계를 만듭니다.
이 새로운 축이 바로 주성분입니다. PCA에서 주성분은 데이터셋의 고유벡터로 표현됩니다.1 각 고유벡터는 데이터가 특정 방향으로 얼마나 뻗어 있는지를 나타내며, 그 크기와 중요도는 대응하는 고유값에 의해 인코딩됩니다.1
고유값은 해당 주성분 방향으로 데이터가 얼마나 변하는지를 보여줍니다.1 따라서 고유값이 큰 주성분일수록 더 많은 변동을 설명합니다. 첫 번째 주성분은 데이터가 가장 크게 퍼진 방향이고, 그다음 주성분은 남은 변동을 설명하는 방향입니다.
또 하나의 중요한 기준점은 중심입니다. PCA에서 고유벡터의 시작점은 데이터셋에 있는 모든 점의 중심입니다.1 즉 PCA는 데이터의 중심을 기준으로, 어느 방향으로 가장 많이 퍼져 있는지를 찾습니다.
차원 축소는 “정보를 버리는 일”이 아니라 “핵심 변동을 남기는 일”
PCA의 대표적인 쓰임은 차원 축소입니다.1 예를 들어 2차원 데이터를 1차원 선으로 표현하면 일부 정보는 사라질 수밖에 없습니다. 하지만 점들이 특정 방향으로 강하게 늘어서 있다면, 그 방향 하나만으로도 데이터의 구조를 상당 부분 설명할 수 있습니다.
그래서 PCA에서 중요한 질문은 “몇 차원으로 줄였는가”가 아닙니다. 더 중요한 질문은 “줄인 뒤에도 데이터의 변동을 얼마나 보존했는가”입니다.
N차원 데이터셋에 PCA를 적용하면 N개의 N차원 고유벡터, N개의 고유값, 그리고 1개의 N차원 중심점이 나옵니다.1 이 중 고유값이 큰 주성분을 우선적으로 사용하면, 원래 데이터의 주요 패턴을 더 적은 차원에서 표현할 수 있습니다.
시각화로 보면 PCA의 판단 기준이 분명해진다
PCA는 수식으로도 설명할 수 있지만, 처음 이해할 때는 시각화가 훨씬 직관적입니다. Numiqo의 PCA 인터랙티브 시각화는 2D 점을 움직이거나 파란 선을 회전시키면서, 해당 선이 설명하는 분산 비율을 보여줍니다.2
이 시각화가 보여주는 핵심은 단순합니다. 선이 데이터가 길게 퍼진 방향과 잘 맞을수록 설명되는 분산이 커집니다. 반대로 데이터의 퍼짐과 어긋난 방향을 선택하면, 같은 1차원 표현이라도 보존되는 정보가 줄어듭니다.
따라서 PCA는 “보기 좋은 선”을 찾는 과정이 아닙니다. 데이터의 변동을 가장 많이 보존하는 방향을 찾는 과정입니다.
PCA를 사용할 때 확인할 것
PCA는 변수 수가 많고, 데이터 안에 선형적인 패턴이 있을 때 특히 유용합니다. 여러 차원의 데이터를 더 낮은 차원으로 줄이면 구조를 시각화하거나 핵심 패턴을 파악하기 쉬워집니다.
다만 PCA는 모든 데이터에 맞는 만능 도구는 아닙니다. PCA가 잘 포착하는 것은 선형적인 구조입니다. 데이터의 관계가 복잡하게 휘어 있거나 비선형 패턴이 강하다면, PCA만으로는 중요한 구조를 충분히 설명하지 못할 수 있습니다.
결론은 간단합니다. PCA를 해석할 때는 축의 개수보다 고유값과 설명되는 분산을 먼저 봐야 합니다. 좋은 PCA 활용은 “얼마나 줄였는가”가 아니라 “무엇을 남겼는가”에서 시작됩니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.