확률과 통계의 수학적 기초

확률은 불확실성을 수로 표현한다

앞선 장들에서는 함수, 벡터, 미분방정식처럼 비교적 명확한 구조를 다루었다. 그러나 현실의 많은 문제는 결과가 미리 정해져 있지 않다. 내일 비가 올지, 어떤 제품이 불량일지, 약을 복용한 환자가 회복될지, 주사위를 던졌을 때 어떤 눈이 나올지는 확실하지 않다.

확률은 이런 불확실성을 수학적으로 다루는 언어다. 어떤 일이 얼마나 일어날 만한지를 0과 1 사이의 수로 나타낸다. 0은 일어날 수 없음을, 1은 반드시 일어남을 뜻한다. 0.5는 단순히 절반이라는 계산값이 아니라, 같은 조건에서 반복했을 때 장기적으로 절반 정도 발생한다고 해석할 수 있다.

확률을 말하려면 먼저 가능한 결과 전체를 정해야 한다. 이것을 표본공간이라 한다. 주사위 한 개를 던지는 실험의 표본공간은 Ω = {1, 2, 3, 4, 5, 6}이다. 이 중 관심 있는 결과들의 모임을 사건이라 한다. 예를 들어 짝수가 나오는 사건은 A = {2, 4, 6}이다.

확률은 사건, 즉 표본공간의 부분집합에 수를 대응시키는 함수로 볼 수 있다. 이때 다음 원칙들을 만족해야 한다.

• 모든 사건 A에 대해 P(A) ≥ 0이다.

• 전체 표본공간은 반드시 일어나므로 P(Ω) = 1이다.

• 서로 겹치지 않는 사건들을 합친 확률은 각 사건의 확률을 더한 값과 같다.

마지막 조건은 간단한 경우에는 P(A ∪ B) = P(A) + P(B)처럼 쓸 수 있다. 단, 이 식은 A와 B가 서로 겹치지 않을 때만 성립한다. 더 엄밀한 확률론에서는 서로 겹치지 않는 사건이 셀 수 있을 만큼 많이 있을 때도 같은 방식으로 확률을 더할 수 있어야 한다고 요구한다. 이 원칙들을 확률의 공리라고 한다. 공리라는 말은 여기서부터 이론을 세우겠다는 출발 규칙이라는 뜻이다. 확률 계산의 많은 공식은 이 원칙들에서 나온다.

예를 들어 공정한 주사위에서 각 눈이 나올 확률이 모두 같다면, 각 결과의 확률은 1/6이다. 짝수가 나올 확률은 {2, 4, 6}의 세 결과를 더한 값이므로 3/6 = 1/2이다. 이 계산은 단순해 보이지만, 핵심은 사건을 집합으로 보고 확률을 그 집합에 붙는 수로 본다는 점이다.

AI 생성 이미지

조건부확률은 정보가 주어진 뒤의 확률이다

확률에서 가장 중요한 변화는 새로운 정보를 얻었을 때 일어난다. 처음에는 주사위 눈이 무엇인지 모르지만, 누군가가 짝수가 나왔다고 알려 주었다고 하자. 그러면 가능한 결과는 더 이상 {1, 2, 3, 4, 5, 6} 전체가 아니라 {2, 4, 6}으로 줄어든다. 이 조건 아래에서 4 이상이 나올 확률은 {4, 6} 두 경우이므로 2/3이다.

이처럼 사건 B가 일어났다는 조건 아래에서 사건 A가 일어날 확률을 조건부확률이라 하고 P(A | B)로 쓴다. 정의는 다음과 같다.

P(A | B) = P(A ∩ B) / P(B) 단, P(B) > 0.

분자 P(A ∩ B)는 A와 B가 동시에 일어날 확률이다. 분모 P(B)는 우리가 이미 알고 있는 조건의 확률이다. 따라서 조건부확률은 전체 세계를 B로 줄인 뒤, 그 안에서 A가 차지하는 비율을 보는 것이라고 이해하면 된다.

조건부확률은 현실적인 판단에서 자주 등장한다. 어떤 사람이 감기 증상을 보인다고 해서 반드시 감기에 걸린 것은 아니다. 하지만 증상이 있다는 정보는 감기에 걸렸을 가능성을 바꾼다. 확률은 고정된 숫자처럼 보일 때도 있지만, 실제 판단에서는 주어진 정보에 따라 다시 계산되어야 할 때가 많다.

독립성과 베이즈 정리

두 사건이 서로 영향을 주지 않을 때 우리는 두 사건이 독립이라고 말한다. 수학적으로는 다음 조건으로 정의한다.

P(A ∩ B) = P(A)P(B)

또는 P(B) > 0일 때 P(A | B) = P(A)라고 말할 수도 있다. 즉 B가 일어났다는 정보를 알아도 A의 확률이 바뀌지 않으면 A와 B는 독립이다.

예를 들어 동전 한 번 던지기와 주사위 한 번 던지기는 보통 독립으로 본다. 동전이 앞면인지 뒷면인지는 주사위 눈에 영향을 주지 않는다. 반면 비가 오는 사건과 우산을 들고 있는 사건은 독립이라고 보기 어렵다. 비가 온다는 정보는 우산을 들고 있을 확률을 크게 바꾼다.

조건부확률의 정의를 변형하면 베이즈 정리가 나온다.

P(A | B) = P(B | A)P(A) / P(B)

이 공식은 정보가 주어졌을 때 믿음을 어떻게 갱신해야 하는지 보여 준다. A를 어떤 원인이나 가설, B를 관찰된 증거라고 생각해 보자. 그러면 P(A)는 증거를 보기 전의 확률이고, P(A | B)는 증거를 본 뒤의 확률이다. 베이즈 정리는 새 정보 B가 들어왔을 때 A의 가능성을 다시 계산하는 방법이다.

간단한 예를 보자. 어떤 병의 유병률이 1%이고, 병에 걸린 사람이 검사에서 양성일 확률이 99%라고 하자. 그런데 병이 없는 사람도 5%는 잘못 양성이 나온다고 하자. 검사 결과가 양성이라도 실제로 병에 걸렸을 확률은 99%가 아니다. 처음부터 병에 걸리지 않은 사람이 훨씬 많기 때문이다.

실제로 10,000명을 생각해 보면 더 분명하다. 병에 걸린 사람은 약 100명이고, 그중 약 99명이 양성으로 나온다. 병이 없는 사람은 약 9,900명이고, 이 중 5%인 약 495명도 양성으로 나온다. 따라서 양성 판정을 받은 사람은 대략 99 + 495 = 594명이고, 그중 실제 환자는 약 99명이다. 실제로 병에 걸렸을 확률은 약 99/594, 즉 약 16.7%가 된다. 베이즈 정리는 검사 정확도뿐 아니라, 병이 얼마나 흔한지도 함께 고려하게 만든다. 이것이 확률적 사고의 중요한 힘이다.

확률변수, 기대값, 분산

확률 실험의 결과는 때로 숫자가 아닐 수도 있다. 동전 결과는 앞면 또는 뒷면이고, 설문 응답은 찬성 또는 반대일 수 있다. 하지만 수학적으로 분석하려면 결과를 숫자로 바꾸는 과정이 필요하다. 이 역할을 하는 것이 확률변수다.

확률변수는 표본공간의 각 결과에 실수를 대응시키는 함수다. 예를 들어 동전을 세 번 던졌을 때 앞면의 개수를 X라고 하면 X는 0, 1, 2, 3 중 하나의 값을 갖는 확률변수다. 중요한 것은 X의 값뿐 아니라 각 값이 어떤 확률로 나타나는지다. 이 정보를 합쳐 분포라고 한다.

분포를 요약하는 대표적인 값이 기대값이다. 기대값은 장기적으로 얻을 평균적인 값이다. 이산확률변수에서는 각 값에 그 값이 나올 확률을 곱해 모두 더한다.

E(X) = Σ x P(X = x)

예를 들어 공정한 주사위를 던질 때 나오는 눈의 기대값은

1·1/6 + 2·1/6 + ... + 6·1/6 = 3.5

이다. 실제 주사위에서 3.5라는 눈은 나오지 않는다. 기대값은 반드시 가능한 결과일 필요가 없다. 그것은 반복했을 때 평균적으로 향하는 중심을 뜻한다.

기대값만으로는 분포를 충분히 알 수 없다. 두 자료의 평균이 같아도 하나는 값들이 평균 근처에 모여 있고, 다른 하나는 크게 흩어져 있을 수 있다. 흩어진 정도를 나타내는 값이 분산이다.

Var(X) = E((X - E(X))²)

분산은 확률변수가 평균에서 얼마나 떨어지는지를 제곱해 평균낸 값이다. 제곱을 하는 이유는 평균보다 큰 차이와 작은 차이가 서로 상쇄되지 않게 하기 위해서다. 분산의 제곱근을 표준편차라고 하며, 원래 자료와 같은 단위를 갖기 때문에 해석하기 쉽다.

이산분포와 연속분포

확률변수는 크게 이산형과 연속형으로 나눌 수 있다. 이산확률변수는 가능한 값이 하나씩 셀 수 있는 경우다. 주사위 눈, 불량품 개수, 하루 방문자 수가 예다. 이때는 각 값에 확률을 직접 붙인다.

대표적인 이산분포에는 다음이 있다.

• 베르누이분포: 성공 또는 실패처럼 결과가 두 가지인 실험을 나타낸다.

• 이항분포: 같은 베르누이 시행을 여러 번 반복했을 때 성공 횟수를 나타낸다.

• 포아송분포: 일정 시간이나 공간 안에서 어떤 사건이 발생한 횟수를 나타낼 때 자주 쓰인다. 보통 발생률이 일정하고 사건들이 서로 독립적으로 일어난다고 볼 수 있을 때 유용하다.

반면 연속확률변수는 키, 무게, 시간, 온도처럼 연속적인 값을 가질 수 있다. 이 경우 한 점에서의 확률은 보통 0이다. 예를 들어 키가 정확히 170.000000...cm일 확률을 말하기는 어렵다. 대신 169cm 이상 171cm 이하일 확률처럼 구간에 대한 확률을 말한다.

연속분포에서는 확률을 밀도함수 아래의 넓이로 계산한다. 한 변수 적분에서 넓이를 누적량으로 해석했던 관점이 여기서 다시 등장한다. 전체 영역의 넓이는 1이고, 특정 구간 아래의 넓이가 그 구간에 속할 확률이다.

대표적인 연속분포에는 균등분포, 정규분포, 지수분포가 있다. 특히 정규분포는 평균을 중심으로 좌우가 대칭인 종 모양 분포다. 측정 오차, 시험 점수, 표본평균의 근사 분포 등 여러 상황에서 나타난다. 모든 자료가 정규분포를 따르는 것은 아니지만, 정규분포는 통계 추론의 기본 모델로 매우 중요하다.

표본에서 모집단을 추정한다

통계는 확률과 방향이 조금 다르다. 확률은 주어진 모델에서 결과의 가능성을 계산한다. 통계는 관찰된 자료를 바탕으로 그 자료를 만들어 낸 전체 구조를 추측한다.

예를 들어 한 도시의 모든 성인의 평균 수면 시간을 알고 싶다고 하자. 모든 사람을 조사하기는 어렵다. 그래서 일부 사람을 뽑아 조사한다. 전체 대상은 모집단, 실제 조사한 일부는 표본이다. 표본의 평균을 표본평균이라 하고, 이것으로 모집단 평균을 추정한다.

표본평균은 하나의 숫자처럼 보이지만, 표본을 어떻게 뽑느냐에 따라 달라지는 확률변수다. 표본이 커질수록 표본평균은 대체로 모집단 평균에 가까워진다. 이것이 큰수의 법칙의 핵심 직관이다. 또한 표본의 크기가 충분히 크면, 많은 경우 표본평균의 분포는 정규분포에 가까워진다. 이것이 중심극한정리의 기본 생각이다.

추정에는 두 가지 방식이 있다. 하나는 점추정이다. 예를 들어 표본평균 6.8시간을 모집단 평균의 추정값으로 제시하는 방식이다. 다른 하나는 구간추정이다. 모집단 평균이 대략 6.5시간에서 7.1시간 사이에 있을 것 같다고 말하는 방식이다. 이때 사용하는 구간이 신뢰구간이다.

신뢰구간은 정답이 반드시 그 안에 있다는 뜻이 아니다. 같은 방법으로 표본을 반복해서 뽑아 구간을 만들면, 그중 일정 비율의 구간이 참값을 포함하도록 설계된 절차다. 예를 들어 95% 신뢰구간은 장기적으로 그런 구간들 중 약 95%가 참값을 포함한다는 의미로 이해해야 한다.

가설검정은 주장과 자료를 비교하는 절차다

통계에서 자주 하는 질문은 어떤 주장이 자료와 잘 맞는가이다. 예를 들어 새 교육법이 평균 점수를 올렸는지, 어떤 약이 기존 약보다 효과가 있는지, 한 공장의 불량률이 기준보다 높은지를 판단하고 싶을 수 있다. 이때 사용하는 기본 절차가 가설검정이다.

가설검정에서는 먼저 기본 입장인 귀무가설을 세운다. 보통 차이가 없다, 효과가 없다, 변화가 없다는 형태다. 그다음 우리가 확인하고 싶은 주장인 대립가설을 세운다. 표본 자료가 귀무가설 아래에서 얼마나 보기 드문지를 계산하고, 그 정도를 바탕으로 귀무가설을 기각할지 판단한다.

여기서 중요한 값이 p값이다. p값은 귀무가설이 맞다고 가정했을 때, 현재 관찰한 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률이다. 이때 "더 극단적"이라는 말은 대립가설의 방향과 검정 방법에 따라 정해진다. p값이 매우 작다면, 귀무가설 아래에서는 이런 자료가 나오기 어렵다고 판단한다. 그래서 귀무가설을 기각하고 대립가설을 지지하는 쪽으로 결론을 낸다.

하지만 가설검정은 참과 거짓을 절대적으로 판정하는 기계가 아니다. 표본에는 우연이 섞여 있다. 실제로 효과가 없는데 효과가 있다고 판단할 수도 있고, 실제로 효과가 있는데 발견하지 못할 수도 있다. 또한 p값이 작다는 말은 귀무가설이 틀릴 가능성이 그 p값만큼이라는 뜻이 아니다. p값은 어디까지나 귀무가설을 기준으로 자료가 얼마나 이례적인지를 나타내는 값이다.

확률과 통계의 핵심은 복잡한 공식을 많이 외우는 데 있지 않다. 먼저 가능한 결과를 정하고, 사건과 확률을 정의하며, 정보가 들어왔을 때 확률을 갱신하고, 자료에서 전체를 추정하는 흐름을 이해하는 데 있다. 이 관점을 갖추면 데이터는 단순한 숫자 모음이 아니라, 불확실한 세계를 읽기 위한 수학적 증거가 된다.