학부/대학원 시절을 거치면서 공부한 여러 수학 분야들 중에 저에게 가장 안 맞는 수학 분야는 확률이었습니다. 측도론 기반의 콜모고로프 확률론으로부터 개념을 정립하고 여기서 확률 과정까지 나아가는 과정은 아무리 수학이 추상체를 구체화하는 학문임을 감안하더라도 꽤나 잘 안 와닿았던 기억이 납니다. 어려웠던 확률 시험을 통과하고 논문에 적힌 복잡한 수식을 이해했더라도 나만의 문제에 맞게 formulation 할 수 있는 단계로 나아가기엔 또 다른 장벽이 존재했습니다. 지금 돌이켜 생각해 보면, 개념/시험/논문 등을 떠나서 근본적인 확률론적 사고가 부족했기 때문이 아닌가 생각합니다. 바로 몬티홀 문제를 접하면서 말이죠.
몬티홀 문제
2008년 개봉한 <21>이라는 영화에서는 MIT 천재들이 수학 (특히 확률)에 기반하여 카지노를 정복하는 과정을 그려내는데, 영화 초반 주인공의 천재성이 나타내는 한 장면이 있습니다.
당신이 한 게임 쇼에 참여하여 세 문 가운데 하나를 고를 기회가 주어졌다고 생각해 봐라. 한 문 뒤에는 자동차가 있으며, 다른 두 문 뒤에는 염소가 있다. 당신은 1번 문을 고르고, 문 뒤에 무엇이 있는지 아는 사회자는 염소가 있는 3번 문을 연다. 그는 당신에게 "2번 문을 고르고 싶습니까?"라고 묻는다. 당신의 선택을 바꾸는 것은 이득이 되는가?
아마 저를 포함한 대부분의 사람은 직관적으로 사회자가 염소를 있는 문을 열어주었으니 2개 중 하나는 분명히 자동차라고 생각할 겁니다. 물론 반반이 아니기 때문에 이런 문제가 나왔겠죠. 여기에서는 참여자가 "먼저 문을 고른 이후에 사회자가 염소가 있는 문을 열었다"라는 조건을 기반으로 생각해야 합니다. 몬티홀 문제는 확률론에서 가장 기초가 되는 조건부확률이 바로 떠올리기 어렵고 확률론적 사고가 어찌 보면 인간의 직관과 대치된다는 가장 극명한 사례일 겁니다.
조건을 기반으로 생각한다면
참여자가 "먼저 문을 고른 이후에 사회자가 염소가 있는 문을 열었다"라는 조건을 기반으로 생각해 본다면 어떨까요? 일단, 참여자가 먼저 고른 문에 염소 혹은 자동차가 있는 경우 2가지 경우가 있겠죠.
- 참여자가 먼저 고른 문에 염소가 있다면 사회자는 나머지 염소가 있는 문을 열 수밖에 없습니다. (자동차가 있는 문을 열 수는 없으니까요) 그러면 선택을 바꾸는 것이 이득입니다.
- 참여자가 먼저 고른 문에 자동차가 있다면 사회자는 염소가 있는 2개의 문 중 하나를 열 것입니다. 그러면 선택을 바꾸지 않는 것이 이득입니다.
우리가 선택을 1/2번 경우 상관없이 무조건 바꾸고 이것이 이득일 확률을 계산해 보면 1번 경우는 참여자가 염소가 있는 문을 고를 확률 $2/3$, 사회자가 염소가 있는 문을 선택할 확률 $1$을 곱해 $2/3$이 되고, 2번 경우는 참여자가 자동차가 있는 문을 고를 확률 $1/3$, 사회자가 염소가 있는 문을 어느 것을 선택한다고 하더라도 선택을 바꾼다면 자동차가 없기에 $0$이 되어, 선택을 바꾸는 것이 이득이 될 확률은 $2/3+0=2/3$이 됩니다. 따라서 몬테홀 문제는 선택을 바꾸는 것이 바꾸지 않는 것보다 이득이 될 확률이 2배가 됩니다.
몬티홀 문제가 시사하는 점은 참여자가 "먼저 문을 고른 이후에 사회자가 염소가 있는 문을 열었다"라는 조건과 이 조건으로 인해 "사회자가 어떤 문을 선택"하는지 달라진다는 것을 직관적으로 생각하기 어렵다는 것입니다. 참여자가 선택을 하고 사회자가 염소를 공개했으니, 참여자가 자동차가 있는 문을 선택할 수도 있다는 사실을 간과하게 되는 것이죠. 만약, 맨 처음부터 정답이 아닌 문을 공개한 상태에서 문 2개를 선택하는 경우는 직관대로 $1/2$일 것입니다.
Bayes 정리
베이즈 정리는 실제 사건 $A$가 일어났을 때, 이것이 어떠한 원인 $B$로 인해 일어날 사후 확률을 구하는 정리로 다음과 같은 유명한 수식이 있습니다.
$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$
예를 들어 검사의 정확도가 90%인 기기로 병 $A$의 양성판정을 ($B$) 받았다고 가정합니다. 그렇다면 이 사람이 실제 병이 있을 확률은 어떻게 될까요? 여기서도 검사의 정확도가 90%라는 것은 병 $A$가 있다는 전제 하에서 90%라는 것으로 $P(B)$가 아니라 $P(B|A)$가 되게 됩니다. 따라서 이 사람이 실제 병이 있을 확률은 $P(A|B)$=$P(B|A)P(A)/P(B)$ 가 되겠죠. $P(B)$는 $P(B)=P(B|A)P(A)+P(B|A^c)P(A^c)$ 로 분해가 가능하니 병이 있을 사전 분포 $P(A)$를 알면 정확한 확률 계산이 가능합니다.
예를 들어 전 세계 인구 중 1% 정도만 이 병을 가지고 있다고 가정하고 ($P(A)=0.01$), 음성판정 정확도를 99%라 하면 ($P(B|A^c)=0.01$), $P(A|B)=(0.9*0.01)/(0.9*0.01 + 0.01*0.99)$는 대략 47.6% 정도가 나옵니다. 만약 음성판정 정확도가 90%로 낮아진다면 $P(A|B)$는 8.3% 정도가 나오게 됩니다. 음성을 양성으로 판단하는 false positive를 낮추는 것이 중요하다는 것을 알 수 있습니다.
몬티홀 문제
다시 몬테홀 문제로 돌아와 베이즈 정리로 몬티홀 문제를 어떻게 접근할 수 있을까요? (나무위키) 먼저 참여자가 고른 문을 $A$, 나머지 문을 $B, C$로 한 후 사회자가 $C$ 문을 여는 사건을 $D$로 정의한다면, 우리가 구하고자 하는 것은 $P(B|D)$ 일 겁니다. 베이즈 정리를 적용하기 위해 다음과 같이 자동차가 각 문 $A, B, C$에 있을 때의 $D$ 확률을 정리할 수 있습니다.
- 만약 자동차가 $A$에 있다면 사회자는 $B, C$ 중 하나의 문을 열겁니다. 2가지 선택지 $B, C$ 중 하나를 선택하므로 $P(D|A)=1/2$가 됩니다.
- 만약 자동차가 $B$에 있다면 사회자는 $C$ 문을 열 수밖에 없습니다. 사회자의 선택이 강제되므로 $P(D|B)=1$이 됩니다.
- 만약 자동차가 $C$에 있다면 사회자는 $B$ 문을 열 수밖에 없습니다. $C$ 문을 열 수가 없으므로 $P(D|C)=0$이 됩니다.
여기서 베이즈 정리를 이용하면 다음과 같습니다. 사전 확률은 $P(A)=P(B)=P(C)=1/3$ 이므로 무시합니다.
- $P(A|D)=P(D|A)/(P(D|A)+P(D|B)+P(D|C))=(1/2)/(1/2+1)=1/3$
- $P(B|D)=P(D|B)/(P(D|A)+P(D|B)+P(D|C))=(1)/(1/2+1)=2/3$
$D$가 일어났을 때, $B$에 자동차가 있을 확률이 2배 높습니다. 즉, 맨 처음 3개 문중 하나의 문을 선택하는 확률은 $1/3$이지만 $D$라는 사건으로 인해 특정한 한 개의 문 뒤에는 염소가 있음을 알게 되었으므로 이 정보를 업데이트해야 한다는 베이즈 논리로도 설명할 수 있습니다.
참조
'Theory > Statistics' 카테고리의 다른 글
Maximum Likelihood Estimation & Maximum A Posteriori (0) | 2021.06.12 |
---|---|
Classification - Logistic Regression (2) (0) | 2021.04.19 |
Classification - Logistic Regression (1) (0) | 2021.04.18 |
Regression - 다항식을 이용한 비선형 회귀 (0) | 2021.04.16 |
Regression - 다중공선성 (Multicollinearity) (0) | 2021.04.15 |