베이즈 통계학이란 무엇인가?

우리 집 강아지는 어떻게 산책 나갈 걸 미리 눈치챌까? — 목줄을 물고 오는 강아지부터 움직이는 주가까지

저녁 산책을 눈치채는 강아지와 가상의 삼성전자 주가 사례로 사전확률, 우도, 사후확률이 어떻게 바뀌는지 살펴봅니다.

우리 집 강아지는 내가 “산책 가자”고 말하기도 전에 목줄을 물고 온다.

내가 목줄을 꺼내서 보여준 것도 아니다. 아직 산책 이야기를 꺼내지 않았는데 먼저 현관 앞으로 가서 기다릴 때가 있다. 어떻게 이렇게 일찍 알아채는 걸까?

생각해보면 우리 집은 주로 저녁을 먹은 뒤 산책을 나간다. 식탁을 치우고 내가 자리에서 일어나는 모습부터 단서가 될 수 있다. 노트북을 닫고, 양말을 신고, 늘 산책할 때 신는 운동화를 꺼내는 모습도 강아지가 봤을지 모른다. 휴대폰과 열쇠를 챙겨 현관 쪽으로 걸어가면 단서는 더 쌓인다.

그렇다고 저녁을 먹은 날마다 산책하는 건 아니다. 운동화를 신더라도 혼자 외출할 수 있다. 어떤 행동 하나만 보고 산책을 확신할 수는 없는데, 강아지는 목줄을 물고 올 만큼 일찍 눈치를 챈다.

강아지에게 물어볼 수 없으니 실제로 어떤 단서를 쓰는지는 모른다. 강아지가 머릿속에서 조건부확률 공식을 계산한다는 뜻도 아니다. 다만 여러 단서를 보고 예상이 바뀌는 상황을 설명할 때 베이즈 추론이라는 틀이 꽤 잘 맞는다.

저녁을 먹고 나면 산책이 더 그럴듯하다

오후 3시에 내가 소파에 앉아 있을 때와 저녁 식사를 막 마쳤을 때를 비교해보자. 양말도 신지 않았고 목줄도 꺼내지 않았지만, 어느 쪽이 산책과 더 가까워 보일까? 아마 저녁 식사를 마친 뒤일 것이다.

잠깐 이 상황을 숫자로 나타내보자. 오후 3시에는 P(곧 산책) = 10%, 저녁 식사 직후에는 P(곧 산책) = 40%라고 놓겠다. 강아지의 생각을 측정한 값이 아니라 설명을 위해 만든 숫자다.

이렇게 다음 단서를 보기 전에 잡아 둔 출발점이 사전확률이다. 여기서 ‘사전’은 아무것도 모르는 상태라는 뜻이 아니다. 이미 알고 있는 시간대와 우리 집의 생활 패턴을 반영하되, 다음 행동을 보기 전이라는 뜻이다.

사전확률을 그저 막연한 선입견이라고 생각할 필요는 없다. 우리 집에서는 저녁을 먹고 산책한 날이 많았다. 그동안의 경험이 오늘 산책을 예상하는 출발점이 될 수 있다. 처음 이 집에 온 강아지라면 아직 그런 패턴을 모르겠지만 말이다.

단서가 하나씩 늘어나면

이제 저녁 식사가 끝났다. 내가 노트북을 닫고, 양말을 신고, 산책용 운동화를 꺼낸다. 단서를 하나씩 더 볼 때마다 산책할 가능성을 다시 매긴다면 아래처럼 그릴 수 있다.

단서가 쌓이면 산책 가능성은 어떻게 바뀔까?
  1. 저녁 식사 직후 · 사전확률
    40%
  2. 노트북을 닫음
    50%
  3. 양말을 신음
    65%
  4. 산책용 운동화
    85%
  5. 현관으로 이동
    95%
  6. 목줄에 손을 뻗음
    99%+

설명을 위해 만든 숫자입니다. 강아지의 판단을 측정한 값은 아니며, 앞서 본 단서까지 함께 고려한 경우를 그렸습니다.

40% → 50% → 65% → 85% → 95% → 99%+는 모두 설명을 위한 가상 값이다. 강아지의 판단을 측정한 것도, 뒤에 나올 조건부확률로 계산한 것도 아니다. 여기서는 숫자보다 단서를 본 순서에 따라 판단을 고친다는 점이 중요하다.

처음 생각에 새 단서를 반영한 결과가 사후확률이다. 우리가 만든 모형에서 노트북을 닫는 모습을 보고 확률을 고쳤다면, 그 값을 바탕으로 다음 단서인 양말을 반영한다. 한 번 구한 사후확률은 다음 단서 앞에서 새로운 사전확률이 된다.

사전확률 → 증거 → 사후확률 → 새 증거 → 새 사후확률 → …

물론 단서를 기계적으로 더하면 안 된다. 양말과 운동화는 대개 이어지는 행동이다. 각각을 완전히 별개의 증거로 세면 같은 정보를 두 번 반영해 확신이 과해질 수 있다. 새 단서가 어떤 뜻인지는 그전에 무엇을 봤는지에 따라 달라진다.

자주 보이는 행동이 좋은 증거일까?

이번에는 내가 휴대폰을 챙기는 모습을 봤다고 해보자. 산책할 때 휴대폰을 챙길 가능성이 95%라면 꽤 좋은 단서 같아 보인다. 그런데 산책하지 않을 때도 90%는 휴대폰을 챙긴다면? 휴대폰은 거의 언제나 들고 다니니 산책 여부를 구별하는 데는 큰 도움이 안 된다.

반대로 산책용 운동화는 산책할 때 90%, 산책하지 않을 때 20% 신는다고 가정해보자.

가상의 신호산책할 때 관찰할 가능성산책하지 않을 때 관찰할 가능성
산책용 운동화90%20%
휴대폰95%90%

표의 숫자도 모두 가상이다. 운동화가 휴대폰보다 나은 단서인 이유는 산책할 때와 그렇지 않을 때의 차이가 훨씬 크기 때문이다. 어떤 행동을 자주 본다는 사실만으로는 부족하다. 산책을 가는 날에 그 행동이 얼마나 더 자주 나타나는지를 봐야 한다.

“곧 산책한다”를 하나의 가설로 두자. P(운동화 | 산책) = 90%는 정말 산책할 때 운동화를 신을 가능성이다. 새 단서가 가설과 얼마나 잘 맞는지 보는 이 값이 우도의 핵심이다. ‘운동화를 봤으니 산책할 확률이 90%’라는 뜻은 아니다.

이제 베이즈 정리를 써보자

지금까지 말로 풀어본 과정을 식으로 쓰면 베이즈 정리가 된다. 처음 생각에 새 단서를 반영해 판단을 바꾸는 방법이다.

처음 생각에서 새 판단까지
사전확률단서를 보기 전의 판단
우도그 설명이 맞다면 이 단서가 얼마나 자주 보일까
사후확률단서를 본 뒤의 판단

실제로 계산할 때는 산책하는 경우와 하지 않는 경우를 모두 고려해야 합니다. 아래 식의 분모가 그 역할을 합니다.

P(A∣B)=P(B∣A)P(A)P(B)P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}

여기서 AA는 “곧 산책한다”, BB는 “산책용 운동화를 신었다”는 뜻이다. P(A)P(A)는 운동화를 보기 전 산책할 가능성이다. P(B∣A)P(B\mid A)는 정말 산책을 간다면 운동화를 신을 가능성이고, P(A∣B)P(A\mid B)는 운동화를 본 뒤 산책할 가능성이다. 분모 P(B)P(B)에는 산책하는 경우와 하지 않는 경우가 모두 들어간다.

숫자로도 한 번 계산해보자. 앞의 단서들을 모두 본 상황이 아니라, 저녁 식사 뒤에 운동화만 새로 본 별도의 가상 상황이다. 사전확률이 40%이고, 산책할 때 운동화를 신을 가능성이 90%, 산책하지 않을 때 신을 가능성이 20%라고 놓자. 분자의 0.36은 0.9 × 0.4, 분모에 더한 0.12는 0.2 × 0.6이다.

P(A∣B)=0.360.36+0.12=0.75.P(A\mid B)=\frac{0.36}{0.36+0.12}=0.75.

운동화를 본 뒤의 값은 75%다. 앞 도식에 나온 85%는 노트북과 양말도 차례로 본 상황이어서 같은 계산 결과가 아니다. 여기서 꼭 구분할 것은 P(운동화 | 산책)과 P(산책 | 운동화)다. 산책할 때 운동화를 자주 신는다고 해서, 운동화를 신을 때마다 산책하는 건 아니다. 저녁 식사 전인지 후인지처럼 처음에 알던 정보도 결과를 바꾼다.

강아지와 삼성전자 사이에 무슨 공통점이 있을까?

이런 식으로 단서에서 보이지 않는 이유를 찾는 일은 우리도 자주 한다. 예를 들어 어느 날 삼성전자 주가가 장중 갑자기 6% 올랐다고 가정해보자. 실제 있었던 일을 가리키는 것은 아니고, 6%도 설명을 위한 가상 수치다.

왜 올랐을까? 삼성전자에만 좋은 소식이 있었을 수도 있다. 반도체 업황에 대한 기대가 바뀌었거나, 금리·환율이 움직였을 수도 있다. 외국인과 기관의 매수, 포지셔닝이나 숏커버링 같은 수급 요인도 생각해볼 수 있다. 주가가 올랐다는 사실만으로는 아직 어느 쪽인지 모른다.

이제 다른 종목을 살펴봤더니 SK하이닉스와 해외 주요 반도체주도 함께 올랐다고 해보자. 삼성전자만의 소식보다 업종 전체에 관한 설명이 조금 더 그럴듯해진다. 반면 금리·환율과 시장 전체에 큰 움직임이 없다면 거시경제 변화가 주된 이유라는 생각은 약해진다. 그런데 뒤이어 삼성전자 관련 새 공시나 제품 소식이 나온다면? 회사 고유의 이유를 다시 눈여겨봐야 한다. 이 단서들도 모두 가상이다. 실제 시장을 분석한다면 소식의 내용과 발표 시각, 이미 예상됐던 일인지까지 확인해야 한다.

가상 상황: 삼성전자 장중 +6%
가능한 설명동종업계 상승거시지표 보합회사 뉴스 확인
삼성전자 자체 호재↓→↑
반도체 업황 기대↑→→
거시경제 변화→↓→
외국인·기관 수급→→→
포지셔닝·기술적 요인→→→

모두 가상의 상황입니다. 화살표는 어느 설명에 무게가 조금 더 실리는지만 보여주며, 실제 원인이나 계산된 확률을 뜻하지 않습니다.

처음 떠올린 이유를 끝까지 붙잡을 필요는 없다. 단서가 더 나오면 설명도 고쳐야 한다. 물론 반도체주가 함께 올랐다고 해서 공통 원인이 증명되는 것은 아니다. 여러 이유가 동시에 작용했을 수도 있다.

두 이야기는 멀어 보이지만 구조가 같다. 운동화를 신는 모습을 보면 산책이 더 그럴듯해지고, 반도체주가 함께 오르면 업종 전체의 변화가 더 그럴듯해진다. 보이지 않는 이유를 눈에 보이는 단서로 짐작하는 것이다.

보이지 않는 원인·가설 → 관찰 가능한 증거 → 믿음의 수정

시장은 믿음을 어떻게 모을까?

주식시장의 가격도 여러 사람의 판단이 모여 만들어진다. 투자자들은 저마다 다른 생각과 정보를 가지고 있다. 같은 공시를 읽어도 쓰는 분석 방법, 감수할 수 있는 위험, 투자 기간이 다르다. 누군가는 사고, 누군가는 팔고, 누군가는 그대로 보유한다. 이들이 새 정보를 보고 생각을 고쳐 가격을 다시 제시하는 과정을 여러 사람의 믿음이 함께 바뀌는 과정으로 볼 수 있다.

서로 다른 믿음이 가격으로 모이는 과정
투자자 A · 처음 생각투자자 B · 가진 정보투자자 C · 분석 방법분석가 D · 투자 기간
새 증거→평가 수정→매수 · 매도 · 보유→시장 가격

가격은 새 정보 외에도 유동성, 거래 제약, 다른 사람을 따라 하는 행동에 영향을 받습니다.

이건 시장을 이해해보려는 비유다. 실제 시장이 베이즈 정리대로만 움직인다는 뜻은 아니다. 사람들이 남을 따라 거래하기도 하고, 레버리지 때문에 팔고 싶지 않은 자산을 팔아야 할 때도 있다. 유동성 제약과 거래비용, 서로 다른 정보, 이미 쌓인 포지션, 가격 변화가 다시 기대를 바꾸는 재귀성, 행동 편향도 가격에 영향을 준다. 그러니 시장 가격을 정확한 사후확률로 읽을 수는 없다. 그래도 새 정보가 사람들의 판단을 바꾸고, 그 판단이 거래를 거쳐 가격에 반영되는 흐름을 보는 데는 유용한 비유다.

이 관점은 주가가 오른 뒤에 “AI 기대감 때문”이라고 하고, 내리면 “차익 실현 때문”이라고 설명하는 습관도 돌아보게 한다. 어느 쪽이든 그럴듯한 말은 만들 수 있다. 그래서 한 번 더 물어야 한다.

  • 정말 AI 기대감이 원인이라면 지금 관찰한 동반 상승과 거래 흐름은 얼마나 자연스러운가?
  • 업황 개선이나 단순 수급만으로도 같은 증거가 나타날 수 있지 않은가?
  • 어떤 새 증거가 나오면 현재의 설명을 바꾸겠는가?

이야기가 그럴듯한지만 볼 게 아니라, 다른 설명과 나란히 놓고 단서를 비교해야 한다.

모르는 숫자 하나를 추정한다면

지금까지는 산책을 갈지, 주가 상승이 업종 전체와 관련 있는지처럼 몇 가지 가능성을 비교했다. 하지만 베이즈 통계학은 ‘어느 쪽일까?’를 고르는 데서 끝나지 않는다. 정확히 알 수 없는 숫자도 다룰 수 있다.

새로 만든 서비스에 방문한 사람 중 실제로 가입하는 비율을 알고 싶다고 해보자. 그 비율을 pp라고 부르겠다. 아직 데이터가 적다면 “정확히 7%”라고 찍기보다 5%일 수도, 8%일 수도 있다는 불확실성을 함께 나타내는 편이 낫다. 가능한 값들에 대한 처음 생각이 사전분포다. 새 방문자가 가입했는지 살펴보면, 각 pp에서 지금 본 데이터가 얼마나 나올 법한지 계산할 수 있다. 이것이 우도다. 둘을 합쳐 새로 얻은 값들의 분포가 pp에 대한 사후분포다.

사전분포 + 관측한 데이터의 우도 → 사후분포

전환율 p에 대한 믿음: 한 점에서 분포로
사전분포데이터 전의 불확실성
우도관측 데이터와의 적합성
사후분포데이터를 본 뒤의 불확실성

모든 곡선은 개념도이며 실제 데이터나 계산 결과가 아닙니다. 세로 높이의 직접 비교도 의도하지 않았습니다.

그래서 “전환율은 정확히 7.3%다”라는 한 숫자 대신 “지금까지 본 데이터와 가정에 비추어 6–9% 부근이 그럴듯하다”처럼 말할 수 있다. 물론 7.3%와 6–9%는 여기서 실제로 계산한 결과가 아니다. 그런 말을 정확히 하려면 모형과 데이터를 정하고 해당 범위의 사후확률을 계산해야 한다. 중요한 것은 모르는 정도까지 함께 표현한다는 점이다. 방문자가 더 쌓이면 이 분포도 다시 고친다.

사전분포는 주관적인 것 아닌가?

그럴 수 있다. 특히 데이터가 적으면 처음에 어떤 분포를 놓느냐에 따라 결과가 달라질 수 있다. 그래서 사전분포를 숨기지 않고 밝힌다. 다른 합리적인 사전분포를 놓아도 결론이 비슷한지 확인하는 민감도 분석도 할 수 있다. 반대로 데이터가 거의 없을 때는 이미 알고 있던 사실을 버리는 것이 꼭 더 객관적인 건 아니다. 데이터가 충분하고 모형도 적절하면 새 데이터의 영향이 커질 수 있다. 그렇다고 사전분포의 영향이 언제나 사라진다고 말할 수는 없다.

처음 우리 집에 온 강아지라면 저녁 식사와 산책의 관계를 배울 기회가 없었을 것이다. 하지만 같은 순서를 여러 번 겪었다면 이야기가 달라진다. 오늘의 예상을 설명하는 모형에는 어제까지의 경험을 담을 수 있다. 우리는 그 출발점을 사전확률이라는 말로 표현한다.

짧게 비교하면, 빈도주의 통계는 모수를 고정된 값으로 놓고 같은 과정을 여러 번 반복할 때 추정 방법이 어떻게 작동하는지 살핀다. 베이지안 통계는 모수에 대한 불확실성을 분포로 나타내고, 데이터가 들어오면 분포를 바꾼다. 어느 쪽이 언제나 낫다는 이야기를 하려는 건 아니다. 이 글에서 붙잡고 싶은 질문은 하나다. 새로운 사실을 알았을 때 생각을 어떻게 고칠까?

목줄을 물고 오는 이유

우리 집 강아지가 무슨 단서를 보고 목줄을 가져오는지 정확히는 모른다. 그래도 저녁을 먹고, 내가 자리에서 일어나 양말을 신고 운동화를 꺼낼 때면 산책이 가까워졌다는 걸 알아채는 듯하다.

새 단서를 볼 때마다 예상도 달라질 수 있다.

우리도 마찬가지다. 처음 떠올린 설명이 마음에 든다고 끝까지 고집할 이유는 없다. 지금까지 아는 것을 출발점으로 삼고, 새로운 사실을 알게 되면 그에 맞춰 고치면 된다.

새로운 정보가 들어오면 믿음도 바뀌어야 한다. 베이즈 통계학은 어쩌면 그 당연한 일을 수학으로 써놓은 것인지도 모른다.

출처 / 데이터 / 코드

참고문헌

  1. Bayes' Theorem — STAT 414 — Penn State Department of Statistics
  2. Bayesian Inference — Lecture Notes 24 — Carnegie Mellon University

Discussion

토론

질문, 정정, 반례, 다른 해석이 있다면 남겨 주세요.