베이즈 룰(bayes rule)

개요

베이즈 룰에 대한 간단한 설명

내가 원래 알던 것 + 새로 알게 된 사실 = 더 정확한 정답

예시

내가 원래 알던 것 (Prior, 사전 확률)
- 핸드폰을 침대위에 두었다.
새로운 증거 (Likelihood, 우도)
- 책상 쪽에서 벨소리가 들린다.
베이지안 업데이트 (Posterior, 사후 확률)
- 침대랑 책상 근처사이 어디를 찾아본다.

배경지식

조건부 확률

아래와 같은 경우의 수에 대한 벤다이어그램 가정
𝓍 : 게임하는 학생의 숫자
𝜃 : 안경쓰는 학생의 숫자

교집합과 조건부 확률

교집합: 게임을하면서 안경도 쓰는 학생의 숫자
- 교집합 ( $P (θ \cap x)$ ): $10 / 100 = 0.1$ (전체 중 10%)
조건부 확률: 원을 제한하는 방법
- 𝓍(게임하는 학생)만 모였을때, 그때 𝜃(안경쓴 학생의 수)
- 도메인을 특정원으로 줄여서, 그 내부에서 생각을 하는 것!!
- 조건부 ( $P (θ | x)$ ): $10 / 40 = 0.25$ (게이머들 중에서만 보면 25%!)
- 제한된 원
- 제한된 원 내부의 확률 (조건부 확률)

비교

구분	교집합 ( $\cap$ )	조건부 확률 ( $\|$ )
비유	전체 파이 중에서 겹친 조각의 크기	특정 조각 안에서 겹친 부분이 차지하는 비율
수식	$P (θ \cap x)$	$\frac{P (θ \cap x)}{P (x)}$
주인공	겹친 부분 그 자체	비중 (Percentage)

조건부 확률의 좋은 접근성

교집합( $\cap$ )은 '신의 영역' (너무 넓음)
교집합을 알려면 모든 세상을 다 전수조사해야함
- 예시: "세상의 모든 사람 중에서, **농구 선수( $θ$ )**이면서 동시에 **키가 190cm 이상( $x$ )**인 사람의 비율은?"
- 농구선수인지, 키가 몇인지 하나하나 다 세어봐야함
조건부( $|$ )는 '전문가의 영역' (설계 가능)
- 예시: "만약 어떤 사람이 **농구 선수( $θ$ )**라면, 그 사람의 키가 **190cm 이상( $x$ )**일 확률은?"
- 도메인을 그만큼 줄여놨기때문에 NBA명단만 훑어보면됨
베이지안도 그래서 조건부 확률 위주로 이루어져있음
- 도메인을 줄였을때 확률

베이지안 룰

증거에 대해 가설의 확률을 구하는것
$θ$ (가설): "이 사람은 농구선수다!"
- 알고 싶은 모집단의 비밀
$x$ (증거): "와, 키가 190cm가 넘네?" (데이터)
- 모집단에 대해 관측한 데이터

증명

$p (x | θ)$ = $\frac{p (θ \cap x)}{p (θ)}$
$p (θ | x)$ = $\frac{p (θ \cap x)}{p (x)}$
$p (θ \cap x)$ 에 대해 정리하면, $p (x | θ) p (θ) = p (θ | x) p (x)$
$p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}$

베이지안 룰의 요소

$p (θ)$ (Prior, 사전 확률): "그냥 농구선수가 얼마나 많지?"
- 증거 (즉, 데이터)로 관측하기 이전에 가설이 이럴 것이다 라고 하는 사전 믿음(확률)
$p (θ | x)$ (Posterior, 사후 확률): "키를 봤으니, 이제 농구선수라고 믿어도 될까?"
- 관측값을 기반으로 알아낸, 가설의 확률 (즉 우리가 최종적으로 구하고 싶은 사후 값)
베이지안룰을 반복적으로 사용해가며 확률을 업데이트한다면, 사후 확률은 그 다음의 사전확률이 되는 식으로 업데이트 되어감

$p (x | θ)$ (Likelihood, 우도, 가설의 정합성): "농구선수라면 키가 클 확률"
- 가설로 부터 관측값의 타당성을 확인해보는 것, 구하기 쉬움
- 사전확률(원래 믿음)에 우도(가설과의 정합성)을 곱하므로, 데이터와 가설의 정합성이 클 수록 사후확률이 높아짐

$p (x)$ (Evidence, 증거 확률): "키 큰 사람이 세상에 얼마나 흔하지?
- 업데이트 관점에서는 상수이므로 중요한 값은 아님