베이즈 정리_1

들어가며

다음 파트인 분류에 들어가기 전, 베이즈 정리에 대해 알아본다.

수학이라 머리 깨지지만, 그럼에도 시도한다!

 

베이즈 정리는 한마디로 결과를 바탕으로 원인을 추론하는 방법이다.

먼저 베이즈 정리를 구성하는 하위 개념인 결합 확률과 조건부 확률부터 알아본다.

 

 

결합 확률, 조건부 확률

먼저 확률의 본질은 비율이다.

알다시피 비율이란 전체 중에서 어느 정도를 차지하는가 를 숫자로 표현한 것으로, 아래와 같이 나타낸다.

\[
\text{확률}=\dfrac{\text{관심 있는 부분}}{\text{전체}}
\] 결합 확률, 조건부 확률 이 두 가지 개념은 공통적으로 2가지 사건의 관계를 비율로 풀어낸 개념이다.

다만 두 확률의 차이는 무엇을 전체(분모)로 두는가에 있다. 

 

---

결합 확률(Joint Probability)

결합 확률은 전체 확률 공간을 기준으로, 두 사건 A와 B가 동시에 발생할 비율이다.

A와 B가 동시에 발생한다는 뜻은 교집합으로 표현이 가능하고,
수학에서 전체 확률은 1로 표현하고 있기 때문에 다음과 같이 표기된다.

$\dfrac{P(A \cap B)}{\text{전체 확률}} = P(A \cap B)$ 

 

 

---

조건부 확률(Conditional Probability)

조건부 확률은 전체 확률이 아닌 어떤 조건을 만족하는(사건이 발생한) 집합에서 찾는 확률이다.
즉, 사건A가 이미 일어난 상황 안에서 사건B가 일어날 확률이다.

예시로 두 사건 A, B가 존재한다면,
A가 만족할 때, B가 성립하는 확률  혹은 B가 만족할 때, A가 성립하는 확률이다.

따라서, 구해야 하는 확률 공간은 전체가 아닌 하나의 사건이 되기 때문에,
분모가 전체 경우의 수가 아닌 특정 사건이 발생할 확률로 다음과 같이 재정의 된다.

$\dfrac{P(A \cap B)} {\text{특정 사건이 발생할 확률}}$

여기서 특정 사건은 사건 A일 수도 있고, B일 수도 있다.
사건 A를 만족하는 조건에서 사건 B가 발생할 확률은 아래와 같고, 기호 ' | ' 를 사용하여 간략히 표기 가능하다.

$\dfrac{P(A \cap B)}{P(A)} = P(B \mid A)$

 

결합 확률과 차이는 확률 공간(분모)의 차이 뿐이다.

고로, 조건부 확률은 확률을 새로 계산한다기 보다는 확률 공간을 다시 설정하는 것이다.

 

예시

가정

상자 안에 과일이 있고, 우리가 아는 정보는 아래와 같다.

구분	개수
전체 과일	100개
사과	40개
빨간 과일	20개
빨간 사과	10개

결합 확률

"전체 과일 중에 빨간 사과는 얼마나 돼?"

$P(\text{빨간 과일}\cap \text{사과}) = \dfrac{10}{100}$

 

조건부 확률

"사과 중에 빨간 사과는 얼마나 돼?"

$P(\text{빨간 과일}\mid\text{사과}) = \dfrac{10}{40}$

 

정리

결합 확률은 전체 과일을 기준으로 생각했지만, 조건부 확률에서는 이미 발생한 조건(사과) 중에서만 생각한다는 것이다.

그래서 아래와 같이 정리가 가능하다.

 

$\text{결합확률}=P(A \cap B) = \dfrac{\text{빨간 사과}}{\text{전체 과일}}$

 

$\text{조건부확률}= P(A \mid B) = \dfrac{\text{빨간 사과}}{\text{사과}}$

 

조건부 확률의 방향성

여기서 방향성이란 어떤 조건을 기준으로 세우고 확률을 바라볼지에 대한 개념이다.

• 방향 1 : $P(\text{빨강} \mid \text{사과})$
  방향 1의 기준은 사과라는 사건에 고정한다. 즉, 사과를 기준으로 빨간색을 찾는다.
  사과 40개 중 빨간게 10개라면 빨간 사과의 확률은 25%다.
  
  
• 방향 2 : $P(\text{사과} \mid \text{빨강})$
  방향 2의 기준은 빨간 과일이라는 사건에 고정한다.  즉, 빨간과일을 기준으로 사과를 찾는다.
  빨간색과일 20개중 사과가 10개라면 빨간 사과의 확률은 50%다.

빨간색 과일중 사과를 선택하는 것과, 사과중 빨간색을 선택하는 것 모두 결과적으로 빨간 사과를 가리키지만, 확률의 값은 다를 수 있다.

조건부 확률에서는 이처럼 같은 대상을 구하더라도, 방향성(기준)을 어느것에 두느냐에 따라 결과 값이 달라진다라는 것을 알고 있자!

 

조건부 확률과 결합 확률의 연결

하지만 방향이 달라도 변하지 않는 게 있다.

바로 빨간 사과의 그 자체의 개수, 즉 결합된 사건의 실제 비율이다.

이 변하지 않는 값 덕분에 우리는 조건부 확률을 이용하여 결합 확률을 표현할 수 있다.

 

먼저 비율에 대해 다시 생각해보면 비율의 정의는 다음과 같다.

 

$\text{비율}=\dfrac{\text{부분}}{\text{전체}}$

 

해당 식은 각 항에 전체를 곱하여 아래와 같이 표현이 가능하다.

$\text{비율}\times \text{전체}=\text{부분}$

 

해당 과정을 조건부 확률에 적용시켜보자.

 

---

• A를 기준으로 삼은 조건부 확률은 다음과 같다.
  $P(B \mid A)=\dfrac{P(A \cap B)} {P(A)}$
  
  
  이 식을 각 항에 P(A)를 곱하여 분수를 정리하면 아래와 같다.
  $P(B \mid A) \times P(A)=P(A \cap B)$

---

• B를 기준으로 삼은 조건부 확률은 다음과 같다.
  $P(A \mid B)=\dfrac{P(A \cap B)} {P(B)}$
  
  
  이 식을 각 항에 P(A)를 곱하여 분수를 정리하면 아래와 같다.
  $P(A \mid B) \times P(B)=P(A \cap B)$

---

최종적으로 같은 결합 확률 $P(A\cap B)$는 방향을 어디로 두느냐에 따라 두 가지 방식으로 표현이 가능하다.

$P(A \cap B) = P(A \mid B) \times P(B) = P(B \mid A) \times P(A)$

 

베이즈 정리는 이 두 가지 방식으로 표현된 결합 확률이 같다는 사실에서 출발하여,

알고 있는 하나의 조건부 확률을 이용하여, 알지 못하는 조건부 확률을 예측하는 공식이다!

 

글이 길어져 다음 글에 이어서 마무리한다.