베이즈 정리의 근간이 되는 조건부 확률에 대해 알아보고, 사건 사이의 상관관계와 독립의 개념에 대해서도 정리해본다.
한국여자 X, 한국남자 Y, 미국여자 Z가 어떤 회사에 취업면접을 봤다고 생각해보자. 편의를 위해, 국적과 성별을 제외한 다른 모든 조건은 대동소이하고, 세 사람 중 반드시 한 명은 취업이 된다고 가정하면, 한국여자 X가 취업될 확률은 1/3 정도일 것이다. 그런데 갑자기 새로운 정보가 들어왔다. 회사 사정에 의해, 여성 지원자만 선출한다는 사실이 공개된 것이다. 한국여자 X가 취업될 확률은 여전히 1/3 일까? 아닐 것이다. 세 사람의 지원자 중 여자는 두 명 뿐이므로, 아마도 한국여자의 취업확률이 1/2 로 상승했다고 보는 것이 합리적이다. 이처럼, 새로운 정보(사건)를 감안했을 때의 확률을 조건부 확률(Conditional probability)이라고 한다.
구체적으로 살펴보자. 확률공간 과 고정된 사건 에 대하여 이라고 가정하고, 임의의 사건 에 대하여 어떤 함수 를 다음과 같이 정의하자.
는 확률측도일까? 맞다. 증명해보자.
은 자명하고, 이므로 콜모고르프 공리 1과 2는 증명되었다. 가 Countable, pairwise disjoint set 이라면, 역시 Countable, pairwise disjoint set 이므로,
즉 콜모고르프의 세 번째 공리인 -additivity 역시 만족한다. 따라서 는 확률측도가 맞다.
위에서 정의한 확률측도 를 조건부 확률측도라고 하는데, (Notation의 간결성을 위해) 특별한 언급이 없는 한, 조건부 확률측도를 그냥 으로 표기하기로 하겠다. 이제 조건부 확률측도 에 대해서, 를 사건 에 대한 의 조건부 확률이라고 한다.
확률의 이해에서 언급한 확률의 성질들은 임의의 확률측도에 대해 성립하므로, 조건부 확률도 해당 성질들을 모두 만족한다. 이를테면 어떤 임의의 고정된 사건 에 대해서, 조건부 확률은 Complement rule,
을 만족한다. 증명은 생략.
확률의 성질 이외에, 조건부 확률은 다음의 추가적인 성질을 지니고 있다. 사건 에 대하여,
Proof.
1:
2, 3, 4:
조건부 확률을 이용하면, 두 사건 간의 상관관계(Correlation)를 다음과 같이 두 가지로 구분하여 정의할 수 있다.
이처럼 사건 와 가 Positively 또는 Negatively correlated 할 때, 이 두 사건은 서로 Dependent (or Correlated) 하다고 말한다. 조건부 확률이 정의되기 위해서는, 반드시 가 전제되어야 한다. 게다가 사건 가 공집합 또는 표본공간이라면,
이므로, 두 사건 중 어느 하나가 공집합이나 표본공간 자체가 되는 경우 두 사건은 Dependent 하지 않다고 볼 수 있다. 직관적으로 생각해보면 당연한 얘기다.
한편 위의 각 Dependent 조건은 다음과 같은 동치조건들이 존재한다.
Proof. 한 가지 경우만 증명하면, 나머지는 자명하다. Positively correlated 의 경우만 증명해보자.
두 사건 에 대해서 다음의 조건을 만족할 때, 두 사건이 독립 (Independence) 이라고 말한다.
만약 어떤 두 사건이 독립이라면, 이들은 Positively correlated 하지도 않고 Negatively correlated 하지도 않다고 볼 수 있다. 즉 상관관계(Correlation) 측면에서, 독립인 두 사건은 Uncorrelated 라고 해석한다. 간단한 증명과정(위의 상관관계 증명부분 참조)을 통해, 다음의 동치관계를 알 수 있다.
따라서 직관적으로 봤을 때, 한 사건의 발생이 다른 사건의 발생확률에 영향을 주지 않는 경우를 독립이라고 이해할 수 있다.
독립을 좀 더 일반적인 방식으로 표현해보자. 어떤 Countable한 인덱스 집합 에 대하여, Countable한 사건들의 집합을 라고 할 수 있다. 임의의 유한집합 (Finite set) 에 대하여 다음 조건을 만족할 때, 는 독립이라고 정의된다.
독립(Independent)과 Disjoint는 언뜻 비슷해 보일 수 있지만, 사실은 전혀 다른 개념이다. 우선 독립은 두 사건의 확률과 관련된 개념인 반면, Disjoint 는 순전히 집합의 개념이다. 재미있게도, 어떤 확률측도를 쓰는가에 따라 두 사건이 독립일 수도 있고, 독립이 아닐 수도 있다. 예를 들어보자. 어떤 확률측도 과 사건 에 대해서 다음이 성립한다고 가정하면,
확률측도 에 대해서 두 사건은 독립이 아니라고 할 수 있다. 이제 또다른 확률측도 를 다음과 같이 정의해보자.
이 경우 , 이므로,
즉 새롭게 정의한 확률측도 에 대해서 두 사건은 독립이다. (이처럼 조건부 확률측도를 통해 독립인 경우를 “조건부 독립”이라고 부른다. 아래에서 좀 더 자세히 다루겠다) 이렇듯 독립인지 아닌지는 확률측도에 따라 달라질 수도 있지만, Disjoint의 여부는 집합 간의 관계를 통해 명확하게 규명된다.
세 사건 에 대해서 다음의 조건을 만족할 때, 두 사건 가 에 대해 조건부 독립 (Conditional independence) 이라고 말한다.
이를 일반화 시켜보자. 어떤 Countable한 인덱스 집합 에 대해, Countable한 사건들의 집합을 라고 하자. 사건 와 임의의 유한집합 에 대하여 다음 조건을 만족할 때, 는 사건 에 대하여 조건부 독립이 된다.
두 사건 에 대하여,
Proof.
1: 이므로,
2: 이므로,
3:
4: 가 자신에 대해 독립이라는 말은,
이라는 뜻이므로, 이는 또는 과 동치가 된다.
5: 와 가 독립이라면,
즉 와 도 독립이 된다. 다른 것들도 마찬가지 방법으로 증명할 수 있다.
발생확률이 0이 아닌 두 사건 에 대해서 다음이 성립하는데, 이를 Multiplication rule 이라고 한다.
이름이 거창하긴 하지만, 조건부 확률의 정의를 조금 달리 쓴 것에 불과하다.
발생확률이 0이 아닌 사건들 에 대해서,
Proof.
으로 두면, 이므로,
이 식들을 모두 곱해주면,
이므로 증명이 완성된다.
발생확률이 0이 아닌 사건들 및 에 대해서,
Proof.
이므로, 사건이 여러 개인 경우의 Multiplication rule을 이용하면 우측식은 다음과 같이 바뀐다.
여기서 를 이용하면 증명완성.
사건 가 독립일 때는, 독립의 정의에 의해 다음이 자명하게 성립한다. 사건 에 대한 조건부 독립인 경우에도 마찬가지이다.
어떤 사건 에 대하여, 다음 관계식을 전체확률의 법칙 (Law of total probability) 라고 한다. 1
Proof. Partition rule에 의해 쉽게 증명된다.
전체확률의 법칙과 Partition rule은 종종 같은 의미로 쓰이는데, 이 포스트에서는 이 둘을 명시적으로 구분하였다. ↩