베르누이 분포와 이항분포

성공과 실패의 두 가지 중 하나로만 나오는 실험을 반복적으로 수행했을 때, 각각의 결과는 베르누이 분포를 따르게 된다. 베르누이 분포를 누적하면 이항분포를 얻게 된다.

베르누이 분포
- 개념
- 주요성질
다변수 베르누이 분포
- 개념
이항분포
- 개념
- 주요성질

베르누이 분포

개념

베르누이 시행: 베르누이 시행(Bernoulli trial)은 결과가 성공 또는 실패의 두 가지 중 하나로만 나오는 실험을 의미한다. 예를들어 동전을 던지는 행위는 베르누이 시행으로 볼 수 있다.

베르누이 시행의 결과를 확률변수 $X$ 로 나타내는 경우 일반적으로 성공을 $X=1$ , 실패를 $X=0$ 이라고 둔다. 불연속적인 두 가지의 경우의 수 밖에 없기 때문에, $X$ 는 이산확률변수(Discrete random variable)가 된다. 특히 $X=1$ 일 확률을 성공확률 $\theta$ 라고 부른다. 이 때 확률변수 $X$ 가 모수 $\theta$ 의 베르누이 분포(Bernoulli distribution)를 따른다고 하고, 다음과 같이 표현한다.

$X \sim \mathbf{Bern} (\theta)$

$\mathbf{Bern} (x; \theta) \equiv \Pr[X=x] = \theta^x (1-\theta)^ {1-x} = \begin{cases} \theta & \text{if} ~ x = 1\\ 1 - \theta & \text{if} ~ x = 0 \end{cases}$

여기서 성공확률 $\theta$ 는 베르누이 분포의 단 하나의 모수(parameter)에 해당하고, $\mathbf{Bern}(x; \theta)$ 는 베르누이 확률밀도함수¹를 의미한다. 정의에 의해 다음을 알 수 있다.

$\Pr[X=1] = \theta$

베르누이 확률변수를 $X = 1$ 또는 $X=-1$ 로 표현할 수도 있다. 다만 이 경우, 베르누이 확률분포는 다음과 같이 다소 복잡하게 묘사된다.

$\mathbf{Bern} (x; \theta) = \theta^{(1+x)/2} (1-\theta)^{(1-x)/2}$

주요성질

$\mathbf{E}[X] = \theta$
$\mathbf{Var} [X] = \theta (1-\theta)$

Proof.

$\mathbf{E}[X] = 1 \cdot \Pr[X=1] + 0 \cdot \Pr[X=0]$ $= 1 \cdot \theta + 0 \cdot (1-\theta) = \theta$
$\mathbf{Var}[X] = \mathbf{E} \left[ (X-\mathbf{E}[X])^2 \right]$ $= (1-\theta)^2 \cdot \theta + (0-\theta)^2 \cdot (1-\theta)$ $= \theta (1-\theta)$

다변수 베르누이 분포

개념

베르누이 시행을 반복적으로 $n$ 번 수행(독립시행² 가정)하면 어떨까? 즉 확률변수 벡터 $\mathbf{X} = (X_1, \cdots, X_n) \in \mathbb{R}^n$ 의 각 요소가 서로 독립이고, 성공확률이 $\boldsymbol{\theta} = (\theta_1, \cdots, \theta_n)$ 인 베르누이 분포를 따른다고 생각해보자. 이 경우 확률변수 $\mathbf{X}$ 는 모수 $\boldsymbol{\theta}$ 의 다변수 베르누이 분포(Multivariate Bernoulli distribution)³를 따른다고 하고, 임의의 샘플 $\mathbf{x} = (x_1, \cdots, x_n)$ 에 대하여 다음과 같이 묘사된다.

$\mathbf{X} = (X_1, \cdots, X_n) \sim \left( \mathbf{Bern}(\theta_1), \cdots, \mathbf{Bern}(\theta_n) \right) \overset{\text{let}}{=} \mathbf{Bern}_n (\boldsymbol{\theta})$

$\mathbf{Bern}_n (\mathbf{x}; \boldsymbol{\theta}) = \prod^n_{i=1} \theta_i^{x_i} (1 - \theta_i)^{1 - x_i}$

위의 확률밀도함수를 유도해보자.

$\begin{aligned} \mathbf{Bern}_n (\mathbf{x};\boldsymbol{\theta}) &= \Pr[\mathbf{X}=\mathbf{x}] \\ &= \Pr[X_1=x_1] \cdots \Pr[X_n=x_n] \\ &= \mathbf{Bern}(x_1; \theta_1) \cdots \mathbf{Bern}(x_n; \theta_n) \\ &= \theta_1^{x_1} (1 - \theta_1)^{1-x_1} \cdots \theta_n^{x_n} (1 - \theta_n)^{1-x_n} \\ &= \prod^n_{i=1} \theta_i^{x_i} (1 - \theta_i)^{1 - x_i} \end{aligned}$

이항분포

개념

성공확률이 $\theta$ 인 베르누이 시행을 $n$ 번 반복해서 수행(독립시행)했을 때의 성공한 총 횟수를 확률변수 $Y$ 라고 하면, 확률변수 $Y$ 는 모수가 $(n, \theta)$ 인 이항분포(Binomial distribution)을 따른다고 하고, 다음과 같이 표현한다.

$Y = \sum_{i=1}^n X_i \sim \mathbf{Bin} (n, \theta)$

$\mathbf{Bin} (y; n,\theta) = \dbinom{n}{y} ~\theta^y (1-\theta)^{n-y}$

여기서 $\binom{n}{y}$ 는 $n$ 개의 샘플 중 $y$ 개를 선택하는 경우⁴의 수를 의미하고, 다음과 같이 계산된다.

$\binom{n}{y} = \frac{n!}{y! (n-y)!}$

위의 확률밀도함수를 베르누이 분포로부터 유도해보자. 베르누이 시행을 통해 임의로 추출한 $n$ 개의 샘플을 $(x_1 \cdots x_n)$ 라고 하자. 어떤 값 $y$ 에 대하여, 이들 샘플로부터 $\sum_i x_i = y$ 가 나올 수 있는 경우의 수는 $\binom{n}{y}$ 이므로,

$\begin{aligned} \mathbf{Bin}(y; n, \theta) &= \Pr[Y=y] \\ &= \Pr \left[ \sum_{i=1}^n X_i = y \right] \\ &= \binom{n}{y} ~\Pr \left[x_1, \cdots, x_n \right] \\ &= \binom{n}{y} \prod^n_{i=1} \Pr[X_i=x_i] \\ &= \binom{n}{y} \prod^n_{i=1} \mathbf{Bern} (x_i; \theta) \\ &= \binom{n}{y} \prod^n_{i=1} \theta^{x_i} (1-\theta)^{1-x_i} \\ &= \binom{n}{y} ~\theta^{y} (1-\theta)^{n-y} \end{aligned}$

참고로 $n=1$ 인 경우의 이항분포는 베르누이 분포와 동일하다.

$\mathbf{Bin}(1, \theta) = \mathbf{Bern}(\theta)$

주요성질

$\mathbf{E}[Y] = n \theta$
$\mathbf{Var}[Y] = n \theta(1-\theta)$

Proof.

$\mathbf{E} [Y] = \mathbf{E} \left[ \sum_i X_i \right]$ $= \sum_i \mathbf{E} [X_i] = n \theta$
$\mathbf{Var} [Y] = \mathbf{Var} \left[ \sum_i X_i \right]$ $= \sum_i \mathbf{Var} [X_i] = n \theta(1-\theta)$

여기서 마지막 줄의 증명은, 독립시행을 가정했기 때문에 가능한 전개이다.

이산확률변수의 확률밀도함수(pdf: probability density function)를 보통 확률질량함수(pmf: probability mass function)라고 한다 ↩
매번 같은 조건에서 어떤 시행을 반복할 때, 각 시행의 결과가 다른 시행의 결과에 영향을 미치지 않는 시행 (independent trials) ↩
다변수 베르누이 분포라는 용어가 실제로 존재하는 지는 명확하지 않다. 확률분포의 개념을 정리하는 과정에서 필자의 필요에 의해 만든 용어임을 알려둔다. ↩
조합(Combination)이라고 하며 ${_n}\mathbf{C}_y$ 로 표기하기도 한다. ↩

Written on February 5th, 2018 by quanty

Feel free to share!

베르누이 분포와 이항분포

베르누이 분포

개념

주요성질

다변수 베르누이 분포

개념

이항분포

개념

주요성질

관련 포스트

조건부 확률과 독립

확률의 이해

MLE