카테고리 분포와 다항분포

카테고리 분포는 베르누이 분포를 확장한 개념이다. 즉 여러 개의 카테고리 중 하나를 선택하는 실험의 결과는 카테고리 분포를 따르게 된다. 카테고리 분포를 누적하면 다항분포를 얻게 된다.

카테고리 분포
- 개념
- 주요성질
다항분포
- 개념
- 주요성질

카테고리 분포

개념

카테고리 시행: 카테고리 시행(Categorical trial)¹은 $k$ 개의 카테고리 중 하나를 선택하는 실험을 의미한다. 예를들어 주사위를 던지는 행위는 $k=6$ 인 카테고리 시행으로 볼 수 있다. 참고로 베르누이 시행은 $k=2$ 인 카테고리 시행으로 해석된다.

주사위를 던지는 카테고리 시행의 결과를 확률변수 $X$ 로 나타내면 아래와 같다.

$\begin{pmatrix} X = 1 \\ X = 2 \\ \vdots \\ X = 6 \end{pmatrix}$

이처럼 카테고리 확률변수는 기본적으로 단변수(즉, 1차원)지만, 이를 $k$ 개의 베르누이 확률분포로 이루어져있는 $k$ 차원 다변수 확률변수 $\mathbf{X} = (X_1, \cdots, X_k)$ 로 이해하면 편리하다. 단 이 경우 $(X_1, \cdots, X_k)$ 중 하나만 1이 되고 나머지는 0이 된다는 제약조건이 붙는다.

$\begin{matrix} X = 1 ~\longrightarrow ~\mathbf{X} = (1, 0, 0, 0, 0, 0) \\ X = 2 ~\longrightarrow ~\mathbf{X} = (0, 1, 0, 0, 0, 0) \\ \vdots \\ X = 6 ~\longrightarrow ~\mathbf{X} = (0, 0, 0, 0, 0, 1) \end{matrix}$

각 카테고리가 선택될 확률, 즉 성공확률을 $\boldsymbol{\theta} = (\theta_1, \cdots, \theta_k)$ 라고 하자. 이때 확률변수 $\mathbf{X}$ 는 모수가 $\boldsymbol{\theta}$ 이고 카테고리가 $k$ 개인 카테고리 분포(Categorical distribution)를 따른다고 한다. 이를 $k$ -클래스 카테고리 분포라고도 하는데, GMM이나 HMM 등 관측불가한 잠재변수가 숨어있는 확률모형에서, 잠재변수의 확률분포를 모델링할 때 많이 사용된다. 베르누이 분포는 $k=2$ 인 카테고리 분포라고 할 수 있다. 카테고리 분포는 다음과 같이 묘사된다.

$\mathbf{X} = (X_1, \cdots, X_k) \sim \left( \mathbf{Bern} (\theta_1), \cdots, \mathbf{Bern} (\theta_k) \right) \overset{\text{let}}{=} \mathbf{Cat} (\boldsymbol{\theta})$

$\mathbf{Cat} (\mathbf{x}; \boldsymbol{\theta}) = \prod^k_{j=1} \theta_j^{x_j}$

여기서 $\mathbf{X}$ 와 $\boldsymbol{\theta}$ 의 각 요소는 아래의 제약조건을 가진다.

$\sum_{j} X_j = 1, ~ X_j \in \lbrace 0, 1 \rbrace ~ \rightarrow$ 즉 카테고리 확률변수 $\mathbf{X}$ 의 각 원소 중 하나만 1이 될 수 있다.
$\sum_{j} \theta_j = 1$

카테고리 분포에서 추출한 샘플 $\mathbf{x} = (x_1, \cdots, x_k)$ 에 대하여, 확률밀도함수 $\mathbf{Cat}(\mathbf{x}; \boldsymbol{\theta})$ 는 다음과 같이 유도된다.

$\begin{aligned} \mathbf{Cat}(\mathbf{x}; \boldsymbol{\theta}) &= \Pr [\mathbf{X}=\mathbf{x} ] = \begin{cases} \theta_1 & \text{if} ~ x_1 = 1 \\ \vdots \\ \theta_k & \text{if} ~ x_k = 1 \end{cases} \\ &= \prod^k_{j=1} \theta_j^{x_j} \end{aligned}$

주요성질

$\mathbf{E} [X_j] = \theta_j$
$\mathbf{Var} [X_j] = \theta_j (1-\theta_j)$

다항분포

개념

성공확률이 $\theta$ 인 베르누이 시행을 $n$ 번 반복했을 때의 성공횟수가 이항분포를 따르는 것처럼, 성공확률이 $\boldsymbol{\theta} = (\theta_1 \cdots \theta_k)$ 인 카테고리 시행을 $n$ 번 반복했을 때의 각 카테고리별 성공횟수는 다항분포(Multinomial distribution)을 따르게 된다.

$\left( \begin{matrix} \small\textsf{베르누이 분포} \\ \big\downarrow \\ \small\textsf{이항 분포} \end{matrix} \right) \approx \left( \begin{matrix} \small\textsf{카테고리 분포} \\ \big\downarrow \\ \small\textsf{다항 분포} \end{matrix} \right)$

예를들어, $k=3$ 및 $n=5$ 인 경우의 각 카테고리별 성공횟수는 아래와 같이 계산되며, 이는 다항분포를 따른다.

$\begin{matrix} (1, 0, 0) \\ (0, 0, 1) \\ (1, 0, 0) \\ (0, 1, 0) \\ (0, 0, 1) \end{matrix} \xrightarrow{\textsf{카테고리별 성공횟수 합산}} (2, 1, 2)$

확률변수 $\mathbf{Y} = (Y_1, \cdots, Y_k) \in \mathbb{R}^k$ 가 모수 $(n, \boldsymbol{\theta})$ 의 다항분포를 따른다고 할 때, 이는 $n$ 개의 카테고리 확률변수 $\mathbf{X}_i \sim \mathbf{Cat}(\boldsymbol{\theta})$ 의 합으로 나타낼 수 있다.

$\mathbf{Y} = \sum_{i=1}^n \mathbf{X}_i \sim \mathbf{Mul}(n, \boldsymbol{\theta})$

$\mathbf{Mul} (\mathbf{y}; n, \boldsymbol{\theta}) = \binom{n}{\mathbf{y}} \prod^k_{j=1} \theta_j^{y_j} = \binom{n}{y_1, \cdots, y_k} \prod^k_{j=1} \theta_j^{y_j}$

다항분포의 확률밀도함수 $\mathbf{Mul} (\mathbf{y}; n, \boldsymbol{\theta})$ 를 카테고리 확률분포로부터 유도해보자. 카테고리 시행을 통해 임의로 얻은 $n$ 개의 샘플을 $(\mathbf{x}_1, \cdots, \mathbf{x}_n)$ 라고 하면, 각각의 샘플은 다음과 같이 나타낼 수 있다.

$\mathbf{x}_i = (x_{i1}, \cdots, x_{ik}) \in \mathbb{R}^k$

카테고리별 성공횟수를 나타내는 값 $\mathbf{y}$ 은 이들 샘플들의 합으로 나타내어진다.

$\sum_{i=1}^n \mathbf{x}_i = \begin{bmatrix} x_{11} \\ \vdots \\ x_{1k} \end{bmatrix} + \cdots + \begin{bmatrix} x_{n1} \\ \vdots \\ x_{nk} \end{bmatrix} = \begin{bmatrix} \sum_i^n x_{i1} \\ \vdots \\ \sum_i^n x_{ik} \end{bmatrix} = \begin{bmatrix} y_{1} \\ \vdots \\ y_{k} \end{bmatrix} = \mathbf{y}$

한편 $n$ 개의 샘플에서 $\mathbf{y}$ 가 나올 경우의 수를 $C(n, \mathbf{y})$ 라고 하면, 이는 각 카테고리 $j$ 에서 $y_j$ 개의 샘플을 고르는 것과 같으므로

$C(n, \mathbf{y}) = \binom{n}{\mathbf{y}} = \binom{n}{y_1, \cdots, y_k} = \frac{n!}{y_1! \cdots y_k!}$

이다. 따라서,

$\begin{aligned} \mathbf{Mul} (\mathbf{y}; n, \boldsymbol{\theta}) &= \Pr \left[ \mathbf{Y}=\mathbf{y} \right] \\ &= \Pr \left[ \sum_{i=1}^n \mathbf{X}_i=\mathbf{y} \right] \\ &= C(n, \mathbf{y}) ~\Pr[\mathbf{x}_1, \cdots, \mathbf{x}_n ] \\ &= C(n, \mathbf{y}) \prod^n_{i=1} \Pr[\mathbf{X}_i=\mathbf{x}_i ] \\ &= C(n, \mathbf{y}) \prod^n_{i=1} \mathbf{Cat} (\mathbf{x}_i; \boldsymbol{\theta}) \\ &= C(n, \mathbf{y}) \prod^n_{i=1} \prod^k_{j=1} \theta_j^{x_{ij}} \\ &= C(n, \mathbf{y}) \prod^k_{j=1} \theta_j^{x_{1j} + \cdots + x_{nj}} \\ &= \binom{n}{\mathbf{y}} \prod^k_{j=1} \theta_j^{y_j} \end{aligned}$

주요성질

$\mathbf{E}[Y_j] = n \theta_j$
$\mathbf{Var}[Y_j] = n \theta_j (1-\theta_j)$

카테고리 시행이라는 용어가 공식적으로 존재하는 지는 확실치 않다. 구글이나 위키피디아 등에서 해당 단어를 찾을 수 없었다. 다만 베르누이 시행에서 베르누이 분포로 연결되는 논리구조를 이 포스트에서 재활용하기 위해, 카테고리 시행이라는 단어을 명시적으로 사용했다. ↩

Written on February 7th, 2018 by quanty

Feel free to share!

카테고리 분포와 다항분포

카테고리 분포

개념

주요성질

다항분포

개념

주요성질

관련 포스트

조건부 확률과 독립

확률의 이해

MLE