행렬의 미분

행렬을 미분하는 데 유용한 규칙들을 정리한다.

행렬미분의 종류
행렬미분의 주요성질

행렬미분의 종류

다음과 같이 다양한 행렬미분이 존재한다.

스칼라를 벡터로 미분
스칼라를 행렬로 미분
벡터를 스칼라로 미분
벡터를 벡터로 미분

스칼라를 벡터로 미분

벡터 $\mathbf{x} \in \mathbb{R}^n$ 와 함수 $y = f(\mathbf{x}) \in \mathbb{R}$ 에 대하여,

$\nabla f \equiv \frac{\partial f}{\partial \mathbf{x}} = \begin{bmatrix} \dfrac{\partial y}{\partial x_1} & \cdots & \dfrac{\partial y}{\partial x_n} \end{bmatrix}^\mathsf{T} \in \mathbb{R}^n$

스칼라를 벡터로 미분한 결과값인 $\nabla f$ 를 Gradient vector (그레디언트 벡터)라고 부른다.

스칼라를 행렬로 미분

행렬 $\mathbf{X} = [x_{ij}] \in \mathbb{R}^{m \times n}$ 와 함수 $y = f(\mathbf{X}) \in \mathbb{R}$ 에 대하여,

$\frac{\partial y}{\partial \mathbf{X}} = \begin{bmatrix} \dfrac{\partial y}{\partial x_{11}} & \cdots & \dfrac{\partial y}{\partial x_{1n}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial y}{\partial x_{m1}} & \cdots & \dfrac{\partial y}{\partial x_{mn}} \end{bmatrix} \in \mathbb{R}^{m \times n}$

벡터를 스칼라로 미분

$x \in \mathbb{R}$ 와 벡터 $\mathbf{y} = [y_1 \cdots y_m]^\mathsf{T}$ $= [f_1(x) \cdots f_m(x)]^\mathsf{T}$ $= \mathbf{f}(x) \in \mathbb{R}^m$ 에 대하여,

$\frac{\partial \mathbf{f}}{\partial x} = \left[ \frac{\partial y_1}{\partial x} \cdots \frac{\partial y_m}{\partial x} \right] \in \mathbb{R}^{1 \times m}$

벡터를 벡터로 미분

벡터 $\mathbf{x} \in \mathbb{R}^n$ 와 벡터 $\mathbf{y} = \mathbf{f}(\mathbf{x}) \in \mathbb{R}^m$ 에 대하여,

$\mathbf{J} \equiv \frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \begin{bmatrix} \dfrac{\partial y_1}{\partial x_1} & \cdots & \dfrac{\partial y_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial y_m}{\partial x_1} & \cdots & \dfrac{\partial y_m}{\partial x_n} \end{bmatrix} \in \mathbb{R}^{m \times n}$

벡터를 벡터로 미분한 결과값인 $\mathbf{J}$ 를 Jacobian matrix (자코비안 행렬)이라고 한다. 특히 $y = f(\mathbf{x}) \in \mathbb{R}$ 가 다변수 실수함수인 경우, $f$ 의 벡터 $\mathbf{x}$ 에 대한 이차도함수 $\mathbf{H} \in \mathbb{R}^{n \times n}$ 를 Hessian matrix (헤시안 행렬)라고 한다.

$\begin{aligned} \mathbf{H} &\equiv \frac{\partial^2 y}{\partial \mathbf{x}^2} = \frac{\partial}{\partial \mathbf{x}} \nabla f = \mathbf{J}(\nabla f) \\\\ &= \begin{bmatrix} \dfrac{\partial^2 y}{\partial x_1^2} & \cdots & \dfrac{\partial^2 y}{\partial x_1 \partial x_n} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial^2 y}{\partial x_n \partial x_1} & \cdots & \dfrac{\partial^2 y}{\partial x_n^2} \end{bmatrix} \end{aligned}$

행렬미분의 주요성질

벡터 $\mathbf{x}, \mathbf{w} \in \mathbb{R}^n$ 와 행렬 $\mathbf{A}, \mathbf{B} \in \mathbb{R}^{n \times n}$ 에 대하여,

$\dfrac{\partial}{\partial \mathbf{x}} \mathbf{w}^\mathsf{T} \mathbf{x} = \dfrac{\partial}{\partial \mathbf{x}} \mathbf{x}^\mathsf{T} \mathbf{w} = \mathbf{w}$
$\dfrac{\partial}{\partial \mathbf{x}} \mathbf{x}^\mathsf{T} \mathbf{A} \mathbf{x} = (\mathbf{A} + \mathbf{A}^\mathsf{T}) ~\mathbf{x}$
$\dfrac{\partial}{\partial \mathbf{A}} \mathbf{x}^\mathsf{T} \mathbf{A} \mathbf{x} = \dfrac{\partial}{\partial \mathbf{A}} \text{tr}(\mathbf{x}^\mathsf{T} \mathbf{A} \mathbf{x}) = \mathbf{x}\mathbf{x}^\mathsf{T}$
$\dfrac{\partial}{\partial \mathbf{A}} \text{tr}(\mathbf{B}\mathbf{A}) = \mathbf{B}^\mathsf{T}$
$\dfrac{\partial}{\partial \mathbf{A}} \log(\det{\mathbf{A}}) = \mathbf{A}^\mathsf{-T}$

Written on February 2nd , 2018 by quanty

Feel free to share!