高斯分布

单变量高斯分布(univariate Gaussian )

$$
f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)
$$

单高斯分布

$$
N(x ; u, \Sigma)=\frac{1}{\sqrt{2 \pi}|\Sigma|} \exp \left[-\frac{1}{2}(x-u)^{T}\Sigma^{-1} (x-u)\right]
$$

单高斯与单变量高斯的区别在于前者维度为$d$，后者维度为$1$。对于单高斯模型，$\mu$通常代表训练样本的均值，$\Sigma$代表样本的方差。

高斯混合模型（GMM）

$$
\operatorname{Pr}(x)=\Sigma_{k=1}^{K} \pi_{k} N\left(x ; u_{k}, \Sigma_{k}\right)
$$

依据全概率公式，$\pi_{k}$是选中参数$u_{k}$和$\Sigma_{k}$的概率，又称权重因子。EM算法用于优化GMM。