混合模型

在統計學中，混合模型（Mixture model）是用於表示母體中子母體的存在的機率模型，換句話說，混合模型表示了測量結果在母體中的機率分布，它是一個由數個子母體之機率分布組成的混合分布。混合模型不要求測量結果供關於各個子母體之機率分布的資訊即可計算測量結果在母體分布中的機率。

高斯混合模型（Gaussian Mixture Model）

對一維的隨機變數$X$的高斯分佈存在以下機率密度函數：

$F_{X}(x)=P_{X}(X\leq x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp {(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}})}$

其中的$\sigma$為$X$的標準差，$\mu$為$X$的期望值。

而當將高斯分佈推廣到$k$維時，根據定義，若$k$維的隨機向量$X=[X_{1},...X_{k}]^{T}$服從多變數的常態分佈，則存在一個對稱半正定的共變異數矩陣$\Sigma$以及期望值向量$\mu =[\mu _{1},...,\mu _{k}]^{T}$滿足$X$的特徵函數。若$\Sigma$為非奇異的，則此分佈可以由以下的機率密度函數描述：

${\displaystyle f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\mathrm {e} ^{-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})},}$$|\Sigma |$為共變異數矩陣的行列式。

而高斯混合模型為單一高斯概率密度函數的延伸，用多個高斯概率密度函數（正態分布曲線）精確地量化變量分布，是將變量分布分解為若干基於高斯概率密度函數（正態分布曲線）分布的統計子模型，每個子模型可視為此混合模型的隱變量。

舉一個不是那麼嚴謹的例子，若是我們手上有一個班級中所有學生某一次考試的各項科目分數分佈，並且每一科的分數都大致依照高斯分佈。則當我們要描述每個學生的總分分佈時，單高斯模型及多維的高斯模型不一定能很好的描述這個分佈，因為每一科的分布的情形都不盡相同，此時我們可以用高斯混合分佈更好的來描述這個問題。