全变差距离

在概率论中，全变差距离（total variation distance）是概率测度的一种距离。它也是一种统计距离度量，有时也称为统计距离（statistical distance）或变差距离（variational distance）。

定义

设 ${\mathcal {F}}$ 是样本空间 $\Omega$ 的一个子集上的σ代数，两个概率测度 $P$ 与 $Q$ 在 ${\mathcal {F}}$ 上的全变差距离定义为

\delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.

粗略地说，这是两个概率分布在同一事件上取值的最大差值。

全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系：

\delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.

当样本空间 $\Omega$ 是可数集的时候，全变差距离与 $L^{1}$ 范数有等式关系：

\delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.