在概率论 中,全变差距离 (英語:total variation distance )是概率测度的一种距离。它也是一种统计距离 度量,有时也称为统计距离 (英語:statistical distance )或变差距离 (英語:variational distance )。
设
F
{\displaystyle {\mathcal {F}}}
是样本空间
Ω
{\displaystyle \Omega }
的一个子集上的σ代数 ,两个概率测度
P
{\displaystyle P}
与
Q
{\displaystyle Q}
在
F
{\displaystyle {\mathcal {F}}}
上的全变差距离定义为[ 1]
δ
(
P
,
Q
)
=
sup
A
∈
F
|
P
(
A
)
−
Q
(
A
)
|
.
{\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}
粗略地说,这是两个概率分布 在同一事件上取值的最大差值。
全变差距离通过Pinsker不等式与Kullback-Leibler散度 相联系:
δ
(
P
,
Q
)
≤
1
2
D
K
L
(
P
∥
Q
)
.
{\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}
当样本空间
Ω
{\displaystyle \Omega }
是可数集的时候,全变差距离与
L
1
{\displaystyle L^{1}}
范数有等式关系[ 2] :
δ
(
P
,
Q
)
=
1
2
‖
P
−
Q
‖
1
=
1
2
∑
ω
∈
Ω
|
P
(
ω
)
−
Q
(
ω
)
|
.
{\displaystyle \delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}
^ Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
^ David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.