方差:修订间差异
无编辑摘要 |
→离散随机变量: 修正筆誤 |
||
(未显示10个用户的27个中间版本) | |||
第1行: | 第1行: | ||
{{NoteTA |
|||
|G1 = Math |
|||
|T= zh-cn:方差; zh-tw:變異數; zh-hk:方差; |
|||
|1= zh-cn:矩; zh-tw:動差; |
|||
|2= zh-hans:矩阵; zh-hant:矩陣; |
|||
|3= zh-cn:原点矩; zh-tw:原動差; |
|||
|4= zh-cn:中心矩; zh-tw:主動差; |
|||
}} |
|||
{{multiple issues| |
{{multiple issues| |
||
{{expand|time=2015-12-09T12:44:52+00:00}} |
{{expand|time=2015-12-09T12:44:52+00:00}} |
||
{{expert needed|subject=数学|time=2015-12-09T12:44:52+00:00}} |
|||
{{refimprove|time=2015-12-09T12:44:52+00:00}} |
{{refimprove|time=2015-12-09T12:44:52+00:00}} |
||
}} |
}} |
||
{{Otheruses|subject=變異數,又稱方差、變方|變異係數}} |
{{Otheruses|subject=變異數,又稱-{zh-cn: 变异数; zh-hk: 變異數; zh-tw:方差}-、變方|other=變異係數(coefficient of variation)|变异系数}} |
||
{{NoteTA |
|||
|G1 = Math |
|||
|T= zh-cn: 方差; zh-tw: 變異數;zh-hk:方差 |
|||
|1= zh-hans:矩; zh-tw:動差;zh-hant:矩 |
|||
|2= zh-hans:矩阵; zh-tw:矩陣;zh-hant:矩陣 |
|||
|3= zh-cn:原点矩; zh-tw:原動差 |
|||
|4= zh-cn:中心矩; zh-tw:主動差 |
|||
}} |
|||
'''方差'''({{Lang-en|Variance}}),[[應用數學]]裡的專有名詞。在[[概率论]]和[[统计学]]中,一个[[随机变量]]的'''方差'''描述的是它的离散程度,也就是该变量离其[[期望值]]的距离。一个实随机变量的方差也称为它的[[矩 (数学)|二阶矩]]或二階[[主動差]],恰巧也是它的二阶累积量。意即,將各個誤差之平方(而非取絕對值,使之肯定為正數),相加之後再除以總數,透過這樣的方式來算出各個數據分佈、零散(相對中心點)的程度。繼續延伸的話,方差的正[[平方根]]称为该随机变量的'''[[标准差]]'''(此為相對各個數據點間),方差除以[[期望值]]归一化的值叫'''分散指数''',标准差除以[[期望值]]归一化的值叫'''变异系数'''。 |
|||
{{各地漢字名 |
{{各地漢字名 |
||
| 名詞 =Variance |
| 名詞 = Variance |
||
|cn = 方差 |
| cn = 方差 |
||
|hk = 方差 |
| hk = 方差 |
||
|tw =變異數 |
| tw =變異數 |
||
| where= 日本、韓國 |
| where= 日本、韓國 |
||
| other = 分散 |
| other = 分散 |
||
| where2 = 越南 |
| where2 = 越南 |
||
| other2 =分散 |
| other2 =分散({{lang|vt|phương sai}}) |
||
}} |
}} |
||
[[File:Comparison standard deviations.svg|thumb|400px|right|两个来自不同总体的样本的案例,均值相同但方差不同。两者总体均值都是100,红色总体的方差为100([[標準差]]SD=10),而蓝色总体的方差为2500(SD=50)。]] |
|||
'''變異數'''({{Lang-en|variance}})又稱'''-{zh-cn: 变异数; zh-hk: 變異數; zh-tw:方差}-'''<ref>{{Cite web |url=https://terms.naer.edu.tw/detail/919c2a3fb70fb856784236ccca10f5a6/?seq=1 |title=存档副本 |access-date=2023-07-25 |archive-date=2023-07-25 |archive-url=https://web.archive.org/web/20230725114026/https://terms.naer.edu.tw/detail/919c2a3fb70fb856784236ccca10f5a6/?seq=1 |dead-url=no }}</ref>、'''變方'''<ref>{{Cite web |url=https://terms.naer.edu.tw/detail/9cba4781b1f2c1835f24d7061769f4cd/?seq=1 |title=存档副本 |access-date=2023-07-25 |archive-date=2023-07-25 |archive-url=https://web.archive.org/web/20230725114030/https://terms.naer.edu.tw/detail/9cba4781b1f2c1835f24d7061769f4cd/?seq=1 |dead-url=no }}</ref>,在[[概率论]]及[[统计学]]中,描述的是一个[[随机变量]]的离散程度,即一组数字与其平均值之间的距离的度量,是随机变量与其[[总体]]均值或样本均值的[[离差]]的平方的[[期望值]]。方差在统计中有非常核心的地位,其应用领域包括[[描述统计学]]、[[推論統計學]]、[[假說檢定]]、度量[[拟合优度]],以及[[蒙地卡羅方法|蒙特卡洛采样]]。由于科学分析经常涉及统计,方差也是重要的科研工具。方差是[[標準差]]的平方、分布的[[矩 (数学)|二阶矩]],以及随机变量与其自身的[[协方差]],其常用的符号表示有<math>\sigma^2</math>、<math>s^2</math>、<math>\operatorname{Var}(X)</math>、<math>V(X)</math>,以及<math>\mathbb{V}(X)</math>。<ref>{{cite book |last1=Wasserman |first1=Larry |title=All of Statistics: a concise course in statistical inference |date=2005 |publisher=Springer texts in statistics |isbn=9781441923226 |page=51}}</ref> |
|||
方差作为离散度量的优点是,它比其他离散度量(如[[平均差]])更易于代数运算;例如,一组不相关的随机变量和的方差等于它们方差的和。在实际应用中,方差的一个缺点是它与随机变量的单位不同,而[[標準差]]则单位相同,这就是计算完成后通常采用标准差来衡量[[离散程度]]的原因。 |
|||
有两个不同的概念都被称为“方差”。一种如上所述,是理论[[概率分布]]的方差。而另一种方差是一组观测值的特征。观测值通常是从真实世界的系统中测量的。如果给出系统的所有可能的观测,则它们算出的方差称为'''总体方差''';然而,一般情况下我们只使用总体的一个子集(样本),由此计算出的方差称为'''样本方差'''。用样本计算出的方差可认为是对整个总体的方差的估计量。 |
|||
方差的正[[平方根]]称为该随机变量的[[標準差]];方差除以[[期望值]]归一化的值叫分散指数;标准差除以[[平均值]]归一化的值叫[[变异系数]]。 |
|||
== 定义 == |
== 定义 == |
||
设{{Mvar|X}}为服从分布{{Mvar|F}}的[[随机变量]],如果{{Math|''E''[''X'']}}是随机变量{{Mvar|X}}的[[期望值]](均值{{Math|1 = ''μ''=''E''[''X'']}}),则随机变量{{Mvar|X}}或者分布{{Mvar|F}}的方差为{{Mvar|X}}的[[离差]]平方的期望值: |
|||
设X为服从分布F的随机变量, |
|||
如果E[X]是随机变量''X''的[[期望值]](平均數{{nowrap|1 = ''μ''=E[''X'']}})<br/> |
|||
随机变量X或者分布F的'''方差'''为: |
|||
:<math>\operatorname{Var}(X) = \operatorname{E}\left[(X - \mu)^2 \right]</math> |
:<math>\operatorname{Var}(X) = \operatorname{E}\left[(X - \mu)^2 \right]</math> |
||
这个定义涵盖了连续、离散、或两者都有的随机变量。方差亦可當作是随机变量与自己本身的[[共变异数]]: |
|||
这个定义涵盖了连续、离散,或[[康托尔分布|两者皆非]]的随机变量。方差亦可視作随机变量与自身的[[协方差]]: |
|||
:<math>\operatorname{Var}(X) = \operatorname{Cov}(X, X)</math> |
:<math>\operatorname{Var}(X) = \operatorname{Cov}(X, X)</math> |
||
方差典型的标记有Var(''X''), <math>\scriptstyle\sigma_X^2</math>, 或是<math>\sigma^{2}</math>,其表示式可展开成为: |
|||
方差也等价于生成{{Mvar|X}}的概率分布的二阶[[累积量]]。方差的常用的表达有<math>\operatorname{Var}(X)</math>,有时作<math>V(X)</math>或<math>\mathbb{V}(X)</math>,也可写作符号<math>\sigma^2_X</math>或<math>\sigma^2</math>(读作“[[Σ|sigma]]方”)。方差的表达式可展开如下: |
|||
:<math>\operatorname{Var}(X)= \operatorname{E}\left[X^2 - 2X\operatorname{E}[X] + (\operatorname{E}[X])^2\right] = \operatorname{E}\left[X^2\right] - 2\operatorname{E}[X]\operatorname{E}[X] + (\operatorname{E}[X])^2 = \operatorname{E}\left[X^2 \right] - (\operatorname{E}[X])^2</math> |
|||
:<math>\begin{align} |
|||
上述的表示式可记为"平方的期望減掉期望的平方"。 |
|||
\operatorname{Var}(X) &= \operatorname{E}\left[(X - \operatorname{E}[X])^2\right] \\[4pt] |
|||
&= \operatorname{E}\left[X^2 - 2X\operatorname{E}[X] + \operatorname{E}[X]^2\right] \\[4pt] |
|||
&= \operatorname{E}\left[X^2\right] - 2\operatorname{E}[X]\operatorname{E}[X] + \operatorname{E}[X]^2 \\[4pt] |
|||
&= \operatorname{E}\left[X^2 \right] - \operatorname{E}[X]^2 |
|||
\end{align}</math> |
|||
也就是说,{{Mvar|X}}的方差等于{{Mvar|X}}平方的均值减去{{Mvar|X}}均值的平方。该等式不应该用于[[浮点数|浮点]]运算,因为如果等式的两个成分大小相似,将会造成[[灾难性抵消]]。 |
|||
===离散随机变量=== |
===离散随机变量=== |
||
如果随机变量 |
如果随机变量{{Mvar|X}}是具有概率质量函數的[[概率分布|离散随机分布]]{{Math|''x''<sub>1</sub> ↦ ''p''<sub>1</sub>, ..., ''x''<sub>''n''</sub> ↦ ''p''<sub>''n''</sub>}},則: |
||
:<math>\operatorname{Var}(X) = \sum_{i=1}^n p_i\cdot(x_i - \mu)^2 = \sum_{i=1}^n (p_i\cdot x_i^2) - \mu^2</math> |
:<math>\operatorname{Var}(X) = \sum_{i=1}^n p_i\cdot(x_i - \mu)^2 = \sum_{i=1}^n (p_i\cdot x_i^2) - \mu^2</math> |
||
此處<math>\mu</math>是其期望值, 即: |
|||
此處<math>\mu</math>是其期望值,即: |
|||
:<math>\mu = \sum_{i=1}^n p_i\cdot x_i. </math> |
|||
當''X''為有''n''個相等機率值的平均分佈: |
|||
<math>x_i</math> 表示實現值(realized value) |
|||
:<math>\operatorname{Var}(X) = \sigma^{2} =\frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 = \frac{1}{n} \left(\sum_{i=1}^n x_i^2 - n\mu^2 \right) = \frac{ \sum_{ i = 1 }^n x_i^2 }{ n } - \mu^2 |
|||
</math><br/> |
|||
當{{Mvar|X}}為有{{Mvar|n}}個相等機率值的離散型均勻分佈時: |
|||
:<math> |
:<math>\mu = \frac{1}{n}\sum_{i=1}^n x_i, </math> |
||
:<math>\operatorname{Var}(X) = \sigma^{2} =\frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 = \frac{1}{n} \left(\sum_{i=1}^n x_i^2 - n\mu^2 \right) = \frac{ \sum_{ i = 1 }^n x_i^2 }{ n } - \mu^2.</math> |
|||
{{Mvar|n}}個相等機率值的方差亦可以點對點間的方變量表示為: |
|||
:<math> \operatorname{Var}(X) = \frac{1}{n^2} \sum_{i=1}^n \sum_{j=1}^n \frac{1}{2}(x_i - x_j)^2. </math> |
|||
===连续型随机变量=== |
===连续型随机变量=== |
||
如果随机变量 |
如果随机变量{{Mvar|X}}是連續分布,[[機率密度函數]]為{{Math|''f''(''x'')}},相應的[[累积分布函数]]為{{Math|''F''(''x'')}},則其方差為: |
||
:<math>\begin{align} |
|||
:<math>\operatorname{Var}(X) =\sigma^2 =\int (x-\mu)^2 \, f(x) \, dx\, =\int x^2 \, f(x) \, dx\, - \mu^2</math> |
|||
\operatorname{Var}(X) = \sigma^2 &= \int_{\R} (x-\mu)^2 f(x) \, dx \\[4pt] |
|||
此處<math>\mu</math>是一期望值, |
|||
&= \int_{\R} x^2f(x)\,dx -2\mu\int_{\R} xf(x)\,dx + \mu^2\int_{\R} f(x)\,dx \\[4pt] |
|||
:<math>\mu = \int x \, f(x) \, dx\, </math> |
|||
&= \int_{\R} x^2 \,dF(x) - 2 \mu \int_{\R} x \,dF(x) + \mu^2 \int_{\R} \,dF(x) \\[4pt] |
|||
且此處的積分為以''X''為範圍的x[[定積分]](definite integral)<br/> |
|||
&= \int_{\R} x^2 \,dF(x) - 2 \mu \cdot \mu + \mu^2 \cdot 1 \\[4pt] |
|||
如果一個連續分佈不存在期望值,如[[柯西分佈]](Cauchy distribution),也就不會有方差(不予定义)。 |
|||
&= \int_{\R} x^2 \,dF(x) - \mu^2, |
|||
\end{align}</math> |
|||
或等價地: |
|||
:<math>\operatorname{Var}(X) = \int_{\R} x^2 f(x) \,dx - \mu^2 ,</math> |
|||
其中<math>\mu</math>為<math>X</math>的期望值,其計算方法如下: |
|||
:<math>\mu = \int_{\R} x f(x) \, dx = \int_{\R} x \, d F(x). </math> |
|||
這些公式中,<math>dx</math>和<math>dF(x)</math>的積分分別為[[勒貝格積分]]和{{tsl|en|Lebesgue–Stieltjes integration|勒贝格-斯蒂尔吉斯积分}}。 |
|||
若函數<math>x^2f(x)</math>在每個有限區間<math>[a,b]\subset\R</math>都是[[黎曼积分|黎曼可積]]的,則: |
|||
:<math>\operatorname{Var}(X) = \int^{+\infty}_{-\infty} x^2 f(x) \, dx - \mu^2, </math> |
|||
該積分為[[反常積分|非正常黎曼积分]]。 |
|||
=== 常见概率分布 === |
|||
下表列出了一些常用概率分布的方差。 |
|||
{| class="wikitable" |
|||
|- |
|||
! 概率分布类型 |
|||
! 概率分布函数 |
|||
! 均值 |
|||
! 方差 |
|||
|- |
|||
| [[二項式分布]] |
|||
| <math>\Pr\,(X=k) = \binom{n}{k}p^k(1 - p)^{n-k}</math> |
|||
| <math>np</math> |
|||
! <math>np(1 - p)</math> |
|||
|- |
|||
| [[幾何分佈]] |
|||
| <math>\Pr\,(X=k) = (1 - p)^{k-1}p</math> |
|||
| <math>\frac{1}{p}</math> |
|||
! <math>\frac{(1 - p)}{p^2}</math> |
|||
|- |
|||
| [[正态分布]] |
|||
| <math>f\left(x \mid \mu, \sigma^2\right) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}</math> |
|||
| <math>\mu</math> |
|||
! <math>\sigma^2</math> |
|||
|- |
|||
| [[連續型均勻分布]] |
|||
| <math>f(x \mid a, b) = \begin{cases} |
|||
\frac{1}{b - a} & \text{for } a \le x \le b, \\[3pt] |
|||
0 & \text{for } x < a \text{ or } x > b |
|||
\end{cases}</math> |
|||
| <math>\frac{a + b}{2}</math> |
|||
! <math>\frac{(b - a)^2}{12}</math> |
|||
|- |
|||
| [[指数分布]] |
|||
| <math>f(x \mid \lambda) = \lambda e^{-\lambda x}</math> |
|||
| <math>\frac{1}{\lambda}</math> |
|||
! <math>\frac{1}{\lambda^2}</math> |
|||
|- |
|||
| [[卜瓦松分布]] |
|||
| <math>f(k \mid \lambda) = \frac{e^{-\lambda}\lambda^{k}}{k!}</math> |
|||
| <math>\lambda </math> |
|||
! <math>\lambda </math> |
|||
|} |
|||
== 特性 == |
== 特性 == |
||
方差不會是負的,因為 |
方差不會是負的,因為平方運算結果為非負數: |
||
:<math>\operatorname{Var}(X)\ge 0</math> |
:<math>\operatorname{Var}(X)\ge 0</math> |
||
一個常數隨機變數的方差為零。反之,若有限個數組成的資料集方差為零,則其內所有數皆相等。對於一般隨機變數,也有類似結論,即方差為零推出該變數[[幾乎總是]]取同一個值: |
一個常數隨機變數的方差為零。反之,若有限個數組成的資料集方差為零,則其內所有數皆相等。對於一般隨機變數,也有類似結論,即方差為零推出該變數[[幾乎總是]]取同一個值: |
||
第67行: | 第144行: | ||
:<math>\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\, \operatorname{Cov}(X,Y),</math> |
:<math>\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\, \operatorname{Cov}(X,Y),</math> |
||
:<math>\operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)-2\, \operatorname{Cov}(X,Y),</math> |
:<math>\operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)-2\, \operatorname{Cov}(X,Y),</math> |
||
此數Cov(., .)代表[[共變異數]]。<br/> |
|||
此處{{Math|Cov(''X'', ''Y'')}}代表[[共變異數]]。 |
|||
<br/> |
|||
對於<math>N</math>個隨機變數<math>\{X_1,\dots,X_N\}</math>的總和: |
對於<math>N</math>個隨機變數<math>\{X_1,\dots,X_N\}</math>的總和: |
||
:<math>\operatorname{Var}\left(\sum_{i=1}^N X_i\right)=\sum_{i,j=1}^N\operatorname{Cov}(X_i,X_j)=\sum_{i=1}^N\operatorname{Var}(X_i)+\sum_{i\ne j}\operatorname{Cov}(X_i,X_j)</math> |
:<math>\operatorname{Var}\left(\sum_{i=1}^N X_i\right)=\sum_{i,j=1}^N\operatorname{Cov}(X_i,X_j)=\sum_{i=1}^N\operatorname{Var}(X_i)+\sum_{i\ne j}\operatorname{Cov}(X_i,X_j)</math> |
||
在样本空间Ω上存在有限期望和方差的随机变量构成一个[[希尔伯特空间]]:{{Math|''L''<sup>2</sup> (Ω, dP)}},不过这裡的内积和长度跟协方差,标准差还是不大一样。所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间,并且有一个从旧空间内积诱导出来的新内积,而这个内积就是协方差。 |
|||
在样本空间Ω上存在有限期望和方差的随机变量构成一个[[希尔伯特空间]]: |
|||
L<sup>2</sup>(Ω, dP),不过这裡的内积和长度跟协方差,标准差还是不大一样。 |
|||
== 总体方差和样本方差 == |
|||
所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的 |
|||
=== 总体方差 === |
|||
所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间, |
|||
一般而言,一个有限的容量为{{Mvar|N}}、元素的值为{{Mvar|x<sub>i</sub>}}的[[总体]]的'''总体方差'''为: |
|||
并且有一个从旧空间内积诱导出来的新内积,而这个内积就是协方差。 |
|||
: <math>\begin{align} |
|||
\sigma^2 &= \frac{1}{N} \sum_{i=1}^N \left(x_i - \mu\right)^2 = \frac{1}{N} \sum_{i=1}^N \left(x_i^2 - 2\mu x_i + \mu^2 \right) \\[5pt] |
|||
&= \left(\frac 1N \sum_{i=1}^N x_i^2\right) - 2\mu \left(\frac{1}{N} \sum_{i=1}^N x_i\right) + \mu^2 \\[5pt] |
|||
&= \left(\frac{1}{N} \sum_{i=1}^N x_i^2\right) - \mu^2 |
|||
\end{align}</math> |
|||
其中总体均值为: |
|||
: <math>\mu = \frac 1N \sum_{i=1}^N x_i.</math> |
|||
总体方差也可用下式计算: |
|||
:<math>\sigma^2 = \frac {1} {N^2}\sum_{i<j}\left( x_i-x_j \right)^2 = \frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i-x_j \right)^2.</math> |
|||
该式成立,是因为: |
|||
:<math> \begin{align} |
|||
&\frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i - x_j \right)^2 \\[5pt] |
|||
={} &\frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i^2 - 2x_i x_j + x_j^2 \right) \\[5pt] |
|||
={} &\frac{1}{2N} \sum_{j=1}^N\left(\frac{1}{N} \sum_{i=1}^N x_i^2\right) - \left(\frac{1}{N} \sum_{i=1}^N x_i\right)\left(\frac{1}{N} \sum_{j=1}^N x_j\right) + \frac{1}{2N} \sum_{i=1}^N\left(\frac{1}{N} \sum_{j=1}^N x_j^2\right) \\[5pt] |
|||
={} &\frac{1}{2} \left( \sigma^2 + \mu^2 \right) - \mu^2 + \frac{1}{2} \left( \sigma^2 + \mu^2 \right) \\[5pt] |
|||
={} &\sigma^2 |
|||
\end{align}</math> |
|||
总体方差与生成该总体的概率分布的方差相匹配。因此,“总体”的概念可推广到具有无限总体的连续随机变量。 |
|||
=== 样本方差 === |
|||
====有偏样本方差==== |
|||
在许多实际情况下,总体的真实方差无法事先知道,必须以某种方式计算出来。在面对非常大的总体时,不可能计算总体中的每一个元素,因此必须从总体中抽取[[样本]]进行计算。<ref>Navidi, William (2006) ''Statistics for Engineers and Scientists'', McGraw-Hill, pg 14.</ref>样本方差还可以应用于用连续分布的样本来估计该分布的方差。 |
|||
下面我们从总体中[[抽樣|有放回抽取]]{{Mvar|n}}个数值{{Math|''Y''<sub>1</sub>, ..., ''Y''<sub>''n''</sub>}},其中{{Math|''n'' < ''N''}},并用该样本来估计总体的方差。<ref>Montgomery, D. C. and Runger, G. C. (1994) ''Applied statistics and probability for engineers'', page 201. John Wiley & Sons New York</ref>直接使用样本数据的方差,得到的是{{tsl|en|squared deviations|离差平方}}的均值: |
|||
:<math>\sigma_Y^2 = |
|||
\frac{1}{n} \sum_{i=1}^n \left(Y_i - \overline{Y}\right)^2 = \left(\frac 1n \sum_{i=1}^n Y_i^2\right) - \overline{Y}^2 = |
|||
\frac{1}{n^2} \sum_{i,j\,:\,i<j}\left(Y_i - Y_j\right)^2. |
|||
</math> |
|||
此处,<math>\overline{Y}</math>表示{{tsl|en|sample mean|样本均值}}: |
|||
:<math>\overline{Y} = \frac{1}{n} \sum_{i=1}^n Y_i .</math> |
|||
由于{{Mvar|Y<sub>i</sub>}}是随机选取的,<math>\overline{Y}</math>和<math>\sigma_Y^2</math>都是随机变量。它们的期望值可以用从总体中抽取的所有可能的容量为{{Mvar|n}}的{{Math|<nowiki>{</nowiki>''Y''<sub>''i''</sub><nowiki>}</nowiki>}}的样本集合来估计。对于<math>\sigma_Y^2</math>即为: |
|||
:<math>\begin{align} |
|||
\operatorname{E}[\sigma_Y^2] |
|||
&= \operatorname{E}\left[ \frac{1}{n} \sum_{i=1}^n \left(Y_i - \frac{1}{n} \sum_{j=1}^n Y_j \right)^2 \right] \\[5pt] |
|||
&= \frac 1n \sum_{i=1}^n \operatorname{E}\left[ Y_i^2 - \frac{2}{n} Y_i \sum_{j=1}^n Y_j + \frac{1}{n^2} \sum_{j=1}^n Y_j \sum_{k=1}^n Y_k \right] \\[5pt] |
|||
&= \frac 1n \sum_{i=1}^n \left( \frac{n - 2}{n} \operatorname{E}\left[Y_i^2\right] - \frac{2}{n} \sum_{j \neq i} \operatorname{E}\left[Y_i Y_j\right] + \frac{1}{n^2} \sum_{j=1}^n \sum_{k \neq j}^n \operatorname{E}\left[Y_j Y_k\right] +\frac{1}{n^2} \sum_{j=1}^n \operatorname{E}\left[Y_j^2\right] \right) \\[5pt] |
|||
&= \frac 1n \sum_{i=1}^n \left[ \frac{n - 2}{n} \left(\sigma^2 + \mu^2\right) - \frac{2}{n} (n - 1)\mu^2 + \frac{1}{n^2} n(n - 1)\mu^2 + \frac{1}{n} \left(\sigma^2 + \mu^2\right) \right] \\[5pt] |
|||
&= \frac{n - 1}{n} \sigma^2. |
|||
\end{align}</math> |
|||
因此,<math>\sigma_Y^2</math>给出的是总体方差的有偏估计量,偏差为<math>\frac{n - 1}{n}</math>。因此,<math>\sigma_Y^2</math>称为'''有偏样本方差'''。 |
|||
====无偏样本方差==== |
|||
将偏差纠正后,可得到'''无偏样本方差''',记为<math>s^2</math>: |
|||
:<math>s^2 = \frac{n}{n - 1} \sigma_Y^2 = \frac{n}{n - 1} \left[ \frac{1}{n} \sum_{i=1}^n \left(Y_i - \overline{Y}\right)^2 \right] = \frac{1}{n - 1} \sum_{i=1}^n \left(Y_i - \overline{Y} \right)^2</math> |
|||
当语境明确时,两个估计量都可以简称为“样本方差”。同样的证明也适用于取自连续概率分布的样本。 |
|||
其中,对{{Math|''n'' − 1}}的使用称为{{tsl|en|Bessel's correction|贝塞尔校正}},它也用于{{tsl|en|sample covariance|样本协方差}}和[[標準差|样本标准差]](方差的平方根)。平方根是一个[[凹函数]],因此会引入负偏差(根据[[簡森不等式]]),具体取决于分布,因此校正的样本标准差(使用贝塞尔校正)是有偏的。{{tsl|en|unbiased estimation of standard deviation|标准差的无偏估计}}是一个技术上复杂的问题,不过对于正态分布,使用{{Math|''n'' - 1.5}}能得到几乎无偏的估计值。 |
|||
无偏样本方差是函数{{Math|1=''ƒ''(''y''<sub>1</sub>, ''y''<sub>2</sub>) = (''y''<sub>1</sub> − ''y''<sub>2</sub>)<sup>2</sup>/2}}的[[U-统计量]]。 |
|||
== 一般化 == |
== 一般化 == |
||
如果 |
如果{{Mvar|X}}是一个[[向量空间|向量]]其取值范围在實數空间{{Mvar|R<sub>n</sub>}},并且其每个元素都是一个一维随机变量,我们就把{{Mvar|X}}称为[[随机向量]]。随机向量的方差是一维随机变量方差的自然推广,其定义为{{Math|''E''[(''X'' − ''μ'')(''X'' − ''μ'')<sup>T</sup>]}},其中{{Math|1=''μ'' = ''E''(''X'')}},{{Math|''X''<sup>T</sup>}}是{{Mvar|X}}的转置。这个方差是一个非[[正定矩陣|负定]]的[[方块矩阵|方阵]],通常称为[[协方差矩阵]]。 |
||
如果 |
如果{{Mvar|X}}是一个複數随机变量的向量(向量中每個元素均為複數的隨機變數),那么其方差定义则为{{Math|''E''[(''X'' − μ)(''X'' − μ)<sup>*</sup>]}},其中{{Math|''X''<sup>*</sup>}}是{{Mvar|X}}的[[共轭转置]]向量或稱為[[埃尔米特矩阵|埃尔米特向量]]。根据这个定义,變異數为实数。 |
||
== 历史 == |
== 历史 == |
||
「'''方差'''」(variance)这个名词率先由[[羅納德·費雪]]({{lang-en|Ronald Fisher}})在论文《''The Correlation |
「'''方差'''」(variance)这个名词率先由[[羅納德·費雪]]({{lang-en|Ronald Fisher}})在论文《{{lang|en|''The Correlation between Relatives on the Supposition of Mendelian Inheritance''}}》<ref>[[羅納德·費雪|Ronald Fisher]](1918)[http://digital.library.adelaide.edu.au/dspace/bitstream/2440/15097/1/9.pdf The correlation between relatives on the supposition of Mendelian Inheritance] {{Wayback|url=http://digital.library.adelaide.edu.au/dspace/bitstream/2440/15097/1/9.pdf |date=20130603191248 }}</ref>中提出。 |
||
后来方差逐渐衍生出了「半方差」(semivariance)、「亚方差」(hypo variance)、「超方差」(super variance)、「{{Link-en|圆方差|circular variance}}」(circular variance)与「倒方差」(inverse variance)等概念。 |
|||
== 参考文献 == |
|||
{{Reflist}} |
|||
==半方差== |
|||
半方差的計算方式與方差類似,但是只包括了低於均值的觀測值: |
|||
: <math>\text{Semivariance} = {1\over{n}}\sum_{i:x_{i} < \mu}(x_{i}-\mu)^{2}</math> |
|||
半方差在不同应用领域也被用作特殊的量度。对于偏态分布,半方差能提供方差所不能提供的额外信息。<ref>{{Cite web|url=https://famafrench.dimensional.com/questions-answers/qa-semi-variance-a-better-risk-measure.aspx|title=Q&A: Semi-Variance: A Better Risk Measure?|last=Fama|first=Eugene F.|last2=French|first2=Kenneth R.|date=2010-04-21|website=Fama/French Forum|access-date=2022-06-10|archive-date=2021-07-25|archive-url=https://web.archive.org/web/20210725225724/https://famafrench.dimensional.com/questions-answers/qa-semi-variance-a-better-risk-measure.aspx}}</ref> |
|||
== 参见 == |
== 参见 == |
||
* [[方差分析]] |
|||
* [[标准差]] |
* [[标准差]] |
||
* [[标准离差率]] |
* [[标准离差率]] |
||
* [[变异系数]] |
|||
* [[异方差]] |
|||
* [[最小平方頻譜分析法]] |
|||
* [[离散程度]] |
|||
* {{tsl|en|Variance-stabilizing transformation|方差稳定化变换}} |
|||
=== 方差类型 === |
|||
* [[相关 (概率论)]] |
|||
* [[可解释变异]] |
|||
* [[合并方差]] |
|||
* {{tsl|en|Pseudo-variance|伪方差}} |
|||
== 参考文献 == |
|||
{{Reflist}} |
|||
{{-}} |
{{-}} |
||
第99行: | 第260行: | ||
{{Authority control}} |
{{Authority control}} |
||
[[Category:统计学]] |
[[Category:统计学]] |
||
[[Category:统计偏差和离散度]] |
2024年3月2日 (六) 06:33的最新版本
「Variance」的各地常用名稱 | |
---|---|
中国大陸 | 方差 |
臺灣 | 變異數 |
港澳 | 方差 |
日本、韓國 | 分散 |
越南 | 分散(phương sai) |
變異數(英語:variance)又稱变异数[1]、變方[2],在概率论及统计学中,描述的是一个随机变量的离散程度,即一组数字与其平均值之间的距离的度量,是随机变量与其总体均值或样本均值的离差的平方的期望值。方差在统计中有非常核心的地位,其应用领域包括描述统计学、推論統計學、假說檢定、度量拟合优度,以及蒙特卡洛采样。由于科学分析经常涉及统计,方差也是重要的科研工具。方差是標準差的平方、分布的二阶矩,以及随机变量与其自身的协方差,其常用的符号表示有、、、,以及。[3]
方差作为离散度量的优点是,它比其他离散度量(如平均差)更易于代数运算;例如,一组不相关的随机变量和的方差等于它们方差的和。在实际应用中,方差的一个缺点是它与随机变量的单位不同,而標準差则单位相同,这就是计算完成后通常采用标准差来衡量离散程度的原因。
有两个不同的概念都被称为“方差”。一种如上所述,是理论概率分布的方差。而另一种方差是一组观测值的特征。观测值通常是从真实世界的系统中测量的。如果给出系统的所有可能的观测,则它们算出的方差称为总体方差;然而,一般情况下我们只使用总体的一个子集(样本),由此计算出的方差称为样本方差。用样本计算出的方差可认为是对整个总体的方差的估计量。
方差的正平方根称为该随机变量的標準差;方差除以期望值归一化的值叫分散指数;标准差除以平均值归一化的值叫变异系数。
定义
[编辑]设X为服从分布F的随机变量,如果E[X]是随机变量X的期望值(均值μ=E[X]),则随机变量X或者分布F的方差为X的离差平方的期望值:
这个定义涵盖了连续、离散,或两者皆非的随机变量。方差亦可視作随机变量与自身的协方差:
方差也等价于生成X的概率分布的二阶累积量。方差的常用的表达有,有时作或,也可写作符号或(读作“sigma方”)。方差的表达式可展开如下:
也就是说,X的方差等于X平方的均值减去X均值的平方。该等式不应该用于浮点运算,因为如果等式的两个成分大小相似,将会造成灾难性抵消。
离散随机变量
[编辑]如果随机变量X是具有概率质量函數的离散随机分布x1 ↦ p1, ..., xn ↦ pn,則:
此處是其期望值,即:
表示實現值(realized value)
當X為有n個相等機率值的離散型均勻分佈時:
n個相等機率值的方差亦可以點對點間的方變量表示為:
连续型随机变量
[编辑]如果随机变量X是連續分布,機率密度函數為f(x),相應的累积分布函数為F(x),則其方差為:
或等價地:
其中為的期望值,其計算方法如下:
這些公式中,和的積分分別為勒貝格積分和勒贝格-斯蒂尔吉斯积分。
若函數在每個有限區間都是黎曼可積的,則:
該積分為非正常黎曼积分。
常见概率分布
[编辑]下表列出了一些常用概率分布的方差。
概率分布类型 | 概率分布函数 | 均值 | 方差 |
---|---|---|---|
二項式分布 | |||
幾何分佈 | |||
正态分布 | |||
連續型均勻分布 | |||
指数分布 | |||
卜瓦松分布 |
特性
[编辑]方差不會是負的,因為平方運算結果為非負數:
一個常數隨機變數的方差為零。反之,若有限個數組成的資料集方差為零,則其內所有數皆相等。對於一般隨機變數,也有類似結論,即方差為零推出該變數幾乎總是取同一個值:
方差不變於定位參數的變動。也就是說,如果一個常數被加至一個數列中的所有變數值,此數列的方差不會改變:
如果所有數值被放大一個常數倍,方差會放大此常數的平方倍:
兩個隨機變數合的方差為:
此處Cov(X, Y)代表共變異數。
對於個隨機變數的總和:
在样本空间Ω上存在有限期望和方差的随机变量构成一个希尔伯特空间:L2 (Ω, dP),不过这裡的内积和长度跟协方差,标准差还是不大一样。所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间,并且有一个从旧空间内积诱导出来的新内积,而这个内积就是协方差。
总体方差和样本方差
[编辑]总体方差
[编辑]一般而言,一个有限的容量为N、元素的值为xi的总体的总体方差为:
其中总体均值为:
总体方差也可用下式计算:
该式成立,是因为:
总体方差与生成该总体的概率分布的方差相匹配。因此,“总体”的概念可推广到具有无限总体的连续随机变量。
样本方差
[编辑]有偏样本方差
[编辑]在许多实际情况下,总体的真实方差无法事先知道,必须以某种方式计算出来。在面对非常大的总体时,不可能计算总体中的每一个元素,因此必须从总体中抽取样本进行计算。[4]样本方差还可以应用于用连续分布的样本来估计该分布的方差。
下面我们从总体中有放回抽取n个数值Y1, ..., Yn,其中n < N,并用该样本来估计总体的方差。[5]直接使用样本数据的方差,得到的是离差平方的均值:
此处,表示样本均值:
由于Yi是随机选取的,和都是随机变量。它们的期望值可以用从总体中抽取的所有可能的容量为n的{Yi}的样本集合来估计。对于即为:
因此,给出的是总体方差的有偏估计量,偏差为。因此,称为有偏样本方差。
无偏样本方差
[编辑]将偏差纠正后,可得到无偏样本方差,记为:
当语境明确时,两个估计量都可以简称为“样本方差”。同样的证明也适用于取自连续概率分布的样本。
其中,对n − 1的使用称为贝塞尔校正,它也用于样本协方差和样本标准差(方差的平方根)。平方根是一个凹函数,因此会引入负偏差(根据簡森不等式),具体取决于分布,因此校正的样本标准差(使用贝塞尔校正)是有偏的。标准差的无偏估计是一个技术上复杂的问题,不过对于正态分布,使用n - 1.5能得到几乎无偏的估计值。
无偏样本方差是函数ƒ(y1, y2) = (y1 − y2)2/2的U-统计量。
一般化
[编辑]如果X是一个向量其取值范围在實數空间Rn,并且其每个元素都是一个一维随机变量,我们就把X称为随机向量。随机向量的方差是一维随机变量方差的自然推广,其定义为E[(X − μ)(X − μ)T],其中μ = E(X),XT是X的转置。这个方差是一个非负定的方阵,通常称为协方差矩阵。
如果X是一个複數随机变量的向量(向量中每個元素均為複數的隨機變數),那么其方差定义则为E[(X − μ)(X − μ)*],其中X*是X的共轭转置向量或稱為埃尔米特向量。根据这个定义,變異數为实数。
历史
[编辑]「方差」(variance)这个名词率先由羅納德·費雪(英語:Ronald Fisher)在论文《The Correlation between Relatives on the Supposition of Mendelian Inheritance》[6]中提出。
后来方差逐渐衍生出了「半方差」(semivariance)、「亚方差」(hypo variance)、「超方差」(super variance)、「圆方差」(circular variance)与「倒方差」(inverse variance)等概念。
半方差
[编辑]半方差的計算方式與方差類似,但是只包括了低於均值的觀測值:
半方差在不同应用领域也被用作特殊的量度。对于偏态分布,半方差能提供方差所不能提供的额外信息。[7]
参见
[编辑]方差类型
[编辑]参考文献
[编辑]- ^ 存档副本. [2023-07-25]. (原始内容存档于2023-07-25).
- ^ 存档副本. [2023-07-25]. (原始内容存档于2023-07-25).
- ^ Wasserman, Larry. All of Statistics: a concise course in statistical inference. Springer texts in statistics. 2005: 51. ISBN 9781441923226.
- ^ Navidi, William (2006) Statistics for Engineers and Scientists, McGraw-Hill, pg 14.
- ^ Montgomery, D. C. and Runger, G. C. (1994) Applied statistics and probability for engineers, page 201. John Wiley & Sons New York
- ^ Ronald Fisher(1918)The correlation between relatives on the supposition of Mendelian Inheritance (页面存档备份,存于互联网档案馆)
- ^ Fama, Eugene F.; French, Kenneth R. Q&A: Semi-Variance: A Better Risk Measure?. Fama/French Forum. 2010-04-21 [2022-06-10]. (原始内容存档于2021-07-25).