Метод моментов

Ме́тод моме́нтов нахождения оценок в математической статистике - это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон - 1894г.)

Определение

Пусть $X_{1},\ldots ,X_{n}$ - выборка из распределения $\mathbb {P} _{\theta }$, зависящего от параметра $\theta \in \Theta \subset \mathbb {R}$. Пусть есть функция $g:\mathbb {R} \to \mathbb {R}$, такая что $g(X_{1})$ интегрируема относительно меры $\mathbb {P} _{\theta }$, и

$\mathbb {E} _{\theta }\left[g(X_{1})\right]=f(\theta )$,

где $f:\Theta \to \mathbb {R}$ - биекция. Тогда оценка

${\hat {\theta }}_{\mathrm {MM} }=f^{-1}\left({\overline {g(X)}}\right)\equiv f^{-1}\left({\frac {1}{n}}\sum \limits _{i=1}^{n}g(X_{i})\right)$

называется оценкой параметра $\theta \in \Theta$ методом моментов.

Замечания

• По построению, ${\overline {g(X)}}=f\left({\hat {\theta }}_{\mathrm {MM} }\right)$,

то есть оценка методом моментов получается путём приравнивания теоретического среднего $g(X)$ с выборочным средним.

• В качестве функции $g$ часто берут степенную функцию:

$g(x)=x^{k},\;k\in \mathbb {N}$.

• Оценка ${\hat {\theta }}_{\mathrm {MM} }$ существенно зависит от используемой функции $g(x)$. Если возможно использование нескольких разных функций $g(x)$, полученные с их помощью оценки могут различаться.

Состоятельность метода

Если $f\in C(\Theta )$, то есть функция $f$ непрерывна, то оценка метода моментов состоятельна.

Пример

Пусть $X_{1},\ldots ,X_{n}\sim \Gamma (\alpha ,\beta )$ - выборка из гамма распределения с неизвестными параметрами $\alpha$ и $\beta$. Тогда

$\mathbb {E} [X_{i}]=\alpha \beta ,\;\mathbb {E} \left[X_{i}^{2}\right]=\alpha (\alpha +1)\beta ^{2},\quad i=1,\ldots ,n$.

Тогда оценки метода моментов удовлетворяют системе уравнений:

$\left\{{\begin{matrix}{\bar {X}}=&{\hat {\alpha }}_{\mathrm {MM} }{\hat {\beta }}_{\mathrm {MM} }\\{\overline {X^{2}}}=&{\hat {\alpha }}_{\mathrm {MM} }({\hat {\alpha }}_{\mathrm {MM} }+1)\left({\hat {\beta }}_{\mathrm {MM} }\right)^{2},\end{matrix}}\right.$

откуда

${\hat {\alpha }}_{\mathrm {MM} }={\frac {\left({\bar {X}}\right)^{2}}{{\overline {X^{2}}}-\left({\bar {X}}\right)^{2}}}$,

и

${\hat {\beta }}_{\mathrm {MM} }={\frac {{\overline {X^{2}}}-\left({\bar {X}}\right)^{2}}{\bar {X}}}$.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, т.к. максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

• Метод максимального правдоподобия
• Обобщенный метод моментов