Метод моментов

Ме́тод моме́нтов нахождения оценок в математической статистике — это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон, 1894 г.)

Определение

Пусть $X_{1},\ldots ,X_{n}$ — выборка из распределения $\mathbb {P} _{\theta }$, зависящего от параметра $\theta \in \Theta \subset \mathbb {R}$. Пусть есть функция $g:\mathbb {R} \to \mathbb {R}$, такая что $g(X)$ интегрируема относительно меры $\mathbb {P} _{\theta }$, и

$\mathbb {E} _{\theta }\left[g(X)\right]=f(\theta )$,

где $f:\Theta \to \mathbb {R}$ — биекция. Тогда оценка

${\hat {\theta }}_{\mathrm {MM} }=f^{-1}\left({\overline {g(X)}}\right)\equiv f^{-1}\left({\frac {1}{n}}\sum \limits _{i=1}^{n}g(X_{i})\right)$

называется оценкой параметра $\theta \in \Theta$ методом моментов.

Замечания

• По построению, ${\overline {g(X)}}=f\left({\hat {\theta }}_{\mathrm {MM} }\right)$,

то есть оценка методом моментов получается путём приравнивания теоретического среднего $g(X)$ с выборочным средним.

• В качестве функции $g$ часто берут степенную функцию:

$g(x)=x^{k},\;k\in \mathbb {N}$.

• Оценка ${\hat {\theta }}_{\mathrm {MM} }$ существенно зависит от используемой функции $g(x)$. Если возможно использование нескольких разных функций $g(x)$, полученные с их помощью оценки могут различаться.

Состоятельность метода

Если $f\in C(\Theta )$, то есть функция $f$ непрерывна, то оценка метода моментов состоятельна.

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель $y_{t}=x_{t}^{T}b+\varepsilon _{t}$ удовлетворяет условию $E(x_{t}^{T}\varepsilon _{t})=0$, то условия на моменты выглядят следующим образом:

$X^{T}e=0~\Rightarrow ~X^{T}(y-Xb)=0~\Rightarrow ~X^{T}Xb=X^{T}y$

Следовательно, в этом случае оценка метода моментов будет совпадать с МНК-оценкой ${\hat {b}}_{MM}={\hat {b}}_{OLS}=(X^{T}X)^{-1}X^{T}y$

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок $E(x_{t}^{T}\varepsilon _{t})=0$

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть $E(z_{t}^{T}\varepsilon _{t})=0$. Тогда имеем выборочный аналог этого условия:

$Z^{T}e=0~\Rightarrow Z^{T}(y-Xb)=0~\Rightarrow ~Z^{T}Xb=Z^{T}y$

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: ${\hat {b}}_{MM}={\hat {b}}_{IV}=(Z^{T}X)^{-1}Z^{T}y$.

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Пример

Пусть $X_{1},\ldots ,X_{n}\sim \Gamma (\alpha ,\beta )$ — выборка из гамма распределения с неизвестными параметрами $\alpha$ и $\beta$. Тогда

$\mathbb {E} [X_{i}]=\alpha \beta ,\;\mathbb {E} \left[X_{i}^{2}\right]=\alpha (\alpha +1)\beta ^{2},\quad i=1,\ldots ,n$.

Тогда оценки метода моментов удовлетворяют системе уравнений:

$\left\{{\begin{matrix}{\bar {X}}=&{\hat {\alpha }}_{\mathrm {MM} }{\hat {\beta }}_{\mathrm {MM} }\\{\overline {X^{2}}}=&{\hat {\alpha }}_{\mathrm {MM} }({\hat {\alpha }}_{\mathrm {MM} }+1)\left({\hat {\beta }}_{\mathrm {MM} }\right)^{2},\end{matrix}}\right.$

откуда

${\hat {\alpha }}_{\mathrm {MM} }={\frac {\left({\bar {X}}\right)^{2}}{{\overline {X^{2}}}-\left({\bar {X}}\right)^{2}}}$,

и

${\hat {\beta }}_{\mathrm {MM} }={\frac {{\overline {X^{2}}}-\left({\bar {X}}\right)^{2}}{\bar {X}}}$.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае, очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть $E(g(x,b))=0$ - совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM - Generalized Method of Moments) называется оценка минимизирующая квадратичную форму от выборочных условий на моменты:

${\hat {b}}_{GMM}=\arg \min _{b}{\overline {g(x,b)}}^{T}W{\overline {g(x,b)}}$

где W - некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной, однако, доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариацинной матрице моментных функций $W=V_{g}^{-1}$. Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают коварицаонную матрицу моментных функций и используют полученную оценку в эффетивном GMM (это т.н. доступный эффективный GMM).

См. также

• Метод максимального правдоподобия
• Метод наименьших квадратов
• Метод инструментальных переменных