Полуинвариант (теория вероятностей)

Полуинварианты, или семиинварианты, или кумулянты - это коэффициенты в разложении логарифма характеристической функции в ряд МакЛорена.

Общие сведения

Полуинварианты были введены датским астрономом и математиком Торвальдом Николаем Тиле в 1889 году (по другим данным в 1903 году). В русском языке также используется название семиинварианты (от латинского semi-, что означает полу-, половина). Тиле назвал эти статистические величины полуинвариантами (semi-invariant), и до 30-х годов XX-ого столетия их так и называли, но в 30-х годах английский статистик Фишер предпочёл использовать название кумулянты (анг. cumulants), ввиду их кумулятивных, т.е. накопительных свойств, и со временем именно это название и закрепилось в литературе. Тем не менее, в русскоязычной литературе предпочтение всегда отдавалось оригинальному названию, например, Ширяев использует только лишь оригинальное латинское название. Для обозначения полуинвариант почти всегда используется греческая буква κ, хотя, например, Ширяев использует ξ.

Несмотря на то, что введены полуинварианты были давно, до 30-х годов XX-ого века им уделяли очень мало внимания; только лишь в конце 30-х годов английский учёный сэр Рональд Эйлмер Фишер (анг. Sir Ronald Aylmer Fisher) впервые провёл систематическое исследование полуинвариантов. На сегодняшний день, полуинварианты прочно вошли в мир современной статистики и её приложений. В частности, они очень широко используются в области обработки сигналов, что связано с некоторыми их полезными свойствами: например, все полуинварианты третьего и более высоких порядков равны нулю для нормальных процессов, а смешанные полуинварианты всех порядков статистически независимых величин равны нулю. Используя понятие полуинвариантов, можно ввести более общее понятие статистической независимости двух величин до n-ого порядка, подразумевая под этим то, что все смешанные полуинварианты порядка до n (включительно) равны нулю.

Определение через характеристическую функцию

Полуинварианты, в отличие от моментов, не могут быть определены напрямую через функцию распределения p(x). Их определяют либо через логарифм характеристической функции G(u), либо через моменты μ (второе определение на самом деле вытекает из первого). Формально, полуинварианты определяются как коэффициенты в разложении в ряд МакЛорена логарифма характеристической функции, образом, в точности аналогичному тому, которым есть моменты для самой характеристической функции, т.е. с вынесенными вперёд коэффициентами $i^{n}$:

$\ln G(u)\,=\,iu\kappa _{1}+{\frac {(iu)^{2}}{2!}}\kappa _{2}+\ldots +{\frac {(iu)^{n}}{n!}}\kappa _{n}+\ldots =\sum \limits _{n=1}^{\infty }{\frac {(iu)^{n}}{n!}}\kappa _{n}$

Единственная разница состоит в том что первый член этого ряда полагается равным 0, а не 1 как это есть для моментов. Кстати, сам логарифм характеристической функции, ввиду важности полуинвариант, генерирующей функцией которых он является, также получил отдельное название, его иногда называют второй характеристической функцей и вводят специальное обозначение, например:

$\varphi (u)\,\equiv \,\ln G(u)$

Интерес к данной функции обусловлен тем, что она аддитивна для независимых случайных величин, т.е. для суммы таких величин она равна сумме соответстующих функций для каждой величины.

$\ln G(a+b)=\ln G(a)+\ln G(b)$

Это с очевидностью следует из факта, что собственно характеристическая функция мультипликативна по независимым случайным величинам (равна произведению соответствующих функций). Это же свойство, как следствие, присуще полуинвариантам, из очевидных примеров - математическое ожидание или дисперсия суммы независимых случайных величин равны сумме, соответственно, математических ожиданий или дисперсий самих величин. (Менее очевидный пример - это верно для третьего центрированного момента, который поэтому совпадает с третьим полуинвариантом. Для четвертых и более высоких центрированных моментов это равенство уже не верно.) Указанное свойство упрощает работу с кумулянтами, т.к. для них, в отличие от моментов распределения суммы независимых случайных величин, имеющих достаточно громоздкое выражение через моменты самих величин, выражение через полуинвариатны слагаемых весьма просто.

Тогда очевидно, что из определения ряда МакЛорена, полуинварианта порядка n будет определена как:

$\kappa _{n}\,=\,(-i)^{n}\left.{\frac {\,\partial ^{n}\varphi }{\,\partial u^{n}}}\right|_{u=0}$

и для первой полуинварианты всё намного проще:

$\kappa _{1}\,=\,-i\left.{\frac {\,\partial \varphi }{\,\partial u}}\right|_{u=0}\,=\,-i\left.{\frac {G'_{u}}{\,G(u)}}\right|_{u=0}$.

Определение через моменты

Выведем теперь альтернативное определение полуинвариант через моменты. Разлагая характеристическую функцию G(u) в ряд МакЛорена через моменты, мы можем переписать первую формулу в следующем виде:

$\ln \left\{1+\sum \limits _{n=1}^{\infty }{\frac {(iu)^{n}}{n!}}\mu _{n}\right\}\,=\,\sum \limits _{n=1}^{\infty }{\frac {(iu)^{n}}{n!}}\kappa _{n}$

Теперь, разлагая и логарифм в ряд МакЛорена, и предполагая что условия на его радиус сходимости выполняются, мы получим:

$\sum \limits _{m=1}^{\infty }(-1)^{m+1}{\frac {\displaystyle \left(\sum \limits _{n=1}^{\infty }{\frac {(iu)^{n}}{n!}}\mu _{n}\right)^{\!\!m}}{m}}\,=\,\sum \limits _{n=1}^{\infty }{\frac {(iu)^{n}}{n!}}\kappa _{n}$

Далее надо аккуратно расписать все члены стоящие в суммах слева и справа и попросту приравнять коэффициенты при равных степенях iu. Тогда мы легко получим следующие выражения:

${\begin{cases}\kappa _{1}=\mu _{1}\\[1mm]\kappa _{2}=-\mu _{1}^{2}+\mu _{2}\\[1mm]\kappa _{3}=2\mu _{1}^{3}-3\mu _{1}\mu _{2}+\mu _{3}\\[1mm]\;\ldots \ldots \ldots \ldots \ldots \ldots \ldots \end{cases}}$

Ну правда „легко“ на этом и кончается, и затем всё очень сильно усложняется. Интересный метод основанный на производной для более простого отыскания этих взаимоотношений, а также эти выражения для более высоких порядков описаны у Кендалла. Он также даёт общую формулу для отысканий моментов через полуинварианты и обратно, эта же формула встречается и у Ширяева. Кстати, эту общую формулу в некоторой литературе так и называют формулой Ширяева-Леонтьева, хотя по всей видимости они не были первыми кто её вывели.