Diferencia entre revisiones de «Algoritmo esperanza-maximización»

Contenido eliminado Contenido añadido

En renglón

Revisión actual - 10:01 16 feb 2024

El algoritmo esperanza-maximización o algoritmo EM se usa en estadística para encontrar estimadores de máxima verosimilitud de parámetros en modelos probabilísticos que dependen de variables no observables. El algoritmo EM alterna pasos de esperanza (paso E), donde se computa la esperanza de la verosimilitud mediante la inclusión de variables latentes como si fueran observables, y un paso de maximización (paso M), donde se computan estimadores de máxima verosimilitud de los parámetros mediante la maximización de la verosimilitud esperada del paso E. Los parámetros que se encuentran en el paso M se usan para comenzar el paso E siguiente, y así el proceso se repite.

Historia

El algoritmo EM fue expuesto por Arthur Pentland Dempster, Nan Laird y Donald Rubin de la Royal Statistical Society en una publicación de 1977. Los autores señalan que el método ya había sido "propuesto muchas veces en situaciones especiales" por otros autores, pero la publicación de 1977 generaliza el método y desarrolla la teoría detrás de él. A partir de ese momento muchas variantes y modificaciones del algoritmo original propuesto han aparecido, pero la base matemática subyacente no ha cambiado.

Aplicaciones

El algoritmo EM se utiliza frecuentemente para algoritmos de agrupamiento en aprendizaje automático y visión artificial, para aprender Modelos ocultos de Márkov y Mixturas de Gaussianas, utilizadas en procesos de clasificación o reconocimiento. De esta forma, por su capacidad para manejar información faltante y observar variables ocultas, se está convirtiendo en una herramienta importante en muchos procesos de aprendizaje automático. Además, en psicometría, es casi indispensable para estimación de parámetros de items y habilidades latentes de teoría de respuesta al ítem.

Enlaces externos

Código de ejemplo del EM en MATLAB Archivado el 26 de septiembre de 2007 en Wayback Machine. y en Java.
Implementación Real en C del algoritmo Expectation Maximization (EM) para estimar Gaussian Mixture Models (GMMs).

Véase también

Datos: Q1275153

@@ Línea 1: / Línea 1: @@
-El '''algoritmo expectación-maximización''' o '''algoritmo EM''' se usa en [[estadística]] para encontrar [[estimador]]es de [[máxima verosimilitud]] de parámetros en [[Modelo probabilístico|modelos probabilísticos]] que dependen de variables no observables. El algoritmo EM alterna pasos de expectación (paso E), donde se computa la [[Esperanza matemática|expectación]] de la verosimilitud mediante la inclusión de variables latentes como si fueran observables, y un paso de maximización (paso M), donde se computan estimadores de máxima verosimilitud de los parámetros mediante la maximización de la verosimilitud esperada del paso E. Los parámetros que se encuentran en el paso M se usan para comenzar el paso E siguiente, y así el proceso se repite.
+El '''algoritmo esperanza-maximización''' o '''algoritmo EM''' se usa en [[estadística]] para encontrar [[estimador]]es de [[máxima verosimilitud]] de parámetros en [[Modelo probabilístico|modelos probabilísticos]] que dependen de variables no observables. El algoritmo EM alterna pasos de esperanza (paso E), donde se computa la [[Esperanza matemática|esperanza]] de la verosimilitud mediante la inclusión de variables latentes como si fueran observables, y un paso de maximización (paso M), donde se computan estimadores de máxima verosimilitud de los parámetros mediante la maximización de la verosimilitud esperada del paso E. Los parámetros que se encuentran en el paso M se usan para comenzar el paso E siguiente, y así el proceso se repite.
 == Historia ==
-El algoritmo EM se explica en una publicación clásica de [[1977]] por [[Arthur Dempster]], [[Nan Laird]] y [[Donald Rubin]] de la [[Royal Statistical Society]]. Ellos señalan que el método había ya sido "propuesto muchas veces en situaciones especiales" por otros autores, pero la publicación de 1977 generaliza el método y desarrolla la teoría detrás de él.
+El algoritmo EM fue expuesto por [[Arthur_P._Dempster|Arthur Pentland Dempster]], [[Nan Laird]] y [[Donald Rubin]] de la [[Royal Statistical Society]] en una publicación de 1977. Los autores señalan que el método ya había sido "propuesto muchas veces en situaciones especiales" por otros autores, pero la publicación de 1977 generaliza el método y desarrolla la teoría detrás de él. A partir de ese momento muchas variantes y modificaciones del algoritmo original propuesto han aparecido, pero la base matemática subyacente no ha cambiado.
 == Aplicaciones ==
-Al algoritmo EM se lo usa frecuentemente para [[Algoritmo de agrupamiento|algoritmos de agrupamiento]] en [[Aprendizaje Automático|aprendizaje automático]] y [[Visión artificial|visión artificial]].
+El algoritmo EM se utiliza frecuentemente para [[Algoritmo de agrupamiento|algoritmos de agrupamiento]] en [[aprendizaje automático]] y [[visión artificial]], para aprender [[Modelo oculto de Márkov|Modelos ocultos de Márkov]] y [[Distribución normal|Mixturas de Gaussianas]], utilizadas en procesos de clasificación o reconocimiento. De esta forma, por su capacidad para manejar información faltante y observar variables ocultas, se está convirtiendo en una herramienta importante en muchos procesos de aprendizaje automático. Además, en [[psicometría]], es casi indispensable para estimación de parámetros de items y habilidades latentes de [[teoría de respuesta al ítem]].
+== Enlaces externos ==
-En [[Psicometría (Psicología)|psicometría]], es casi indispensable para estimación de parámetros de items y habilidades latentes de [[Teoría de respuesta al ítem|teoría de respuesta al ítem]].
+* Código de ejemplo del EM en [http://www.mathworks.com/matlabcentral/fileexchange/loadFile.do?objectId=8636 MATLAB] {{Wayback|url=http://www.mathworks.com/matlabcentral/fileexchange/loadFile.do?objectId=8636 |date=20070926225741 }} y en [https://web.archive.org/web/20160214062151/http://lcn.epfl.ch/tutorial/english/mixtureModel/index.html Java].
+* Implementación Real en C del algoritmo [https://github.com/juandavm/em4gmm Expectation Maximization] (EM) para estimar [https://github.com/juandavm/em4gmm Gaussian Mixture Models] (GMMs).
-Por su habilidad para manejar información faltante y observar variables no identificadas, se está convirtiendo en una herramienta importante.
 <!--
+{{mal traducido}}
 ==Demonstrations and activities==
 Various 1D, 2D and 3D [http://wiki.stat.ucla.edu/socr/index.php/SOCR_EduMaterials_Activities_2D_PointSegmentation_EM_Mixture demonstrations of EM together with Mixture Modeling] are provided as part of the paired [[SOCR]] activities and applets. These applets and activities show empirically the properties of the EM algorithm for parameter estimation in diverse settings.
@@ Línea 77: / Línea 80: @@
 === Properties ===
 Part of the reason for the popularity of EM algorithms is that,
-it can be shown, an EM iteration does not decrease the observed data likelihood function.  However, there is no guarantee that the sequence converges to a [[maximum likelihood estimator]]. For [[Bimodal_distribution|multimodal]] distributions, this means that an EM algorithm will converge to a [[local maximum]] (or [[saddle point]]) of the observed data likelihood function, depending on starting values. There are a variety of heuristic approaches for escaping a local maximum such as using several different random initial estimates, <math>\theta_0</math>, or applying [[simulated annealing]].
+it can be shown, an EM iteration does not decrease the observed data likelihood function.  However, there is no guarantee that the sequence converges to a [[maximum likelihood estimator]]. For [[Bimodal distribution|multimodal]] distributions, this means that an EM algorithm will converge to a [[local maximum]] (or [[saddle point]]) of the observed data likelihood function, depending on starting values. There are a variety of heuristic approaches for escaping a local maximum such as using several different random initial estimates, <math>\theta_0</math>, or applying [[simulated annealing]].
 EM is particularly useful when [[maximum likelihood estimation]] of a complete data model is easy.
@@ Línea 246: / Línea 249: @@
 These estimates now become our <math>\theta_{t+1}</math>, to be used in the next estimation step.
-== References ==
+== Referencias ==
-* Arthur Dempster, Nan Laird, and Donald Rubin. "Maximum likelihood from incomplete data via the EM algorithm". ''Journal of the Royal Statistical Society'', Series B, 39(1):1&ndash;38, 1977 [http://links.jstor.org/sici?sici=0035-9246%281977%2939%3A1%3C1%3AMLFIDV%3E2.0.CO%3B2-Z].
+* Arthur Dempster, Nan Laird, and Donald Rubin. "Maximum likelihood from incomplete data via the EM algorithm". ''Journal of the Royal Statistical Society'', Series B, 39(1):1–38, 1977 [http://links.jstor.org/sici?sici=0035-9246%281977%2939%3A1%3C1%3AMLFIDV%3E2.0.CO%3B2-Z].
-* Robert Hogg, Joseph McKean and Allen Craig. ''Introduction to Mathematical Statistics''. pp. 359-364.  Upper Saddle River, NJ: Pearson Prentice Hall, 2005.
+* Robert Hogg, Joseph McKean and Allen Craig. ''Introduction to Mathematical Statistics''. pp. 359-364. Upper Saddle River, NJ: Pearson Prentice Hall, 2005.
-* Radford Neal, [[Geoffrey Hinton]]. "A view of the EM algorithm that justifies incremental, sparse, and other variants". In [[Michael I. Jordan]] (editor), ''Learning in Graphical Models'' pp 355-368. Cambridge, MA: MIT Press, 1999.
+* Radford Neal, [[Geoffrey Hinton]]. "A view of the EM algorithm that justifies incremental, sparse, and other variants". In [[Michael I. Jordan]] (editor), ''Learning in Graphical Models'' pp 355-368. Cambridge, MA: [[MIT Press]], 1999.
 * [http://www.inference.phy.cam.ac.uk/mackay/itila/ The on-line textbook: Information Theory, Inference, and Learning Algorithms], by [[David J.C. MacKay]] includes simple examples of the E-M algorithm such as clustering using the soft K-means algorithm, and emphasizes the variational view of the E-M algorithm.
 * [http://citeseer.ist.psu.edu/bilmes98gentle.html A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models], by [http://ssli.ee.washington.edu/people/bilmes/ Jeff Bilmes] includes a simplified derivation of the EM equations for Gaussian Mixtures and Gaussian Mixture Hidden Markov Models.
@@ Línea 257: / Línea 260: @@
 * [http://wiki.stat.ucla.edu/socr/index.php/SOCR_EduMaterials_Activities_2D_PointSegmentation_EM_Mixture SOCR demonstrations of EM and Mixture Modeling]
 -->
-== Enlaces externos ==
-* [http://www.mathworks.com/matlabcentral/fileexchange/loadFile.do?objectId=8636 Código ejemplo en MATLAB]
-* [http://lcn.epfl.ch/tutorial/english/mixtureModel/index.html Código ejemplo en Java]
 == Véase también ==
 * [[Estimación estadística]]
 * [[Algoritmo de agrupamiento]]
-* [[Statistics Online Computational Resource|SOCR]]
+{{Control de autoridades}}
-[[Categoría:Algoritmos]]
+[[Categoría:Algoritmos estadísticos|Esperanza maximización]]
 [[Categoría:Optimización]]
-[[Categoría:Estadística]]
+[[Categoría:Estimación estadística]]
+[[Categoría:Minería de datos]]
+[[Categoría:Aprendizaje automático]]
-[[de:EM-Algorithmus]]
-[[en:Expectation-maximization algorithm]]
-[[fr:Algorithme espérance-maximisation]]
-[[zh:最大期望算法]]