Тематическое моделирование

Serg K 10:29, 30 октября 2013 (UTC)

Представление документа в тематической модели

Тематическое моделирование — это способ построения модели коллекции текстовых документов, которая определяет, к каким темам относится каждый из документов.

Тематическая модель (topic model) коллекции текстовых документов определяет, к каким темам относится каждый документ и какие слова (термины) образуют каждую тему.

Переход из пространства терминов в пространство найденных тематик помогает разрешать синонимию и полисемию терминов, а также эффективнее решать такие задачи, как тематический поиск, классификация, суммаризация и аннотация коллекций документов и новостных потоков.

Тематическое моделирование как вид статистических моделей для нахождения скрытых тем встреченных в коллекции документов, нашло свое применение в таких областях как машинное обучение и обработка естественного языка. Исследователи используют различные тематические модели для анализа текстов, текстовых архивов документов, для анализа изменения тем в наборах документов. Интуитивно понимая, что документ относится к определенной теме, в документах посвященных одной теме можно встретить определенные слова чаще других. Например: «собака» и «кость» встречаются чаще в документах про собак, «кошки» и «молоко» будут встречаться в документах о котятах, предлоги «и» и «в» будут встречаться в обеих тематиках. Обычно документ касается нескольких тем в разных пропорциях, таким образом, документ в котором 10% темы составляют кошки, а 90% темы про собак, можно предположить, что слов про собак в 9 раз больше. Тематическое моделирование отражает эту интуицию в математическую структуру, которая позволяет на основании изучения коллекции документов и исследования частотных характеристик слов в каждом документе, сделать вывод, что каждый документ это некоторый баланс тем.

Наибольшее применение в современных приложениях находят подходы, основанные на Байесовских сетях — ориентированных графических вероятностных моделях. Ориентированные вероятностные тематические модели — это относительно молодая область исследований в теории самообучения (unsupervised learning). Одним из первых был предложен вероятностный латентно-семантический анализ (probabilistic latent semantic analysis, PLSA), основанный на принципе максимума правдоподобия, как альтернатива классическим методам кластеризации, основанным на вычислении функций расстояния. Вслед за PLSA был предложен метод латентного размещения Дирихле (latent Dirichlet allocation, LDA) и его многочисленные обобщения. Вероятностные тематические модели осуществляют «мягкую» кластеризацию, позволяя документу или термину относиться сразу к нескольким темам с различными вероятностями. Вероятностные тематические модели описывает каждую тему дискретным распределением на множестве терминов, каждый документ — дискретным распределением на множестве тем. Предполагается, что коллекция документов — это последовательность терминов, выбранных случайно и независимо из смеси таких распределений, и ставится задача восстановления компонент смеси по выборке.

Хотя тематическое моделирование описывали и применяли в обработке естественного языка, они нашли свое применение и в других областях таких как биоинформатика.

История

Первое описание тематического моделирования было в работе Равана Пападимитр, Томаки и Вемпола 1998 . Томас Хофман в 1999 предложил вероятностное скрытое семантическое индексирование (PLSI). Одна из самых распространенных тематических моделей это Латентное размещение Дирехле (LDA), эта модель является обобщением вероятностного семантического индексирования разработана Девидом Блейем, Эндрю Иг, и Михаэлем Джорданом в 2002 . Другие тематические модели как правило являются расширением LDA, такие как Распределение Пачино, которое улучшает LDA за счет введения дополнительных корреляционных коэффициентов для каждого слова которое составляет тему.

Тематические исследования

Темплтон подготовил обзор предыдущих работ по тематическому моделированию в гуманитарных науках для синхронного и диахронического приближения. Синхронное приближение выделяет темы в определенный момент времени, например, Джокерс использовал тематическую модель для классификации 177 блогеров пишущих в 2010 в День Цифровых Гуманитариев, и выделил, о чем они писали в этот день. Смешанная модель 50 текстов из цифровых гуманитарных науках для выделения и самоопределения научных работ в области цифровых гуманитарных науках и отображения связи исследователей и тем этих текстов. Дроуин проанализировал Пруста для определения тем и демонстрации их как структуры связей. Диахроническое приближение включая Блок и Ньюман определение динамики изменения тем во времени в Пенсельванской газете на протяжении 1728-1800 года. Грифитс и Стейверс использовали тематическое моделирование для обзоров журнала PNAS, определяли популярность тем с 1991 по 2001 год. Нельсон проанализировал изменение тем в Ричмонд Таймс для понимания социальных и политических изменений в Ричмонде во времена Американской Гражданской войны. Ян, Таргет и Михалцея применили тематическое моделирование для газет 1829-2008 годов. Блевинс настроил тематическую модель дневника Марты Балландс, для определения изменения тематических трендов за 27 лет. Мимно использовал тематическое моделирование для анализа 24 журналов по классической филологии и археологии охватывающих 150 лет, чтобы определить изменения тем в журналах за это время, и узнать на сколько журналы стали различными или схожими.

Алгоритмы

В работе Девида Блея «Введение в тематическое моделирование» рассмотрены наиболее популярные наборы алгоритмов . На практике исследователи используют одну из эвристик метода максимального правдоподобия, методы сингулярного разложения (SVD), метод моментов, алгоритм, основанный на неотрицательной матрице факторизации (NMF), вероятностные тематические модели, вероятностный латентно-семантический анализ, латентное размещение Дирехле,.

Вероятностные тематические модели

Вероятностные тематические модели основаны на следующих предположениях :

• Порядок документов в коллекции не имеет значения
• Порядок слов в документе не имеет значения, документ – мешок слов
• Слова, встречающиеся часто в большинстве документов, не важны для определения тематики
• Коллекцию документов можно представить как выборку пар документ-слово $(d,w)$ , $d\in D$, $w\in {\mathit {W}}_{d}$
• Каждая тема $t\in T$ описывается неизвестным распределением $p({\mathit {W}}|t)$ на множестве слов $w\in {\mathit {W}}$
• Каждый документ $d\in D$ описывается неизвестным распределением $p(t|d)$ на множестве тем $t\in T$
• Гипотеза условной независимости $p(w|t,d)=p(w|t)$

Построить тематическую модель - значит, найти матрицы $\Phi =||p(w|t)||$ и $\Theta =||p(t|d)||$ по коллекции ${\mathit {D}}$ В более сложных вероятностных тематических моделях некоторые из этих предположений заменяются более реалистичными.

Вероятностный латентно-семантический анализ

Plate notation representing the PLSA model ("asymmetric" formulation). $d$ is the document index variable, $c$ is a word's topic drawn from the document's topic distribution, $P(c|d)$, and $w$ is a word drawn from the word distribution of this word's topic, $P(w|c)$ . The $d$ and $w$ are observable variables, the topic $c$ is a latent variable.

Вероятностный латентно-семантический анализ (probabilistic latent semantic analysis, PLSA) предложен Томасом Хофманном в 1999 году. Вероятностная модель появления пары «документ–слово» может быть записана тремя эквивалентными способами:

$p(d,w)=\sum _{t\in T}p(t)p(w|t)p(d|t)=\sum _{t\in T}p(d)p(w|t)p(t|d)=\sum _{t\in T}p(w)p(t|w)p(d|t)$

где $T$ - множество тем;

$p(t)$ - неизвестное априорное распределение тем во всей коллекции;

$p(d)$ - априорное распределение на множестве документов, эмпирическая оценка $p(d)=n_{d}/n$ , где $n=\sum _{d}n_{d}$ — суммарная длина всех документов;

$p(w)$ — априорное распределение на множестве слов, эмпирическая оценка $p(w)=n_{w}/n$, где $n_{w}$ — число вхождений слова $w$ во все документы;

Искомые условные распределения $p(w|t),p(t|d)$ выражаются через $p(t|w),p(d|t)$ по формуле Байеса:

$p(w|t)={\frac {p(t|w)p(w)}{\sum _{w'}p(t|w')p(w')}};\qquad p(t|d)={\frac {p(d|t)p(t)}{\sum _{t'}p(d|t')p(t')}}.$

Для идентификации параметров тематической модели по коллекции документов применяется принцип максимума правдоподобия, который приводит к задаче минимизации функционала

$\sum _{d\in D}\sum _{w\in d}n_{dw}\log p(d,w)\to \min _{\Phi ,\Theta },$

при ограничениях нормировки

$\sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,$

где $n_{dw}$ — число вхождений слова $w$ в документ $d$. Для решения данной оптимизационной задачи обычно применяется EM-алгоритм.

Основные недостатки PLSA:

• Число параметров растёт линейно по числу документов в коллекции, что может приводить к переобучению модели.
• При добавлении нового документа $d$ в коллекцию распределение $p(t|d)$ невозможно вычислить по тем же формулам, что и для остальных документов, не перестраивая всю модель заново.

Латентное размещение Дирихле

Plate notation representing the LDA model.

Метод латентного размещения Дирихле (latent Dirichlet allocation, LDA) предложен Дэвидом Блеем в 2003 году.

В этом методе устранены основные недостатки PLSA.

Метод LDA основан на той же вероятностной модели

$p(d,w)=\sum _{t\in T}p(d)p(w|t)p(t|d),$

при дополнительных предположениях:

• векторы документов $\theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}$ порождаются одним и тем же вероятностным распределением на нормированных $|T|$-мерных векторах; это распределение удобно взять из параметрического семейства распределений Дирихле $\mathrm {Dir} (\theta ,\alpha ),\;\alpha \in \mathbb {R} ^{|T|}$;
• векторы тем $\phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}$ порождаются одним и тем же вероятностным распределением на нормированных векторах размерности $|W|$; это распределение удобно взять из параметрического семейства распределений Дирихле $\mathrm {Dir} (\theta ,\beta ),\;\beta \in \mathbb {R} ^{|W|}$.

Для идентификации параметров модели LDA по коллекции документов применяется самплирование Гиббса, вариационный байесовский вывод или метод Expectation-Propagation.

Литература

• Коршунов Антон, Гомзин Андрей. Тематическое моделирование текстов на естественном языке // Труды Института системного программирования РАН : журнал. — 2012.
• Воронцов К.В. Вероятностное тематическое моделирование // www.machinelearning.ru : web. — 2013.
• Воронцов К.В., Потапенко А.А. Регуляризация, робастность и разреженность вероятностных тематических моделей // Компьютерные исследования и моделирование : журнал. — 2012. — С. 693-706.
• Воронцов К.В. Аддитивная регуляризация вероятностных тематических моделей Презентация // www.machinelearning.ru : web. — 2013.
• Воронцов К.В. Вероятностные тематические модели коллекции текстовых документов Презентация // www.machinelearning.ru : web. — 2013.
• Марк Стейверс, Tom Griffiths. Вероятностная тематическая модель. // Справочник скрытого семантического анализа / T. Landauer, D. McNamara, S. Dennis, W. Kintsch. — Psychology Press, 2007. — ISBN 978-0-8058-5418-3.
• Daud Ali, Li Juanzi, Zhou Lizhu, Muhammad Faqir. Knowledge discovery through directed probabilistic topic models: a survey. In Proceedings of Frontiers of Computer Science in China. // www.researchgate.net : web. — 2010.
• Пападимитриу Христос, Рагван Прабхакар, Тамаки Хисао, Вемпала Сантос. Скрытое семантическое индексирование вероятностный анализ // Proceedings of ACM PODS : журнал. — 1998.
• Хофманн Томас. Вероятностное скрытое семантическое индексирование // Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval : журнал. — 1999.
• Девид Блей, Андрю Нг, Джордан Михаель, Lafferty John. Латентное размещение Дирихле // Journal of Machine Learning Research : журнал. — 2003.
• Девид Блей, Андрю Нг, Джордан Михаель, Lafferty John. Введение в вероятностное тематическое моделирование. // Comm. ACM : журнал. — 2012. — С. 77–84.
• Девид Блей, J.D. Lafferty. Тематическое моделирование : web. — 2009.
• Девид Блей, John Lafferty. Корреляция тематической модели в науке // Annals of Applied Statistics : журнал. — 2007. — С. 17–35. — doi:10.1214/07-AOAS114.
• Д. Мимно. Вычислительная историография: анализ данных в век классических журналов // Journal on Computing and Cultural Heritag : журнал. — 2012. — doi:10.1145/2160165.2160168.
• Matthew L. Jockers. Who's your DH Blog Mate: Match-Making the Day of DH Bloggers with Topic Modeling : web. — 2010.
• E. Микс. Понимание цифровых гуманитарных наук : web. — 2011.
• C. Темплтон. Тематическое моделирование в гуманитарных науках: обзор. // Maryland Institute for Technology in the Humanities Blog : web. — 2011.
• T. Гифитс, M. Steyvers. Нахождение научных тем // Proceedings of the National Academy of Sciences : журнал. — 2004. — doi:10.1073/pnas.0307752101. — PMID 14872004.
• T. Янг, A Торгет и Р. Mihalcea. Тематическое моделирование в исторических газетах // Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities. The Association for Computational Linguistics, Madison : журнал. — 2011. — С. 96–104.
• С. Блок. Делаем больше с оцифровкой- введение в тематическое моделирование в ранних американских источниках // Common-place The Interactive Journal of Early American Life : журнал. — 2006.
• Д. Ньюман, S. Block. Вероятностное тематическое разложение в газетах 18 века // Journal of the American Society for Information Science and Technology : журнал. — 2006. — doi:10.1002/asi.20342.
• C. Блевин. Тематическое моделирование дневника Марты Баллардс // historying : web. — 2010.

Смотрите также:

• Латентно-семантический анализ
• Латентное размещение Дирихле

Программное обеспечение / библиотеки кода

• Малет (программа) (http://mallet.cs.umass.edu/)
• Инструментарий Стендфорда по тематическому моделированию (http://nlp.stanford.edu/software/tmt/tmt-0.4/)
• GenSim – тематическое моделирование для людей (http://radimrehurek.com/gensim/)

Cсылки:

• Лекция: Тематическое моделирование - К.В. Воронцов Видео Лекции Школа анализа данных.
• Лекция 2: Тематическое моделирование - К.В. Воронцов Видео Лекции Школа анализа данных.
• Тематическое моделирование  (неопр.).
• Полностью разреженные тематические модели (перевод) / Fully Sparse Topic Models  (неопр.).
• Обзор по вероятностным тематическим моделям  (неопр.).
• Тематические модели для коллекции текстов  (неопр.).
• Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)  (неопр.).
• Тепллтон, Клай Тематическое моделирование в гуманитарных науках. Общий обзор.  (неопр.) Maryland Institute for Technology in the Humanities.
• Применение тематического моделирования для анализа новостей и ревю. Video of a Google Tech Talk presentation by Alice Oh on topic modeling with Latent Dirichlet allocation
• Моделирование науки: Динамическое тематическое моделирование научных исследований. Video of a Google Tech Talk presentation by David M. Blei
• Автоматизированная тематическая модель в политической науке. Video of a presentation by Brandon Stewart at the Tools for Text Workshop, 14 June 2010