A Little on Topic Model
总结自：
- [学习笔记]学习主题模型(Topic Model)和PLSA(probabilistic latent semantic analysis)
- Probabilistic Latent Semantic Analysis
1. Topic Model
举个例子：
- 富士苹果真好，赶快买。
- 苹果四代真好，赶快买。
从 corpus 上来看，两者非常相似，但是事实上，这两个句子从语义上来讲，没有任何关系，我们可以说，前者的 topic 是 “水果”，后者的 topic 是 “手机”。
究竟什么是 topic？接下来参考 baidu 搜索研发部官方博客中对语义主题的定义：
主题就是一个概念、一个方面。它表现为一系列相关的词，能够代表这个主题。比如如果是 “阿里巴巴” 主题，那么 “马云” “电子商务” 等词会很高的频率出现，而设计到 “腾讯” 主题，那么”马化腾” “QQ” 等词会以较高的频率出现。
如果用数学来描述一下的话，主题就是词汇表上词语的条件概率分布，与主题越密切相关的词，条件概率 $ p(w \vert z) $ (表示在给定主题 $ z $ 的情况下词语 $ w $ 出现的概率) 越大。
主题就像一个桶，装了出现频率很高的词语，这些词语和主题有很强的相关性，或者说这些词语定义了这个主题。同时，一个词语，可能来自于这个桶，也可能来自那个桶，比如 “电子商务” 可以来自 “阿里巴巴” 主题，也可以来自 “京东” 主题，所以一段文字往往包含多个主题，也就是说，一段文字不只有一个主题。
而 Topic Model 要解决的就是 “如何得出 topic” 这一问题。
我们定义：
- $ d $ 表示 document
- $ w $ 表示 word
- $ z $ 表示 topic
- $ P(w \vert d) $ 表示词语 $ w $ 在文档 $ d $ 中出现的概率
- $ P(w \vert z) $ 表示在给定主题 $ z $ 的情况下词语 $ w $ 出现的概率
- $ P(z \vert d) $ 表示文档 $ d $ 中每个主题 $ z $ 出现的概率
于是有：
\[P(w \vert d) = \sum_z{P(w \vert z)\,P(z \vert d)}\]所谓 Topic Model 就是利用大量已知的 $ P(w \vert d) $ 来训练 $ P(z \vert d) $ 以及 $ P(w \vert z) $。
Topic Model 的一种，PLSA (Probabilistic Latent Semantic Analysis)，是使用的 EM 算法来算的。下面我们简单介绍下 PLSA，详细的内容请结合 EM 算法再深入研究。
2. PLSA
2.1 Some Basis
这一节来自这个 Probabilistic Latent Semantic Analysis 讲义。主要是科普一下，算是个题外话。
一般地，我们有
\[P(d,w) = P(d) P(w \vert d)\]我们称 Joint Probability $ P(d,w) $ (我觉得可以理解为 $ P(d \cap w) $) shows the probability of a word $ w $ to be inside a document $ d $.
前面已经有
\[P(w \vert d) = \sum_z{P(w \vert z)\,P(z \vert d)}\]这个式子我们称为 Word Distributions $ P(w \vert d) $ are combinations of the factors $ P(w \vert z) $ and the mixing weights $ P(z \vert d) $.
- $ p(w \vert d) $ 又被称为 Multinomial Mixtures (好像发现了什么不得了的东西……有空再研究)
我们可以做一下变形：
\[\begin{align} P(d,w) &= P(d) P(w \vert d) \newline &= P(d) \sum_z{P(w \vert z)\,P(z \vert d)} \newline &= \sum_z{P(w \vert z) \cdot P(d)P(z \vert d)} \newline &= \sum_z{P(w \vert z) \cdot P(d,z)} \newline &= \sum_z{P(w \vert z) \cdot P(z)P(d \vert z)} \end{align}\]2.2 Algorithm
\[\begin{align} \ell(\theta) &= \sum_{i}{\sum_{j}{n(d_i, w_j) \ln P(w_j \vert d_i)}} \newline &= \sum_{i}{\sum_{j}{n(d_i, w_j) \ln P(w_j \vert z_k) P(z_k \vert d_i)}} \newline &\geq \sum_{i}{\sum_{j}{n(d_i, w_j)}} \sum_{k}{Q(z_k \vert d_i,w_j) \ln P(w_j \vert z_k) P(z_k \vert d_i)} \end{align}\]注意这里 $ P(w_j \vert z_k) $ 被视为一个 parameter，是 $ \theta $ 的一部分。因为这里涉及到了 $ w $ 和 $ d $ 二维，所以 EM 的计算也有两次，有点类似二维的偏微分的感觉。具体就不展开了，需要深入研究的时候再说。
Comments