隐马尔可夫模型(HMM)
HMM 建模隐藏状态序列与观测序列之间的概率关系,是经典的序列标注与时序建模方法。
五元组
- :隐藏状态数; :观测值数
- :状态转移矩阵( )
- :发射概率矩阵( )
- :初始状态概率
两个核心假设
- 齐次马尔可夫: 时刻状态仅依赖 时刻
- 观测独立: 时刻观测仅依赖当前状态
三大基本问题
| 问题 | 目标 | 算法 |
|---|---|---|
| 概率计算 | 给定 ,求 | 前向-后向算法 |
| 解码 | 求最可能的状态序列 | Viterbi 算法 |
| 学习 | 估计参数 | Baum-Welch(EM) |
应用
词性标注(POS Tagging)、命名实体识别(NER)、语音识别(GMM-HMM)。在深度学习时代,HMM 的序列建模角色多被 RNN/LSTM/Transformer 替代,但 Viterbi 解码仍常用于 CRF 层。