命名实体识别（NER）
NER 旨在从文本中识别出预定义类别的实体（人名、地名、机构名、时间等），属于序列标注任务。
标注方案
| 方案 | 说明 | 示例 |
|---|---|---|
| BIO | B-begin / I-inside / O-outside | B-PER, I-PER, O |
| BIOES | + E-end / S-single | B-PER, I-PER, E-PER, S-LOC |
| IO | 仅分内/外 | 无法区分边界 |
经典方法演进
| 时代 | 方法 | 特点 |
|---|---|---|
| 规则 | 字典+正则 | 准确率高，召回率低 |
| 统计 | CRF（条件随机场） | 手工特征 + Viterbi 解码 |
| DL | BiLSTM-CRF | 自动特征提取 + CRF 约束 |
| 预训练 | BERT-CRF | 上下文表示 + CRF 层 |
| LLM | GPT/BERT 实体分类 | 用 prompt 或微调做 NER |
核心挑战
- 嵌套实体（如 "北京大学" 中的 "北京" 是地点、"北京大学" 是机构）
- 未见实体：开放域 OOV 实体
- 实体消歧：如 "苹果" 是水果还是公司