机器学习

概述

机器学习是 AI 的核心方法论。从监督学习到无监督学习，从强化学习到搜索求解与逻辑推理，这一知识链覆盖了经典 ML 的完整范式。

• 机器学习-概览：ML 全景图——算法分类、应用场景与学习路线
• 机器学习-核心概念：监督/无监督/半监督学习、偏差-方差权衡、过拟合与欠拟合、正则化
• 机器学习-基础代码：用 scikit-learn 快速搭建分类、回归模型的代码模板

核心知识

三大学习范式

• 监督学习：经典分类与回归范式
  • 机器学习-决策树：ID3/C4.5/CART 算法原理
  • 机器学习-KNN算法：k近邻分类与回归
  • 机器学习-逻辑回归：对数几率模型与梯度优化
  • 机器学习-集成学习：Bagging/Boosting/Stacking 集成方法
• 无监督学习：无标签数据的模式发现
  • 机器学习-聚类：K-means/HDBSCAN/谱聚类等算法
• Knowledge/AI/强化学习：MDP、Q学习、策略优化与深度强化学习

搜索与推理

• 机器学习-搜索求解：搜索算法基础、启发式搜索、对抗搜索、蒙特卡洛树搜索
• 机器学习-人工智能博弈：博弈论概念、纳什均衡、策略求解
• 机器学习-逻辑与推理：命题逻辑、谓词逻辑、知识图谱推理、因果推理

序列与概率模型

• 隐马尔可夫模型（HMM）：五元组定义、前向-后向/Viterbi/Baum-Welch 三问题
• 期望最大化算法（EM）：隐变量参数估计、GMM/HMM/K-means 的 EM 特化
• 隐含狄利克雷分配（LDA）：文档-主题-词三层生成模型与主题发现

降维与语义分析

• 奇异值分解与潜在语义分析（SVD_LSA）：截断 SVD 最优近似、LSA 语义空间映射

推荐系统

• 推荐系统与协同过滤：协同过滤/矩阵分解、冷启动与评估指标

特征工程与模型优化

• 机器学习-特征工程：特征选择、特征构造、特征缩放、类别编码——数据质量决定模型上限
• 机器学习-模型评估：准确率/精确率/召回率/F1/AUC-ROC，不同场景选不同指标
• 机器学习-模型调优：网格搜索、随机搜索、贝叶斯优化
• 机器学习-GBDT：梯度提升决策树与 XGBoost/LightGBM/CatBoost 三大实现

经典算法补充

• 线性回归：最小二乘法、梯度下降、正则化——回归分析的入门基石
• 时间序列预测：ARIMA/Prophet/LSTM——时序数据的建模范式

工程与调试

• 上限分析：逐模块定位最佳改进方向
• MapReduce 训练：数据并行梯度汇总、同步 vs 异步 SGD
• 人工数据合成：程序化/扰动/GAN/LLM 四类合成策略
• 梯度检验：数值梯度验证反向传播实现正确性

实战案例

• 机器学习-案例：端到端机器学习项目完整流程，从数据清洗到部署

学习路径

核心概念 → 特征工程 → 基础代码（scikit-learn） → 监督学习 → 无监督学习 → 强化学习 → 搜索求解 → 博弈 → 逻辑推理 → 模型评估 → 模型调优 → GBDT → 实战案例

建议从监督学习入手建立 ML 基本直觉，再逐步扩展到无监督和强化学习范式。

关联专题

• 深度学习基础-MOC：从 ML 到 DL 的自然延伸