逻辑回归

基本概念

• 逻辑回归（Logistic Regression）

• 利用 Sigmoid 函数 对 一个或多个自变量（特征值）与因变量（目标类别）之间 的关系进行建模的一种分类模型。

• 其本质是：先通过线性组合计算一个“得分”，再通过 Sigmoid 函数将其映射为概率值，从而实现对离散类别的预测。

• 虽然名称含“回归”，但它是用于解决分类问题（尤其是二分类）的经典算法，也可通过 One-vs-Rest 或 Softmax 扩展至多分类。

  📌核心思想：

  1. 利用线性模型 ​ ​ ，根据特征的重要性计算一个“线性得分”；

  2. 再使用 Sigmoid 函数将该得分映射为概率值 ；

  3. 设置阈值（如 0.5）：若 ​ ​ ，则预测为正类（如 1）；否则预测为负类（如 0）。

• 输入/输出：

  • 输入：特征向量 ​ ​

  • 输出：属于正类的概率值 ，最终通过阈值转换为类别标签（如 0 或 1）

  将线性回归的输出作为逻辑回归的输入

• 假设函数（Hypothesis Function，预测函数） ：

  其中 是 Sigmoid 函数，它将线性输出压缩到 区间，便于解释为“概率”。

• 💡为什么用 Sigmoid？

  • 将无限范围的线性输出 映射到 ​，符合概率定义；

  • 函数连续可导，便于梯度下降优化；

  • 在 ​ ​ 附近变化最敏感，利于区分边界样本。

• 损失函数

  ​损失函数 = - 极大似然估计函数​

  设计思想：预测值为 A、B 两个类别，真实类别所在的位置，概率值越大越好

数学模型

sigmoid 函数

​sigmoid​ 函数（也称为S型函数，激活函数）

• 作用：把 映射到 ，即：将预测值映射到

• 公式：

• 数学性质：

  • 单调递增函数

  • 拐点在 的位置

• 导函数公式：

概率

• 概率：事件发生的可能性

• 联合概率：指两个或多个随机变量同时发生的概率

• 条件概率：表示事件 在另一个事件 ​已经发生条件下的发生概率，

极大似然估计

• 核心思想：选择一组模型参数，使得当前观测到的训练数据在该参数下出现的概率（即‘似然’）最大

• 作用：通过极大化概率事件，来估计最优参数

1. 观测数据：

2. 似然函数（Likelihood Function）

   在给定参数 下，观测到当前数据集 的联合概率：

   【注】这里把 看作变量，数据 （即：产生的现象）是固定的

   由于连乘计算不便且易下溢，通常取对数

   对数似然函数（Log-Likelihood）（单调变换，不改变极值点）：

3. 极大似然估计的目标

   找到使似然函数（或对数似然）最大的参数 ：

• 【例子】估计硬币正面朝上的概率

  假设正面（记为 1）概率为 ，反面（记为 0）概率为

  • 独立抛了 10 次，观测结果：

  • 每次抛硬币服从伯努利分布（Bernoulli） ：

    似然函数：

    代入数据：

    对数似然函数：

  • 最大化对数似然（求导并令导数为 ）：

    解得：

‍

---