01 机器学习基础

两种文化的视觉对比

两种方法论在模型选择和目标上存在根本差异。

为何预测对经济学家很重要？

在数据驱动的时代，预测能力本身就是一种强大的经济工具。

• 金融市场: 预测资产价格、波动性和信用风险。
• 宏观经济: 预测通货膨胀、GDP增长和失业率，为政策制定提供依据。
• 企业决策: 预测产品销量、客户流失率和供应链需求。
• 政策评估: 预测一项政策（如税收减免）可能带来的经济影响。

因果推断解释过去，精准预测洞见未来。两者结合，威力倍增。

本章目标：构建机器学习的完整思维框架

学完本章，你将能从“四大支柱”的角度，系统性地理解任何机器学习项目。

支柱 I: 定义问题 (Framing)

这是所有工作的起点。

在开始任何技术细节之前，必须清晰地定义业务问题，并将其转化为一个明确的机器学习任务。

• 你要预测什么？
  • 一个连续的数值 (e.g., 明天的股价) \(\rightarrow\) 回归 (Regression)
  • 一个离散的类别 (e.g., 客户是否会违约) \(\rightarrow\) 分类 (Classification)
• 你拥有什么数据？
  • 数据是否带有我们想预测的“答案”（即标签 y）？
    • 是 \(\rightarrow\) 监督学习 (Supervised Learning)
    • 否 \(\rightarrow\) 无监督学习 (Unsupervised Learning)

支柱 II: 定义模型 (Modeling)

模型，本质上是一个数学函数 \(f(x, \theta)\)，它试图捕捉输入特征 \(x\) 和输出 \(y\) 之间的关系。

• \(x\): 输入的特征向量 (e.g., 房屋面积、地段)。
• \(\theta\): 模型的参数。这些是需要通过“学习”来确定的值 (e.g., 线性回归中的系数)。
• \(f\): 函数的形式。这是我们作为建模者需要选择的。

模型的选择范围极广：

• 简单模型: 线性回归、逻辑回归 (可解释性强)。
• 复杂模型: 随机森林、梯度提升树、神经网络 (预测能力强)。

支柱 III: 定义“好坏” (Evaluation)

如何客观地衡量一个模型的好坏？我们需要一个评估指标。

• 这个指标必须能反映业务目标。
• 开发阶段在独立验证期计算；模型设置确定后，再在从未参与选择的测试期做一次最终报告。

常见的评估指标：

• 回归任务:
  • 均方误差 (Mean Squared Error, MSE)
  • 决定系数 (R-squared, R²)
• 分类任务:
  • 准确率 (Accuracy)
  • 精确率 (Precision)、召回率 (Recall)、F1-Score

支柱 IV: 定义“学习” (Optimization)

“学习”的过程，就是自动寻找最佳参数 \(\theta\) 的过程。

1. 我们首先定义一个损失函数 (Loss Function) \(J(\theta)\)，它衡量在当前参数 \(\theta\) 下，模型的预测有多差。损失越小，模型越好。

2. 然后，我们使用一个优化算法 (Optimizer)，如梯度下降法，来系统地、迭代地调整参数 \(\theta\)，以找到使损失函数 \(J(\theta)\) 最小化的那组值 \(\theta^*\)。

\[ \large \theta^* = \arg\min_{\theta} J(\theta) \]

什么是机器学习？—— 从数据中学习函数

机器学习 (ML) 的本质是让计算机从数据中自动地、而不是通过显式编程，学习出一个函数，这个函数能对未知数据做出预测。

机器学习的数据表示：万物皆可为向量

在机器学习中，我们需要将现实世界中的事物转化为计算机可以理解的语言——数字。

• 数据集 (Dataset): N 个样本的集合 \(X = \{x_1, x_2, \dots, x_N\}\)。
• 样本 (Sample): 每一个独立的数据点 (一栋房子、一个客户)。
• 特征 (Feature): 描述一个样本的各个维度 (面积、卧室数量)。
• 特征向量 (Feature Vector): 一个样本的所有特征组成的向量 \(x = (x_{\text{面积}}, x_{\text{卧室}}, \dots)^T\)。
• 标签 (Label): 我们希望预测的目标值 y (房价)。

从现实世界到数学对象

这个转换过程是数据预处理的核心。

一个样本 = d 维空间中的一个点

一旦我们将样本表示为特征向量，每个样本就可以被看作是 d 维特征空间中的一个点。

这为我们用几何的视角理解机器学习算法提供了基础。

机器学习的三大主要类别

根据我们拥有的数据（特别是是否拥有标签 y），机器学习任务可以分为三大类。

1. 监督学习 (Supervised Learning)
2. 无监督学习 (Unsupervised Learning)
3. 强化学习 (Reinforcement Learning)

我们将逐一介绍。

类别 1: 监督学习 (Supervised Learning)

当数据带有明确的“答案”或“标签”时使用。

类别 2：无监督学习

当数据没有“答案”，我们想发现其内在结构时使用。

类别 3: 强化学习 (Reinforcement Learning)

当我们需要通过与环境的“试错”来学习最优策略时使用。

聚焦监督学习：回归 vs. 分类

在经济和商业应用中，绝大多数任务都属于监督学习。它又可根据标签 y 的类型分为两大任务。

• 回归 (Regression):
  • 目标: 预测一个连续的数值。
  • 输出: \(y \in \mathbb{R}\)
  • 例子: 预测GDP增长率、公司销售额。
• 分类 (Classification):
  • 目标: 预测一个离散的类别。
  • 输出: \(y \in \{C_1, C_2, \dots, C_K\}\)
  • 例子: 判断客户是否会流失、交易是否为欺诈。

回归与分类的几何直观

黄金法则：分开使用训练、验证与测试数据

训练与验证期内部再按时间分训练与验证；测试期不参与任何模型选择。

为何必须划分？—— 过拟合的幽灵

过拟合 (Overfitting) 是指模型对训练数据学习得“太好”，以至于把数据中的噪声和偶然性也当作了普适规律。

• 表现: 在训练集上表现极好，但在测试集上表现很差。
• 原因: 模型过于复杂，相对于数据量来说自由度太高。

验证集像练习赛，可用于改进；测试集像最后一次正式检验。看过测试结果再改模型，就已把它变成验证集。

分类任务的评估基石：混淆矩阵

对于二分类问题（例如，预测客户是否违约），所有评估指标都源于一个简单的表格：混淆矩阵 (Confusion Matrix)。

• 正例 (Positive): 我们关心的事件，如“违约”、“欺诈”。
• 反例 (Negative): 其他情况，如“不违约”。
• 真/假 (True/False): 指的是预测是否正确。

理解混淆矩阵的四个象限

• TP: 预测正确，确实违约了。（命中）
• TN: 预测正确，确实没违约。（正确拒绝）
• FP: 预测错误，预测会违约，结果没有。（误报，Type I Error）
• FN: 预测错误，预测不违约，结果违约了。（漏报，Type II Error）

在金融风控等领域，FN (漏掉一个坏客户) 的代价通常远高于 FP (误判一个好客户)。

准确率陷阱：一个例子

想象一个信用卡欺诈检测场景：

• 总交易笔数: 10,000
• 正常交易: 9,990 (99.9%)
• 欺诈交易: 10 (0.1%)

如果一个“懒惰”模型将所有交易都预测为“正常”，它的表现如何？

• TP = 0, TN = 9990
• FP = 0, FN = 10
• Accuracy = (0 + 9990) / 10000 = 99.9%

这个模型准确率极高，但毫无用处，因为它一个欺诈案例也找不到。

分类指标(2): 精确率 (Precision)

精确率衡量的是所有被预测为正例的样本中，真正是正例的比例。

\[ \large \text{Precision} = \frac{TP}{TP + FP} \]

• 业务含义: “在我发出的所有欺诈警报中，有多少是真的？”
• 关注点: 预测的纯度。高精确率意味着更少的误报 (FP)。

精确率图示：交集表示真正例

分类指标(3): 召回率 (Recall)

召回率衡量的是所有真正是正例的样本中，被我们成功找出来的比例。

\[ \large \text{Recall} = \frac{TP}{TP + FN} \]

• 业务含义: “在所有实际发生的欺诈案中，我的模型成功识别了多少？”
• 关注点: 找得有多全。高召回率意味着更少的漏报 (FN)。

召回率图示：实际正例中有多少被命中

精确率-召回率权衡的可视化

分类指标(4): F1-Score

为了综合考量精确率和召回率，我们使用 F1-Score，它是两者的调和平均数。

\[ \large F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} \]

• 只有当精确率和召回率都比较高时，F1-Score才会高。
• 如果其中一个指标很低，F1-Score也会被拉低。
• 它是在不平衡数据集上比准确率更鲁棒的单一评估指标。

教学机制示意：固定计数的混淆矩阵（2/2）

Code

fig, ax = plt.subplots(figsize=(6, 4.5))
# 执行 `sns.heatmap`，生成当前步骤需要的结果或可视化。
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues',
            xticklabels=['不违约', '违约'],
            yticklabels=['不违约', '违约'], ax=ax, annot_kws={"size": 34})
ax.collections[0].colorbar.ax.tick_params(labelsize=36)  # Reveal 缩放后仍保持投影可读。
# 执行 `ax.set_ylabel`，生成当前步骤需要的结果或可视化。
ax.set_ylabel('实际', fontsize=32)
# 执行 `ax.set_xlabel`，生成当前步骤需要的结果或可视化。
ax.set_xlabel('预测', fontsize=32)
# 执行 `ax.set_title`，生成当前步骤需要的结果或可视化。
ax.set_title('混淆矩阵', fontsize=34)
ax.tick_params(axis='both', labelsize=32)
# 执行 `plt.show`，生成当前步骤需要的结果或可视化。
plt.show()  # 展示当前步骤的结果。

回归任务的评估指标：均方误差 (MSE)

对于回归任务（预测连续值），最常用的评估指标是均方误差 (Mean Squared Error, MSE)。

\[ \large \text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 \]

• \(y_i\) 是第 \(i\) 个样本的真实值。
• \(\hat{y}_i\) 是模型对第 \(i\) 个样本的预测值。
• \((y_i - \hat{y}_i)\) 是残差 (residual)。

MSE计算的是残差平方的平均值。因为它使用了平方，所以它对大的误差给予了更重的惩罚。

均方误差 (MSE) 的可视化

学习的本质：优化

我们已经定义了模型和评估标准，但机器究竟是如何“学习”的呢？学习的本质是一个优化 (Optimization) 过程。

1. 我们定义一个损失函数 (Loss Function) \(J(\theta)\)，它用来衡量在训练集上，当前参数 \(\theta\) 下模型的预测有多差。损失函数的值越小，模型表现越好。

2. “学习”的目标就是找到一组参数 \(\theta^*\)，使得损失函数 \(J(\theta)\) 最小化。

对于回归问题，MSE就是最常用的损失函数。

分类任务的损失函数：交叉熵 (Cross-Entropy)

对于 \(C\) 分类问题，我们常用交叉熵损失 (Cross-Entropy Loss)，其一般定义为：

\[ \large L(\theta) = - \frac{1}{N} \sum_{i=1}^N \sum_{c=1}^C y_{ic} \log(\hat{y}_{ic}) \]

• \(y_{ic}\): 真实标签的独热 (One-Hot) 指示变量——若样本 \(i\) 的真实类别为 \(c\)，则 \(y_{ic} = 1\)，否则为 \(0\)。
• \(\hat{y}_{ic}\): 模型预测样本 \(i\) 属于类别 \(c\) 的概率。

直观理解: 衡量模型预测的概率分布与真实的概率分布之间的“距离”。

交叉熵的二分类特例 (Binary Cross-Entropy)

当 \(C = 2\) 时，一般公式就退化为我们熟悉的二分类交叉熵：

\[ \large L(\theta) = - \frac{1}{N} \sum_{i=1}^N \left[ y_i \log(\hat{y}_i) + (1-y_i) \log(1-\hat{y}_i) \right] \]

其中 \(y_i \in \{0, 1\}\) 是真实标签，\(\hat{y}_i \in (0, 1)\) 是模型预测为类别 1 的概率。

这个函数有一个很好的特性：当模型做出非常自信且错误的预测时，损失会变得非常大，从而给模型一个强烈的“惩罚”信号。

梯度下降法的数学原理

梯度下降是一个迭代算法。在每一步 t，都按照以下规则更新参数 \(\theta\)：

\[ \large \theta_{t+1} = \theta_t - \eta \nabla J(\theta_t) \]

• \(\theta_t\): 参数在第 t 步的值。
• \(\nabla J(\theta_t)\): 损失函数 \(J\) 在 \(\theta_t\) 处的梯度。它是一个向量，指向函数值上升最快的方向。
• \(\eta\): 学习率 (Learning Rate)，它是一个超参数，控制我们每一步“走多远”。
• \(-\eta \nabla J(\theta_t)\): 我们沿着梯度相反的方向走一小步。

我们不断重复这个过程，直到参数收敛。

梯度下降法的直观理解

想象你站在一个浓雾笼罩的山坡上，能见度只有你脚下的一小块地方。为了最快下山，你应该沿着当前位置最陡峭的方向迈出一步。

在数学上，函数在某一点梯度 (Gradient) 的反方向，就是函数值下降最快的方向——这正是更新规则中 \(-\eta \nabla J(\theta_t)\) 的含义。

梯度下降法的可视化

梯度下降的变种：处理大规模数据

当我们的训练集非常大时，计算整个数据集的梯度会非常耗时。为此，我们发展出了梯度下降的变种：批量梯度下降 (Batch Gradient Descent, BGD)、随机梯度下降 (Stochastic Gradient Descent, SGD) 和小批量梯度下降 (Mini-batch Gradient Descent, MBGD)。

梯度下降变种的对比

核心内容提示：进阶优化器为拓展内容；核心内容直接进入福耀玻璃主要案例。

谢谢大家！

Q & A