07 集成学习

三个臭皮匠，赛过诸葛亮

在金融与经济中，预测无处不在

我们依赖各种模型进行关键决策：

核心问题：单一模型 vs. 群体智慧

任何一个单一模型都可能存在缺陷、偏差或错误。

本章要探讨的问题是：

如果我们将许多“还不错”的模型结合起来，能否得到一个“非常强大”的超级模型？

剧透一下：答案是肯定的。这个方法就叫做集成学习 (Ensemble Learning)。

本章学习目标

完成本讲后，你能够：

1. 核心内容：用训练误差与验证误差诊断单棵决策树的过拟合。
2. 核心内容：根据偏差、方差与学习器相关性，在 Bagging 与 Boosting 之间作有证据的选择。
3. 拓展内容：手算一次熵、信息增益、基尼指数与 AdaBoost 权重更新；90 分钟核心内容只要求解释这些量如何驱动分裂与重加权。
4. 核心内容：解释为何本讲选择随机森林，并说明单棵树与 AdaBoost 的测试结果只能作为辅助比较。
5. 核心内容：从实际模型输出解释特征重要性，并说明“重要性不等于因果”。
6. 拓展内容：解释 Stacking 的样本外元特征，并与前两类机制比较。

学习内容概览

拓展内容 A：理论依据

学习提示：以下 Hoeffding 理论为拓展；课堂主线请从 决策树为何失败 继续。

为什么“群体智慧”是可靠的？

霍夫丁不等式 (Hoeffding’s Inequality)

霍夫丁不等式从概率论上给出了一个保证：

大量独立随机变量的均值，会以极高的概率收敛于其真实期望值。

换句话说，只要样本够多，样本均值就非常接近总体均值。

这听起来很抽象，我们用一个经典的抛硬币实验来理解。

直观理解：抛硬币实验

• 问题：有一枚可能不均匀的硬币，正面朝上的真实概率是 p (未知)。我们如何估计 p？
• 方法：抛 n 次，计算正面朝上的频率 h (样本均值)。
• 直觉：n 越大，h 应该越接近真实的 p。

霍夫丁不等式精确地量化了这种“接近”的程度。

霍夫丁不等式的数学表达

它告诉我们，样本均值 h 与真实期望 p 的差距大于任意小量 ε 的概率，是随着样本数 n 的增加而指数级下降的。

\[ \large{P(|h - p| > \epsilon) \le 2e^{-2n\epsilon^2}} \]

这个 \(e\) 的负指数项是关键。这意味着我们每增加一次观测（抛一次硬币），犯大错误的概率就会急剧减小。

从抛硬币到集成学习的飞跃

理论的核心结论

集成学习之所以有效，依赖于两个关键假设：

1. 独立性 (Independence)：每个“臭皮匠”的思考方式需要有差异。如果所有人都犯同样的错误，集成是没有意义的。
2. 优于随机 (Better than Random)：每个“臭皮匠”的能力都必须比瞎猜要好一点 (对于二分类问题，准确率 > 50%)。

只要满足这两个条件，我们几乎总能通过集成得到一个强大的学习器。

拓展内容 B：三种集成机制的完整展开

学习提示：以下完整机制图与 Stacking 为拓展；核心摘要位于 单树与剪枝之后。

实践中，我们如何创造出满足那两个条件的“一群臭皮匠”呢？

集成学习的三大流派

机制一：Bagging (Bootstrap Aggregating)

Bagging 的工作流程非常直观：自助采样 (Bootstrap) + 聚合 (Aggregating)。

1. 采样 (Bootstrap): 从原始训练集 D 中，进行有放回地随机抽样，生成 T 个大小相同的新训练集 D_1, D_2, ..., D_T。
2. 训练 (Train): 在每个新训练集 D_t 上，独立地、并行地训练一个基学习器 h_t。
3. 聚合 (Aggregate):
   • 分类: 简单投票。
   • 回归: 简单平均。

Bagging 工作流程图

Bagging 的魔力：降低方差

• 方差 (Variance)：模型在不同训练集上预测结果的波动程度。高方差意味着模型对训练数据过于敏感，容易过拟合 (Overfitting)。
• Bagging 为何有效：

  • 每个基学习器只看到了部分数据，它们各自的过拟合方向可能不同。

  • 通过对这些不同方向的错误进行平均或投票，总体的波动性被有效平滑，从而降低了方差。

• 最成功的应用：随机森林 (Random Forest)。

机制二：Boosting (提升法)

Boosting 是一族将弱学习器“提升”为强学习器的算法，它采用的是一种串行的、迭代的方式。

1. 初始化: 赋予所有训练样本相同的权重。
2. 迭代训练 (t=1 to T):
   1. 在当前带权重的样本集上，训练一个弱学习器 h_t。
   2. 增大被 h_t 预测错误的样本的权重。
   3. 减小被 h_t 预测正确的样本的权重。
3. 最终组合: 最终的强学习器是所有弱学习器的加权组合。

Boosting 工作流程图

Boosting 的核心：降低偏差

• 偏差 (Bias)：模型的预测值与真实值之间的系统性差距。高偏差意味着模型欠拟合 (Underfitting)，没有学到数据的基本规律。
• Boosting 为何有效：

  • 每一轮新的学习器都被迫去关注上一轮学习器“搞不定”的那些困难样本。

  • 这个过程不断地修正模型的系统性错误，逐步减小偏差。

• 著名算法：AdaBoost, Gradient Boosting Machines (GBM), XGBoost。

机制三：Stacking (堆叠法)

Stacking 是一种更精巧的组合策略，它试图学习如何“聪明地”组合基学习器的预测，而不是简单地投票或平均。

1. 第一层 (Level 0): 训练多个不同的基学习器。将它们的预测结果作为新的特征。
2. 第二层 (Level 1): 训练一个“元学习器 (Meta-Learner)”，它的输入是第一层模型的预测，输出是最终的预测。

Stacking 工作流程图

Stacking 的优势：模型融合

• 核心思想: Stacking 不是简单地组合预测，而是训练一个元模型来学习在什么情况下应该更相信哪个基模型。
• 例如: 元模型可能会学到：“如果模型A和模型B的预测很接近，但模型C的预测差很远，那么最终结果应该更倾向于A和B的平均值”。
• 应用场景: 在数据科学竞赛（如 Kaggle）中非常流行，能够将多个高性能模型的优势融合在一起，榨取最后的性能提升。

Part 3: 最受欢迎的“积木”——决策树

为什么我们花这么多时间讨论决策树？因为它是迄今为止最常用、最成功的集成学习基学习器。

决策树如何做出决策？

决策树通过一系列“是/否”问题，将复杂的数据集不断划分，直到每个子集都足够“纯净”。

• 根节点 (Root Node): 代表整个数据集。
• 内部节点 (Internal Node): 代表一个特征上的判断（一个问题）。
• 分支 (Branch): 代表这个判断的输出（问题的答案）。
• 叶节点 (Leaf Node): 代表最终的决策类别或预测值。

核心问题：如何选择“最好的”分裂？

决策树生长的关键，在于每一步都要选择一个最优的特征来分裂数据。

“最优”的标准是：分裂之后，各个子集的“纯度”最高。

“纯度”越高，意味着不确定性越小，分类越明确。

纯度 (Purity) 的直观理解

如何量化“纯度”？

我们用两个主要指标来衡量“不纯度”或“混乱程度”：

1. 信息熵 (Information Entropy) -> 用于 ID3, C4.5 算法
2. 基尼不纯度 (Gini Impurity) -> 用于 CART 算法

目标都是一样的：选择一个分裂，使得分裂后子节点的不纯度加权和最小。

度量纯度之一：信息熵

• 信息熵 H(D) 是度量一个数据集 D 不确定性或混乱程度的指标。
• 熵越大，表示数据集越混乱（混合的类别越多）。
• 熵越小，表示数据集越纯净（大部分样本属于同一类别）。

对于一个有 K 个类别的数据集 D，其信息熵定义为：

\[ \large{H(D) = - \sum_{k=1}^{K} p_k \log_2(p_k)} \]

其中 p_k 是第 k 类样本所占的比例。

熵的数值特性

假设一个数据集中只有两类：正例 (+) 和 反例 (-)。

当正反例各占一半时，不确定性最大，熵达到最大值1。

分裂标准1：信息增益 (Information Gain)

ID3 算法使用的分裂标准是信息增益。

• 思想: 计算用某个属性 A 分裂数据集 D 后，系统不确定性（熵）下降了多少。下降得越多，说明 A 这个属性用来分类的效果越好。

• 公式:

  \[ \large{\text{Gain}(D, A) = H(D) - H(D|A)} \]

  其中 H(D) 是分裂前的熵，H(D|A) 是分裂后各子集熵的加权平均，称为条件熵。

• 决策: 选择使 Gain(D, A) 最大的属性 A 作为分裂节点。

案例：计算“场景”属性的信息增益 (1/3)

让我们用一个例子，手动计算属性“场景”的信息增益。

数据集D: 15个样本, 9个“上课”(正例), 6个“自习”(反例)。

1. 计算分裂前的总熵 H(D):

\[ \large{H(D) = - \frac{9}{15} \log_2\left(\frac{9}{15}\right) - \frac{6}{15} \log_2\left(\frac{6}{15}\right) \approx 0.971} \]

案例：计算“场景”属性的信息增益 (2/3)

2. 计算按“场景”分裂后的条件熵 H(D|场景):

属性“场景”有3个取值：教室(7个)、宿舍(3个)、户外(5个)。

• 教室 (D1): 5正, 2反. \(\large{H(D_1) = - \frac{5}{7}\log_2(\frac{5}{7}) - \frac{2}{7}\log_2(\frac{2}{7}) \approx 0.863}\)
• 宿舍 (D2): 1正, 2反. \(\large{H(D_2) = - \frac{1}{3}\log_2(\frac{1}{3}) - \frac{2}{3}\log_2(\frac{2}{3}) \approx 0.918}\)
• 户外 (D3): 3正, 2反. \(\large{H(D_3) = - \frac{3}{5}\log_2(\frac{3}{5}) - \frac{2}{5}\log_2(\frac{2}{5}) \approx 0.971}\)

条件熵是加权平均:

\[ \large{H(D|\text{场景}) = \frac{7}{15}H(D_1) + \frac{3}{15}H(D_2) + \frac{5}{15}H(D_3) \approx 0.910} \]

案例：计算“场景”属性的信息增益 (3/3)

3. 计算信息增益 Gain(D, 场景):

\[ \large{\text{Gain}(D, \text{场景}) = H(D) - H(D|\text{场景})} \]

\[ \large{\approx 0.971 - 0.910 = 0.061} \]

ID3 算法会为所有属性（场景、老师、学生等）都计算信息增益，然后选择那个增益最大的属性作为第一个分裂节点。

信息增益的缺陷与改进

• 问题：

  • 信息增益准则对可取值数目较多的属性有所偏好。

  • 例如，如果用“学号”作为属性，每个学生一个分支，则每个叶子节点都无比纯净，信息增益会非常大，但这显然是过拟合。

• C4.5 算法的改进: 使用信息增益率 (Gain Ratio) 来校正这种偏好。

• 公式:

  \[ \large{\text{GainRatio}(D, A) = \frac{\text{Gain}(D, A)}{IV(A)}} \]

  其中 IV(A) 是属性A的固有值 (Intrinsic Value)，属性A的取值越多，IV(A) 通常越大，起到了惩罚作用。

度量纯度之二：基尼不纯度

CART (Classification and Regression Tree) 算法使用基尼指数来选择分裂属性。

• 基尼不纯度 Gini(D): 从数据集 D 中随机抽取两个样本，其类别标记不一致的概率。
• 基尼指数越小，数据集的纯度越高。

\[ \large{\text{Gini}(D) = \sum_{k=1}^{K} p_k (1 - p_k) = 1 - \sum_{k=1}^{K} p_k^2} \]

分裂标准2：基尼指数增益

• 思想: 选择一个属性 A 进行分裂，使得分裂后的基尼指数加权和最小。

• 公式: 对于属性 A 的某个划分 a，分裂后的基尼指数为：

  \[ \large{\text{GiniIndex}(D|A=a) = \sum_{v=1}^{V} \frac{|D^v|}{|D|} \text{Gini}(D^v)} \]

• 决策: 选择使 GiniIndex(D|A=a) 最小的属性 A 和划分 a。

• 优势: 相比于熵的计算，基尼指数不涉及对数运算，计算上更高效。

案例：计算基尼指数 (2/2)

2. 计算该划分的加权基尼指数:

\[ \large{\text{GiniIndex}(D|\text{场景=教室}) = \frac{7}{15}\text{Gini}(D_1) + \frac{8}{15}\text{Gini}(D_2)} \]

\[ \large{\approx \frac{7}{15}(0.408) + \frac{8}{15}(0.5) \approx 0.190 + 0.267 = 0.457} \]

CART 算法会遍历所有属性的所有可能二分点，计算它们的加权基尼指数，并选择最小的那个作为最优分裂点。

解决方案：剪枝 (Pruning)

为了防止过拟合，我们需要对决策树进行“剪枝”。

• 预剪枝 (Pre-pruning): 在树的生长过程中，如果一个分裂不能带来泛化性能的提升（例如，在验证集上性能下降），就提前停止分裂。
  • 优点： 速度快，生成的树更小。
  • 缺点： 可能过于“短视”，错过一些好的分裂组合。
• 后剪枝 (Post-pruning): 先生成一棵完整的决策树，然后自底向上地考察节点。如果剪掉一个子树能提升泛化性能，就把它剪掉。
  • 优点： 通常效果更好，更不容易错过好的结构。
  • 缺点： 计算开销更大。

拓展内容 C：随机森林构造与 AdaBoost 完整推导

学习提示：下面进入同一组 A 股数据的模型比较。随机森林构造与 AdaBoost 完整推导可在课后选学。

Part 4: 强大的集成模型

现在，我们把决策树这个“积木”和 Bagging/Boosting 这两种“搭建方法”结合起来。

Bagging + 决策树 = 随机森林

随机森林 (Random Forest) 是 Bagging 的一个非常成功的扩展和改进，它在 Bagging 的基础上，额外引入了特征随机性。

构建过程:

1. 进行 T 次自助采样 (Bootstrap)，得到 T 个训练子集。
2. 对每个子集训练一棵决策树。在训练这棵树的每个节点进行分裂时：
   • 不再是从所有 d 个特征中选择最优特征。
   • 而是随机选择 l 个特征 (l < d)，然后从这 l 个特征中选择最优的。
3. 最终将 T 棵树通过投票或平均进行预测。

随机森林为何更强大？“求同存异”

• 特征随机性的作用: 降低了森林中树与树之间的相关性。

• 为何降低相关性很重要：

  • 如果不随机选择特征，森林中的每棵树在顶层节点分裂时，都很可能会选择同一个最强的特征，导致所有树的结构都非常相似。

  • 这样的集成，效果就大打折扣。

• 通过强制每棵树在分裂时只能考虑一部分特征，随机森林让每棵树都从不同的“视角”去学习，变得“各有所长”。

• 当它们组合在一起时，就能形成更强大的互补效应，进一步降低整体的方差。

Boosting + 决策树 = AdaBoost

AdaBoost (Adaptive Boosting) 是 Boosting 家族最经典的算法。

核心思想的迭代循环:

1. 训练一个弱学习器 h_t。
2. 评估 h_t 的表现，赋予它一个权重 α_t (表现越好，权重越高)。
3. 根据 h_t 的预测结果，更新训练样本的权重 w (预测错误的样本权重变大)。
4. 重复此过程。

最终模型是所有弱学习器的加权组合。

AdaBoost 算法流程详解 (3/4): 更新权重

4. 更新样本权重 w: 这是算法的核心步骤。

   \[ \large{w_{t+1, n} = \frac{w_{t,n} \exp(-\alpha_t y_n h_t(x_n))}{Z_t}} \]

   (\(Z_t\) 是归一化因子，确保新权重和为1)

   直观解释:

   • 如果样本 n 被分类正确 (\(y_n h_t(x_n) = 1\))，指数项为负，w 变小。
   • 如果样本 n 被分类错误 (\(y_n h_t(x_n) = -1\))，指数项为正，w 变大。

AdaBoost 算法流程详解 (4/4): 最终组合

3. 最终输出: 将所有 T 个弱学习器按照其权重 α_t 进行加权投票，得到最终的强分类器：

\[ \large{H(x) = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)} \]

实战第2步：训练基准模型 - 单个决策树

我们先训练一个决策树作为性能基准。为了防止过拟合，我们限制其最大深度为5。

# 导入依赖以支持本页的数据处理、建模或可视化。
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score, average_precision_score, roc_auc_score  # 同时评估排序能力与少数类识别

# --- 训练模型 ---
# max_depth=5 限制树的深度，防止过拟合
dt_clf = DecisionTreeClassifier(max_depth=5, random_state=42)
# 执行 `dt_clf.fit`，生成当前步骤需要的结果或可视化。
dt_clf.fit(training_features, y_train)
dt_clf.get_params()['max_depth']  # 只核对已拟合基准模型设置；此时仍不查看测试标签

5

实战第3步：训练 Bagging 模型 - 随机森林

现在，让我们看看由100棵决策树组成的“森林”表现如何。n_estimators 就是基学习器的数量 T。

# 导入依赖以支持本页的数据处理、建模或可视化。
from sklearn.ensemble import RandomForestClassifier
# --- 训练模型 ---
# n_estimators=100: 构建100棵树
# n_jobs=-1: 使用所有CPU核心并行计算，加快速度
rf_clf = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42, n_jobs=-1)
# 执行 `rf_clf.fit`，生成当前步骤需要的结果或可视化。
rf_clf.fit(training_features, y_train)
from sklearn.metrics import precision_recall_curve  # 只用验证期确定随机森林分类阈值
validation_probability = rf_clf.predict_proba(validation_features)[:, 1]  # 在测试访问前生成验证期概率
validation_precision, validation_recall, candidate_thresholds = precision_recall_curve(y_validation, validation_probability)  # 枚举验证期 PR 分类阈值
validation_f2 = 5 * validation_precision[:-1] * validation_recall[:-1] / (4 * validation_precision[:-1] + validation_recall[:-1] + 1e-12)  # 让召回权重高于精确率
selected_threshold = candidate_thresholds[np.argmax(validation_f2)]  # 在任何测试预测前确定 F2 最高阈值
print(f'验证期确定随机森林阈值: {selected_threshold:.4f}')  # 显式记录开测试前的唯一选择

验证期确定随机森林阈值: 0.0504

观察规则：只有当实际输出更高时才称为提升；单次时间切分不构成“显著优于”的统计证据。

集成学习的另一大优势：可解释性

集成模型，特别是基于树的模型，还有一个巨大的优点：它们可以告诉我们，哪些输入特征对于做出最终决策最重要。

这在经济和金融应用中至关重要。我们不仅想预测，更想理解预测背后的驱动因素。

可视化特征重要性

让我们读取本次拟合的随机森林实际使用的字段，而不是预先写入变量名称。

Code

# 导入依赖以支持本页的数据处理、建模或可视化。
import numpy as np
# 获取特征重要性
importances = rf_clf.feature_importances_
feature_names = input_feature_matrix.columns
df_importance = pd.DataFrame({'feature': feature_names, 'importance': importances})
df_importance = df_importance.sort_values('importance', ascending=False).head(15)
# 设置绘图风格
fig, ax = plt.subplots(figsize=(10, 7), dpi=100)
# 绘图
sns.barplot(
    x='importance',
    y='feature',
    data=df_importance,
    palette='viridis',
    ax=ax
)
# 美化图表
ax.set_title('特征重要性分析 (来自随机森林)', fontsize=20, pad=20, weight='bold')
# 执行 `ax.set_xlabel`，生成当前步骤需要的结果或可视化。
ax.set_xlabel('相对重要性 (Mean Decrease in Impurity)', fontsize=20, labelpad=10)
# 执行 `ax.set_ylabel`，生成当前步骤需要的结果或可视化。
ax.set_ylabel('')
# 执行 `ax.spines['top'].set_visible`，生成当前步骤需要的结果或可视化。
ax.spines['top'].set_visible(False)
# 执行 `ax.spines['right'].set_visible`，生成当前步骤需要的结果或可视化。
ax.spines['right'].set_visible(False)
# 执行 `ax.tick_params`，生成当前步骤需要的结果或可视化。
ax.tick_params(axis='both', which='major', labelsize=12)
# 执行 `plt.tight_layout`，生成当前步骤需要的结果或可视化。
plt.tight_layout()  # 展示当前步骤的结果。
# 执行 `plt.show`，生成当前步骤需要的结果或可视化。
plt.show()  # 展示当前步骤的结果。

商业解释：从实际字段到审慎结论

Figure 2 中只可能出现 pe_ratio_ttm、pb_ratio_lf、dividend_yield_ttm、ev_to_ebitda_ttm 与 log_market_cap。先读图中实际 top-k，再结合数据字典说明含义。

MDI 偏好连续、可分裂点较多或高度相关的变量；它不提供方向，也不等于因果效应。业务解释必须同时报告样本期、代理标签与这种偏置。

来源与延伸阅读

• Breiman, L. (2001), “Random Forests”, Machine Learning, 45, 5–32；随机森林机制的邻近权威来源。
• Freund, Y. and Schapire, R. E. (1997), “A Decision-Theoretic Generalization of On-Line Learning,” Journal of Computer and System Sciences, 55, 119–139。
• scikit-learn User Guide：Decision Trees、Ensembles 与 permutation importance。
• 数据来源：本地 valuation_factors_quarterly_15_years.h5 / valuation_factors；图表由本页代码生成。

本章总结

1. 课后选学：在独立且单个模型优于随机猜测等条件下，Hoeffding 不等式可为多数投票给出指数误差界。
2. 两大路径:
   • Bagging (以随机森林为代表): 并行训练，通过投票/平均来降低方差，使模型更稳定。
   • Boosting (以AdaBoost为代表): 串行训练，迭代地关注错误样本，通过加权组合来降低偏差，使模型更准确。
3. 核心组件: 决策树是集成学习最理想的“积木”，其自身的高方差或可控的“弱”性使其能与 Bagging 和 Boosting 完美结合。
4. 本讲做法：

• 为修复高方差并保留重要性诊断，本讲事先选择随机森林，只在验证期选择并确定其阈值；

• 测试期只做一次最终检查，单树/AdaBoost 指标仅作事后描述。

• 一般项目若要选模型，也必须在训练/验证阶段完成。

• MDI 特征重要性是关联性诊断，不是因果结论。