10 人工神经网络：从经济学视角

今日议程：超越线性

1. 核心内容· 回顾与反思：线性模型的局限性
2. 核心内容· 核心思想：用生物学“启发”数学模型
3. 核心内容· 基本构件：从单个“神经元”开始
4. 核心内容· 关键创新：激活函数引入非线性
5. 核心内容· 构建网络：从感知机到多层网络 (MLP)
6. 核心内容· 模型学习：梯度下降与反向传播
7. 核心内容· 中国市场实战：时间切分、阈值确定与一次测试期检查
8. 拓展内容（可选）· CNN 与模型史：末页返回 核心内容泄漏检查与迁移

线性假设的“美丽”与“哀愁”

线性关系意味着：自变量 \(X\) 每增加一个单位，因变量 \(Y\) 的变化是恒定的 (\(\beta\))。

但现实世界总是这么简单吗？

现实世界：复杂的非线性关系

许多经济现象无法用一条直线来完美描述。

• 边际效用递减: 收入增加带来的幸福感提升，在高收入区间会越来越小。
• 拉弗曲线: 税率和税收收入之间的关系是一个“倒U型”。
• 金融市场的“恐慌”与“贪婪”: 资产价格对消息的反应不是线性的，而是存在阈值和剧烈波动的。

当面对这些复杂的非线性关系时，传统计量经济学模型可能力不从心。

例1：边际效用递减

收入越高，同样一笔钱带来的幸福感增量越小。

例2：拉弗曲线

税率并非越高越好，过高的税率会抑制经济活动，反而导致税收收入下降。

灵感来源：人脑的神经元

在深入数学模型之前，让我们先看看它的灵感来源。一个生物神经元主要由三部分组成：

• 树突 (Dendrites): 接收来自其他神经元的信号。
• 细胞体 (Soma): 处理接收到的信号。
• 轴突 (Axon): 将处理后的信号传递出去。

信号通过 突触 (Synapse) 在神经元之间传递。

抽象为数学模型：McCulloch-Pitts 神经元

1943年，Warren McCulloch 和 Walter Pitts 提出了第一个神经元的数学模型，被称为“M-P模型”。

它模拟了生物神经元的两个关键过程：

1. 信号累加: 接收来自多个上游神经元的输入信号，并将它们加权求和。
2. 激活决策: 将加权和与一个阈值 (Threshold) 进行比较。如果超过阈值，神经元就被“激活”，输出一个信号；否则，保持“抑制”，不输出信号。

M-P模型 第1步：信号累加

假设一个神经元接收到来自 p 个其他神经元的输入信号 \(x_1, x_2, \dots, x_p\)。

首先，进行 线性变换 (加权求和):

\[ \large{u = \sum_{i=1}^{p} w_i x_i} \]

这里的 \(w_i\) 代表第 \(i\) 个连接的“权重”，模拟了突触的强度。权重越高，表示该输入信号越重要。

M-P模型 第2步：激活决策

然后，将加权和 \(u\) 与阈值 \(\theta\) 进行比较：

\[ \large{y = \begin{cases} 1, & \text{if } u \ge \theta \quad \text{(激活)} \\ 0, & \text{if } u < \theta \quad \text{(抑制)} \end{cases}} \]

这是一种“全有或全无”的响应模式。就像一个开关，要么打开 (1)，要么关闭 (0)。

M-P模型的图形化表示

我们可以将M-P模型用一个简单的计算图来表示。

一个更简洁的表达：引入偏置项

在实际应用中，处理阈值 \(\theta\) 并不方便。我们可以做一个简单的代数变换。

令 \(b = -\theta\)，这个 \(b\) 被称为 偏置 (Bias)。

那么， \(u \ge \theta\) 就等价于 \(u - \theta \ge 0\)，即 \(u + b \ge 0\)。

这样，我们可以将偏置项 \(b\) 看作是一个特殊的权重，它对应的输入恒为1。

\[ \large{z = (\sum_{i=1}^{p} w_i x_i) + b} \]

激活过程就变成了判断 \(z\) 是否大于或等于0。

饱和激活函数 1: Sigmoid

Sigmoid 函数，也叫 Logistic 函数，是早期神经网络最常用的激活函数之一。

\[ \large{\sigma(z) = \frac{1}{1 + e^{-z}}} \]

• 作用: 将任意实数输入压缩到 \((0, 1)\) 区间。
• 概率解读条件: 在二分类输出层与 Bernoulli 似然/交叉熵等合适的概率目标配合时，Sigmoid 可参数化概率；实际校准仍需在验证数据上检查。

Sigmoid 的优点与缺点

Sigmoid 函数及其导数的可视化

导数: \(\sigma'(z) = \sigma(z)(1 - \sigma(z))\)

饱和激活函数 2: Tanh

双曲正切函数 (Tanh) 是 Sigmoid 函数的一个变体。

\[ \large{\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}} = 2\sigma(2z) - 1} \]

• 作用: 将输入压缩到 \((-1, 1)\) 区间。
• 核心优势：

  • 零中心化 (Zero-centered) 指值域与函数图像关于 0 对称，不保证任意数据上的实现激活均值为 0。

  • 在前激活分布近似对称等条件下，这可改善梯度方向；实际收敛仍取决于分布与优化设置。

Tanh 的优点与缺点

Tanh 函数及其导数的可视化

导数: \(\tanh'(z) = 1 - \tanh^2(z)\)

现代主流：ReLU (Rectified Linear Unit)

校正线性单元 (ReLU) 是目前最受欢迎的激活函数，尤其是在深度学习领域。

\[ \large{\text{ReLU}(z) = \max(0, z) = \begin{cases} z, & \text{if } z > 0 \\ 0, & \text{if } z \le 0 \end{cases}} \]

它就像一个“判断规则”，负数一律拦下（归零），正数直接放行。

ReLU 的优点与缺点

Leaky ReLU 函数及其导数的可视化

数学导数: \(\text{LeakyReLU}'(z) = \begin{cases} 1, & z > 0 \\ \alpha, & z < 0 \end{cases}\)；当 \(\alpha\ne1\) 时，\(z=0\) 处不存在导数。实现中可单独约定折点梯度，但不得把该约定写成数学导数。

从单个神经元到网络：感知机

1957年，Frank Rosenblatt 提出了感知机 (Perceptron)，它可以被看作是第一个完整的、可以学习的神经网络模型。

• 结构: 只有一个 M-P 模型的神经元。

• 激活函数: 符号函数 (Sign function)，输出 -1 或 1。

  \[ \large{\hat{y} = \text{sign}(\mathbf{w}^T \mathbf{x} + b)} \]

• 能力: 感知机是一个线性分类器。它可以在特征空间中找到一条直线（或超平面），将数据点分为两类。

感知机的学习算法：错误驱动

感知机的学习规则非常直观：“知错能改”。

1. 初始化权重 \(\mathbf{w}\) 和偏置 \(b\)。
2. 对于每一个训练样本 \((\mathbf{x}, y)\)：

   1. 用当前的参数进行预测，得到 \(\hat{y}\)。

   2. 如果预测错误 (\(y \neq \hat{y}\))，则更新参数：

      \[ \large{\mathbf{w} \leftarrow \mathbf{w} + \eta y \mathbf{x}} \]

      \[ \large{b \leftarrow b + \eta y} \]

      其中 \(\eta\) 是学习率 (learning rate)。

   3. 如果预测正确，则不进行任何操作。

3. 若数据线性可分，重复第 2 步可由感知机收敛定理保证在有限次更新后停机；

• 若不可分，则设置 max_epochs/误差容忍度并返回最佳迭代，不能等待“全部正确”。

可视化XOR问题：线性不可分

我们无法用一条直线将蓝色方块 (y=0) 和橙色三角 (y=1) 分开。

网络的深度与宽度

如何训练MLP：核心思想

我们有了网络结构，但如何为这个包含成千上万个参数（所有W和b）的网络找到最优的参数值呢？

1. 定义损失函数 (Loss Function): 首先，我们需要一个函数来衡量模型预测的“有多差”。
   • 回归问题: 均方误差 (MSE)
   • 分类问题: 交叉熵 (Cross-Entropy)
2. 目标: 找到一组参数 \((\mathbf{W}, \mathbf{b})\)，使得在整个训练集上的总损失最小。
3. 方法: 使用梯度下降 (Gradient Descent) 算法。

梯度下降的数学表达

参数的更新规则是：

\[ \large{\theta_{\text{new}} = \theta_{\text{old}} - \eta \nabla_{\theta} J(\theta)} \]

• \(\theta\): 代表模型的所有参数 (W, b)。
• \(J(\theta)\): 是损失函数。
• \(\nabla_{\theta} J(\theta)\): 是损失函数对参数的梯度。它指向上升最快的方向。
• \(-\nabla_{\theta} J(\theta)\): 指向下降最快的方向。
• \(\eta\): 是学习率 (learning rate)，决定了你每一步迈多大。

最大的挑战：如何计算梯度？

对于一个深层网络，损失函数是关于成千上万个参数的极其复杂的复合函数。

\[ \large{L = f_L(f_{L-1}(\dots f_1(\mathbf{x}; \mathbf{W}^{(1)}, \mathbf{b}^{(1)}); \dots); \mathbf{W}^{(L)}, \mathbf{b}^{(L)})} \]

直接对它求导几乎是不可能的。我们需要一种高效的算法来计算这个梯度。

实战：用本地沪深300数据预警下一月下行

我们使用本地真实沪深300日行情构造月度任务：在月末 (t) 用截至当月可见的信息预测 (t+1) 月收益是否为负。

• 文件/key：data/index/hs300_index_only.h5 / hs300
• 原始字段：datetime, close, volume, total_turnover；价格为指数点位，成交额单位沿用数据字典
• 样本期：2005-01-01 至 2024-12-31；目标只表示下一月沪深300收益方向
• 评估：前 70% 训练、随后 15% 验证、最后 15% 测试；完全保持时间顺序

步骤1: 获取和准备数据

from pathlib import Path  # 使用路径对象定位本地指数文件
import numpy as np  # 计算对数变化与有限值
import pandas as pd  # 读取日行情并按月聚合

# 公网下载：https://assets.qiufei.site/data/index/hs300_index_only.h5
# 下载后把下一行改为本机文件位置；按课程结构存放时可用 Path("data/index/hs300_index_only.h5")。
# Windows：Path(r"C:\qiufei\data\index\hs300_index_only.h5")
# macOS：Path("/Users/你的用户名/data/index/hs300_index_only.h5")
# Linux：Path("/home/你的用户名/data/index/hs300_index_only.h5")
index_path = Path("/home/ubuntu/r2_data_mount/data/index/hs300_index_only.h5")
daily_index = pd.read_hdf(index_path, key='hs300')  # 从固定HDF key读取真实日行情
daily_index['date'] = pd.to_datetime(daily_index['datetime'].astype(str), format='%Y%m%d%H%M%S')  # 解析本地时间戳
daily_index = daily_index.query("'2005-01-01' <= date <= '2024-12-31'").set_index('date').sort_index()  # 固定样本期和顺序
monthly_index = daily_index.resample('ME').agg(close=('close', 'last'), turnover=('total_turnover', 'sum'))  # 汇总月末点位和月成交额
monthly_index['monthly_return'] = monthly_index['close'].pct_change()  # 计算当月收益率
monthly_index['momentum_3m'] = monthly_index['close'].pct_change(3)  # 计算截至月末的三月动量
monthly_index['realized_volatility'] = daily_index['close'].pct_change().rolling(20).std().resample('ME').last() * np.sqrt(20)  # 计算20日月化波动率
monthly_index['turnover_growth'] = monthly_index['turnover'].pct_change()  # 计算当月成交额增长
monthly_index['next_month_return'] = monthly_index['monthly_return'].shift(-1)  # 对齐下一月实际收益
monthly_index['target_date_t1'] = monthly_index.index.to_series().shift(-1)  # 保存下一月标签实际实现日
feature_columns = ['monthly_return', 'momentum_3m', 'realized_volatility', 'turnover_growth']  # 固定月末可获得的四个输入字段
analysis_frame = monthly_index.dropna(subset=feature_columns + ['next_month_return', 'target_date_t1']).copy()  # 先删除未来连续收益未知的末期月份
analysis_frame['next_month_down'] = analysis_frame['next_month_return'].lt(0).astype(int)  # 仅对已观测未来收益构造二元标签
label_realization_date = analysis_frame.index + pd.offsets.MonthEnd(1)  # 记录每个月末标签实际实现的下一月末
assert (analysis_frame['target_date_t1'].dt.to_period('M') == analysis_frame.index.to_period('M') + 1).all()  # 确认标签来自严格下一自然月
display(analysis_frame.head())  # 展示真实输入字段与标签构造

步骤2: 定义特征和目标，并划分数据集

input_feature_matrix = analysis_frame[feature_columns]  # 构造按日期排序的特征矩阵
target_values = analysis_frame['next_month_down']  # 提取下一月下行目标
train_end = int(len(analysis_frame) * .70)  # 将最早70%月份作为训练期
validation_end = int(len(analysis_frame) * .85)  # 将随后15%月份作为验证期
validation_start_date = analysis_frame.index[train_end]  # 从完整序列确定验证起点
test_start_date = analysis_frame.index[validation_end]  # 从完整序列确定测试起点
train_mask = (analysis_frame.index < validation_start_date) & (analysis_frame['target_date_t1'] < validation_start_date)  # 清除到验证期才实现的训练标签
validation_mask = (analysis_frame.index >= validation_start_date) & (analysis_frame.index < test_start_date) & (analysis_frame['target_date_t1'] < test_start_date)  # 清除到测试期才实现的验证标签
test_mask = analysis_frame.index >= test_start_date  # 确定测试特征窗口
training_features, y_train = input_feature_matrix.loc[train_mask], target_values.loc[train_mask]  # 保留清除后的最早训练窗口
validation_features, y_validation = input_feature_matrix.loc[validation_mask], target_values.loc[validation_mask]  # 保留清除后的连续验证窗口
testing_features, y_test = input_feature_matrix.loc[test_mask], target_values.loc[test_mask]  # 将最新15%月份确定为测试期
assert analysis_frame.loc[train_mask, 'target_date_t1'].max() < validation_features.index.min() and analysis_frame.loc[validation_mask, 'target_date_t1'].max() < testing_features.index.min()  # 确认标签实现边界
split_summary = pd.DataFrame({'start': [training_features.index.min(), validation_features.index.min(), testing_features.index.min()], 'end': [training_features.index.max(), validation_features.index.max(), testing_features.index.max()], 'size': [len(training_features), len(validation_features), len(testing_features)], 'down_rate': [y_train.mean(), y_validation.mean(), pd.NA]}, index=['train', 'validation', 'test'])  # 汇总边界，但在确定阈值前隐藏测试期标签比例
display(split_summary)  # 核查时间边界严格递增

步骤4: 构建和训练MLP模型

# 导入依赖以支持本页的数据处理、建模或可视化。
from sklearn.neural_network import MLPClassifier
# 构建MLP模型
mlp = MLPClassifier(
    hidden_layer_sizes=(50, 50),
    activation='relu',
    solver='adam',
    max_iter=500,
    random_state=42
)
# 训练模型
print("开始训练模型...")  # 展示当前步骤的结果。
# 执行 `mlp.fit`，生成当前步骤需要的结果或可视化。
mlp.fit(scaled_training_features, y_train)
print(f'迭代次数={mlp.n_iter_}；是否在上限前收敛={mlp.n_iter_ < mlp.max_iter}')  # 明示本次优化是否收敛

开始训练模型...
迭代次数=500；是否在上限前收敛=False

步骤6: 用确定阈值打开一次测试检查

from sklearn.metrics import average_precision_score, classification_report, roc_auc_score  # 同时评价类别与排序表现

# 用确定操作点完成唯一的测试检查
y_prob = mlp.predict_proba(scaled_testing_features)[:, 1]  # 首次生成测试期下行概率
y_pred = (y_prob >= selected_cost_threshold).astype(int)  # 套用测试打开前已确定的成本阈值
test_cost_confusion = confusion_matrix(y_test, y_pred)  # 在同一次检查中保存成本混淆矩阵

print("分类报告 (测试集):")  # 标明分类指标来自从未参与调参的测试窗口
# target_names 用于给类别0和1命名
print(classification_report(y_test, y_pred, target_names=['上涨/持平', '下跌']))  # 展示当前步骤的结果。
print(f'验证期 ROC-AUC: {roc_auc_score(y_validation, y_validation_prob):.3f}')  # 报告验证窗口排序能力
print(f'测试期 ROC-AUC: {roc_auc_score(y_test, y_prob):.3f}')  # 报告确定测试窗口排序能力
print(f'测试期 AP（平均精度）: {average_precision_score(y_test, y_prob):.3f}')  # 报告对下行类别更敏感的指标
print(f'确定阈值测试成本: {4 * test_cost_confusion[1, 0] + test_cost_confusion[0, 1]}')  # 在同一次检查中报告完整成本

分类报告 (测试集):
              precision    recall  f1-score   support

       上涨/持平       0.36      0.71      0.48        14
          下跌       0.50      0.18      0.27        22

    accuracy                           0.39        36
   macro avg       0.43      0.45      0.37        36
weighted avg       0.44      0.39      0.35        36

验证期 ROC-AUC: 0.343
测试期 ROC-AUC: 0.412
测试期 AP（平均精度）: 0.566
确定阈值测试成本: 76

拓展路径（可选）：卷积神经网络 (CNN)

前面介绍的MLP是全连接的，即每一层的神经元都与前一层的所有神经元相连。

当处理图像、时间序列这类具有空间或时间结构的数据时，全连接网络的参数量会急剧膨胀，并且无法有效利用数据的局部结构。

卷积神经网络 (Convolutional Neural Network, CNN) 是一种特殊的前馈神经网络，它通过局部连接和权值共享来解决这些问题。

CNN的核心思想：像看图一样分析数据

CNN的设计灵感来源于生物的视觉皮层。

1. 感受野 (Receptive Field): 每个神经元只关注输入的一个小区域（局部连接）。
2. 特征图 (Feature Map): 一个“滤波器”或“卷积核 (Kernel)”会滑过整个输入，寻找特定的模式（如边缘、角点），生成一张特征图（权值共享）。

这就像我们看一张照片，不会一下子处理所有像素，而是先识别出局部的线条、形状，再组合成更复杂的物体。

CNN的关键层：卷积层 (Convolutional Layer)

卷积核在每个位置与局部输入逐元素相乘并求和（再加偏置），从而提取局部特征。

CNN的关键层：池化层 (Pooling Layer)

池化层（也叫下采样层）通常跟在卷积层之后。

目的:

1. 下采样: 减小特征图尺寸；池化本身没有可学习参数，并可减少后续层的计算量与参数量。
2. 局部平移容忍: 对池化窗口内的小幅位移较不敏感；这不等同于旋转不变性，也不能保证全局平移不变。

常用方法:

• 最大池化 (Max Pooling): 在一个区域内，只取最大值。
• 平均池化 (Average Pooling): 在一个区域内，计算平均值。

可视化最大池化与平均池化

下图展示了在一个 4x4 的特征图上进行 2x2 最大池化的过程。

CNN在经济学中的应用？

虽然CNN最初为图像识别而生，但其核心思想——识别局部模式——可以应用于经济学：

• 时间序列分析: 可以将一段金融时间序列（如股票价格）看作一个一维“图像”，CNN可以用来识别“头肩顶”、“W底”等技术分析形态。
• 文本分析: 可以将句子中的词向量矩阵看作二维图像，CNN可以用来提取文本的局部语义特征，用于分析财报、新闻的情感或主题。
• 卫星图像分析: 利用夜间灯光、港口船只等卫星图像数据来预测区域经济活动。

神经网络发展史：著名模型概览

自2012年以来，深度学习领域涌现了许多有代表性的CNN架构。了解它们有助于我们理解神经网络是如何一步步变得更深、更强大的。

• LeNet-5 (1998): 现代CNN的鼻祖。
• AlexNet (2012): 在大规模 ImageNet 训练中推广了 ReLU、Dropout 与 GPU 的组合。
• VGGNet (2014): 证明了网络深度的重要性。
• GoogLeNet (2014): 引入“Inception模块”，提升了网络的宽度和效率。
• ResNet (2015): 引入“残差连接”，解决了极深网络的训练问题。

LeNet-5 (1998): 经典结构的奠基者

由 Yann LeCun 提出，用于识别支票上的手写数字。 它的经典架构 [卷积 -> 池化 -> 卷积 -> 池化 -> 全连接 -> 输出] 至今仍在沿用。

AlexNet (2012): 深度学习的“大爆炸”

AlexNet 在 2012 年的 ImageNet 竞赛中以巨大优势夺冠，宣告了深度学习时代的到来。

关键贡献:

• 在 ImageNet 规模上成功训练了当时较深的 CNN。
• 广泛使用 ReLU 激活函数，加快了训练。
• 使用 Dropout 缓解过拟合，并用数据增强改善泛化。
• 使用多 GPU 并行计算，使大规模训练成为可复现的重要进展。

来源与延伸阅读

• Goodfellow, I., Bengio, Y., and Courville, A. (2016), Deep Learning, MIT Press。
• Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1986), “Learning Representations by Back-propagating Errors,” Nature。
• scikit-learn User Guide：MLPClassifier、TimeSeriesSplit 与 probability calibration；分别对应拟合、时间评估与可靠性诊断。
• 数据：本地 hs300_index_only.h5 / hs300；所有评估与混淆矩阵来自同一运行分析步骤。

拓展内容 总结：CNN 与模型历史

CNN 通过局部连接、权重共享与池化处理空间结构；模型史展示这些构件如何演化为更深的架构。

结论：经济学建模的新范式

• 捕捉非线性: 神经网络的核心优势在于其强大的非线性拟合能力，能够帮助我们理解传统线性模型无法解释的复杂经济关系。
• 数据驱动: 它们是高度数据驱动的模型，能够从大规模数据中自动学习特征和模式。
• 强大的工具箱: 核心内容建立 MLP 的训练与评价分析步骤；CNN 等结构在拓展内容 中按数据结构扩展。

未来展望与注意事项

• 可解释性 (XAI)：

  • 神经网络常被称为“黑箱模型”，其决策过程不透明。

  • 这是其在政策建议、信贷评估等高风险领域应用的主要障碍，也是当前的研究热点。

• 因果推断：

  • 神经网络擅长预测（发现相关性），但不能直接用于因果推断。

  • 将神经网络与因果推断框架（如双重差分、工具变量法）结合是前沿研究方向。

• 更多模型: 我们今天只介绍了前馈网络。对于时间序列数据，循环神经网络 (RNN) 及其变体（如 LSTM, GRU）是更自然的选择。

谢谢！

Q & A