完成本讲后，你能够（核心内容目标由 90 分钟本讲回顾验收）：
pgmpy 中完成观测条件查询，并说明因果解释所需的额外假设。先独立写下三个答案，再揭示。
\(P(A)P(B\mid A)P(C\mid A,B)\)；不会；不意味着，因果结论还需结构因果假设与可识别性。
若第 1 题答错，回到链式法则；若第 2 或 3 题答错，分别回到 d-分离或 conditioning/intervention。
想象一下预测GDP的增长。这是一个由众多相互关联的变量组成的复杂系统。
我们如何才能清晰地表示并推理这些变量之间的复杂依赖关系？
理论上，要完整描述一个系统，我们需要知道所有变量的 联合概率分布 \(P(x_1, x_2, \dots, x_d)\)。
但这是一个几乎不可能完成的任务。
想象我们有 d 个二元经济指标 (例如：加息/不加息)。
要存储它们的联合概率分布，我们需要一个参数表。
| 变量数量 (d) | 概率单元数 2^d；自由参数数 2^d − 1 | 类比 |
|---|---|---|
| 2 | 4 / 3 | 一张小纸条 |
| 10 | 1,024 / 1,023 | 一页A4纸 |
| 20 | 1,048,576 / 1,048,575 | 一本厚书 |
| 30 | 2^30 / (2^30 − 1) | 一个小型图书馆 |
| 50 | 2^50 / (2^50 − 1) | 规模已极大 |
这在计算上是完全不可行的。
大部分变量之间并不是“万物互联”的。一个变量通常只与少数几个其他变量直接相关。
与其存储一个巨大的联合表，我们可借助图结构写出局部因子；
但有向图与无向图的归一化方式不同，不能用同一个“局部概率乘积”公式代替定义。
\[ \begin{aligned} \text{BN: }&p(\mathbf x)=\prod_i p(x_i\mid x_{\mathrm{pa}(i)}),\\ \text{MRF: }&p(\mathbf x)=\frac{1}{Z}\prod_{C\in\mathcal C}\psi_C(x_C). \end{aligned} \]
而“图”结构，正是用来直观地表示哪些变量是“局部”相关的，哪些是条件独立的。
我们将主要学习两大类概率图模型，它们处理依赖关系的方式不同。
| 模型类型 | 图结构 | 边的含义 | 核心应用领域 |
|---|---|---|---|
| 贝叶斯网络 | 有向无环图 (DAG) | 编码因子分解与条件独立；满足额外假设时可赋予因果语义 | 专家系统、时序分析、因果模型 |
| 马尔可夫网络 | 无向图 | 编码势函数分解与条件独立 | 图像处理、社交网络分析、物理系统 |
今天，我们将从有向图——贝叶斯网络——开始我们的探索之旅。
我们将学习它的：
三种表示 \(d\) 维随机向量 \(\mathbf{x} = (x_1, \dots, x_d)\) 联合概率 \(P(\mathbf{x})\) 的方法：
假设所有变量相互独立。
\(P(x_1, \dots, x_d) = P(x_1)P(x_2)\dots P(x_d)\)
利用条件概率的定义，可以精确地分解任何联合概率。
\(P(x_1, \dots, x_d) = P(x_1)P(x_2|x_1)\dots P(x_d|x_1, \dots, x_{d-1})\)
PGM 提供一种可检验的折中：稀疏结构可能降低参数量与推理成本，但效果取决于图、变量基数和推理算法，并不保证“完美平衡”。
这就是概率图模型降低计算复杂度的秘密。
贝叶斯网络 (Bayesian Networks, BN)，也称为概率有向图模型 (PDGM)，使用 有向无环图 (Directed Acyclic Graph, DAG) 来编码变量间的依赖关系。
它由两部分组成：
概率 BN 只承诺： 联合分布的因子分解、局部 Markov 性与可由 d-分离读取的条件独立。
赋予因果语义所需：
结构方程/干预语义与因果 Markov 条件。
Faithfulness 是结构学习或由独立性反推图时常另加的分布假设，并非因果 DAG 本身的定义。
可识别性则针对具体 estimand/query；例如后门调整还需对应的混杂控制与正值性。
箭头方向本身不能从观测数据证明这些条件。
因此本讲 pgmpy 的 query 都是观测条件推断，除非另行建立结构因果模型。
让我们用图结构来构建一个关于学生表现的简化模型。
在有向图中，我们使用家族关系来描述节点间的关系：
parents(X3) 是 {X1, X2}。parents(X6) 是 {X4, X5}。children(X1) 是 {X3, X5}。X1, X2）只是该因子分解中的根节点；只有另有结构因果解释时，才能称为外生原因。DAG的结构直接定义了一个核心的条件独立假设: 局部马尔可夫性质：
一个节点在给定其父节点的情况下，条件独立于其所有的非后代节点。
让我们再次审视图 Figure 1：
X3:
{X1, X2}{X4, X6}{X5} (注意X1,X2是它的祖先，也算非后代)X1 和 X2 的条件下，X3 与 X5 是条件独立的。基于局部马尔可夫性质，任何一个符合DAG的联合概率分布都可以被分解为所有节点关于其父节点的条件概率的乘积。
\[ \large{P(x_1, \dots, x_d) = \prod_{i=1}^d P(x_i | \text{parents}(x_i))} \tag{1}\]
这个公式是整个贝叶斯网络的核心。
它将一个庞大、复杂的联合概率分布，分解成了一系列小规模、易于处理的 局部概率模型 (也称作条件概率分布, CPD)。
应用 Equation 1 公式到 Figure 1 的图结构上：
\[ \large{ \begin{aligned} & P(X_1, X_2, X_3, X_4, X_5, X_6) \\ & = P(X_1) \cdot P(X_2) \cdot P(X_3|X_1, X_2) \cdot P(X_4|X_3) \\ & \quad \cdot P(X_5|X_1) \cdot P(X_6|X_4, X_5) \end{aligned} } \]
现在我们有了结构，还需要为每个局部概率模型提供具体的参数。对于离散变量，这通常通过 条件概率表 (Conditional Probability Table, CPT) 来完成。
局部马尔可夫性质告诉我们一个节点与其“非后代”的独立性。但我们经常需要回答更一般性的问题：
任意两个不相干的节点集合 A 和 B，在给定第三个集合 E 的条件下，是否独立？
D-分离 (Directed Separation) 就是一套完整的、通用的规则，让我们能从图结构中直接“读取”任意条件独立性。
D-分离的核心思想是检查两组节点之间的所有路径是否被“阻断 (blocked)”。
如果 A 到 B 的 所有 路径都被观测变量集合 E 所阻断，那么 A 和 B 就是条件独立的。
若至少有 一条 路径是通的 (unblocked)，图结构就不能保证 A 与 B 条件独立；
只有再假设分布对图忠实（不存在参数抵消）时，才能把 d-连接解释为条件依赖。
任何复杂的DAG中的路径都可以被分解为三种基本连接结构。理解这三种结构是掌握D-分离的关键。
b <- a -> c
b 和 c 通过它们的共同父节点 a 连接。a 被观测到 (给定) 时，从 b 到 c 的路径被 阻断。冰淇淋销量 \(\leftarrow\) 天气炎热 \(\rightarrow\) 中暑人数如果我们已经知道了今天天气炎热，那么观察到冰淇淋销量很高并不会让我们对中暑人数的判断产生任何新的改变。
天气信息已经“解释”了两者之间的关联。
反之，如果天气未知，那么冰淇淋销量高确实会增加我们对中暑人数多的判断。
b -> a -> c
b 通过中间节点 a 影响 c。a 被观测到 (给定) 时，从 b 到 c 的路径被 阻断。美联储政策 \(\rightarrow\) 市场利率 \(\rightarrow\) 房地产价格一旦我们直接观测到了市场利率，那么美联储的具体政策是如何导致这个利率的就不再重要了。
市场利率本身已经包含了所有预测房地产价格所需的信息。
b -> a <- c
b 和 c 都是 a 的父节点。a 是它们的共同效应。a (或a的任何后代) 未被观测到 时，路径是 阻断 的。a (或a的任何后代) 被观测到 时，路径被 打通！学术才华 \(\rightarrow\) 获得终身教职 \(\leftarrow\) 学术政治手腕这个现象被称为 “解释得通 (explaining away)”。
知道一个教授有才华并不能告诉我们任何关于他政治手腕的信息（两者先验独立）。
但是，如果我们知道他获得了终身教职，然后又发现他其实没什么才华，这就强烈暗示他一定非常有政治手腕。
一条从节点集合 A 到 B 的路径被一个节点集合 E (我们观测到的变量) 阻断，如果路径上存在一个节点 v 满足以下任一条件：
v 是 tail-to-tail 或 head-to-tail 结构，并且 v 在 观测集 E 中。v 是 head-to-head 结构，并且 v 以及它的所有后代 都 不在 观测集 E 中。如果 A 到 B 的 所有路径 都被 E 阻断，那么我们就说 A 和 B 在给定 E 的条件下是 D-分离 的，即条件独立： A \(\perp\) B | E。
未观测 B 及其后代时，碰撞路径被阻断；观测 B 后路径打开，A 与 C 通常相关。
若认为“控制越多越好”，回到三种基本结构并重新标出碰撞点。
现在，我们把这些概念应用到教材第8页的经典“学生”贝叶斯网络中。这个网络模拟了影响学生最终获得推荐信(Letter)的各个因素。
这个图的结构编码了我们关于学生表现的先验信念。
先按“每个节点只条件于其父节点”写出 \(P(I,D,G,S,L)\)，再揭示。
. . .
根据上页的图结构和 Equation 1，联合概率分解为：
\[ \large{P(I, D, G, S, L) = P(I) \cdot P(D) \cdot P(S|I) \cdot P(G|I, D) \cdot P(L|G)} \]
请注意，我们大大简化了问题！例如，我们只需要 \(P(L|G)\)，而不是 \(P(L|I, D, G, S)\)。
现在我们需要为每个因子填充CPT。这些概率通常从领域专家或历史数据中估计得到。
1. 根节点 (先验概率)
2. 条件概率
这张表展示了在不同智商和课程难度组合下，学生取得A/B/C三种成绩的概率。
| I (智商) | D (难度) | P(G=A) | P(G=B) | P(G=C) |
|---|---|---|---|---|
| 0 (不高) | 0 (低) | 0.30 | 0.40 | 0.30 |
| 0 (不高) | 1 (高) | 0.05 | 0.25 | 0.70 |
| 1 (高) | 0 (低) | 0.90 | 0.08 | 0.02 |
| 1 (高) | 1 (高) | 0.50 | 0.30 | 0.20 |
拥有一个完整的贝叶斯网络后，我们就可以进行 推理(Inference)。
这意味着，在观测到某些变量（证据, Evidence）后，我们可以计算其他未观测变量的后验概率分布。
这回答的是 \(P(Y\mid X=x)\)：在样本中观察到 \(X=x\) 后，Y 如何分布；它不是“把 X 强制设为 x 会怎样”。
设市场情绪 \(U\) 同时影响融资约束 \(X\) 与投资 \(Y\)：\(U\rightarrow X, U\rightarrow Y\)，且 \(X\rightarrow Y\)。
观测条件：\(P(Y\mid X=x)\) 同时包含 X 的路径与共同原因 U 带来的选择差异。
干预：\(P(Y\mid do(X=x))\) 切断指向 X 的箭头，再比较强制设定 X 后的 Y。
结论：若 U 未观测且没有其他识别策略，普通 BN 查询不能把前者替代为后者。
检查 2： 删除指向 X 的箭头属于 conditioning 还是 intervention？普通 pgmpy 查询做了这一步吗？先回答。
揭示与补救： 删入箭头是 intervention；普通查询只做 conditioning。若混淆，回到“共同原因 U”并分别画出观察与干预两张图。
核心问题： 计算 \(P(\text{查询变量} | \text{证据变量})\)
pgmpy 库构建并查询学生模型理论讲完了，让我们用代码把它变成现实。我们将使用一个强大的Python库 pgmpy 来实现学生模型。
运行并检查模型验证与 \(P(D=1\mid I=1,L=1)\) 的观测查询输出；说明普通查询没有删除任何入边，因此不等于干预。
步骤:
pgmpy 实战：构建并验证模型首先，我们用一个完整的代码块来构建学生模型。
# 导入所需的库
from pgmpy.models import DiscreteBayesianNetwork
# 导入依赖以支持本页的数据处理、建模或可视化。
from pgmpy.factors.discrete import TabularCPD
# 1. 定义模型结构 (边)
student_model = DiscreteBayesianNetwork([('D', 'G'), ('I', 'G'), ('I', 'S'), ('G', 'L')])
# 2. 定义CPDs
# 根节点
cpd_d = TabularCPD('D', 2, [[0.6], [0.4]])
cpd_i = TabularCPD('I', 2, [[0.7], [0.3]])
# 条件节点
cpd_s = TabularCPD('S', 2,
values=[[0.95, 0.2], [0.05, 0.8]],
evidence=['I'], evidence_card=[2])再补齐其余条件概率表并验证各列归一化与图结构一致。
# 状态约定：D=0简单/1困难，I=0低/1高，G=0为C、1为B、2为A，L=0弱/1强。
# evidence=['D','I'] 的列顺序是 (D=0,I=0), (D=0,I=1), (D=1,I=0), (D=1,I=1)。
cpd_g = TabularCPD('G', 3,
values=[[0.30, 0.02, 0.70, 0.20], # G=0：C。
[0.40, 0.08, 0.25, 0.30], # G=1：B。
[0.30, 0.90, 0.05, 0.50]], # G=2：A。
evidence=['D', 'I'], evidence_card=[2, 2])
# 注意：pgmpy的CPT中，变量状态默认从0开始。
# 推荐信表按 G=C、B、A 的列顺序给出弱/强概率。
cpd_l = TabularCPD('L', 2,
values=[[0.9, 0.4, 0.01], [0.1, 0.6, 0.99]], # 教学说明：L=0, L=1。
evidence=['G'], evidence_card=[3])
# 3. 添加CPDs到模型中
student_model.add_cpds(cpd_d, cpd_i, cpd_s, cpd_g, cpd_l)
# 4. 验证模型是否有效
assert student_model.check_model() # 确认概率表与网络结构一致。
# 执行 `print`，生成当前步骤需要的结果或可视化。
print('模型构建成功并通过验证!') # 展示当前步骤的结果。模型构建成功并通过验证!pgmpy 实战：创建推理引擎并查询最激动人心的部分来了！我们创建一个推理引擎（这里使用变量消除法），然后提出我们的问题。
假设我们观察到一个学生智商很高 (I=1)，并且拿到了一封很好的推荐信 (L=1)。
那么，这门课程很难 (D=1) 的概率是多少？
即计算 \(P(D=1 | I=1, L=1)\)。
# 这是一个完整的、可运行的代码块 (接上页)
from pgmpy.inference import VariableElimination
# (模型构建代码已在上页运行，这里不再重复)
# 5. 创建推理引擎
inference = VariableElimination(student_model)
# 6. 进行查询
query_result = inference.query(variables=['D'], evidence={'I': 1, 'L': 1})
# 执行 `print`，生成当前步骤需要的结果或可视化。
print(query_result) # 展示当前步骤的结果。+------+----------+
| D | phi(D) |
+======+==========+
| D(0) | 0.6701 |
+------+----------+
| D(1) | 0.3299 |
+------+----------+查询结果显示 \(P(D=1 | I=1, L=1) \approx 0.3299\)。
如果我们将贝叶斯网络在时间维度上“展开”，就得到了 动态贝叶斯网络 (Dynamic Bayesian Network, DBN)。
最简单也最著名的DBN就是 隐马尔可夫模型 (Hidden Markov Model, HMM)。
想象你被困在一个洞穴里，无法看到外面的天气。但洞穴里每天都会渗水。
你的任务是，根据连续几天的渗水情况，推断出外面最可能的天气变化序列。
对时间序列数据建模，其中系统的真实状态是不可见的 (隐)，我们只能通过一些可见的观测来推断它。
HMM建立在两个关键的简化假设之上，这使得模型变得 tractable。
当前的真实状态 \(z_t\) 只取决于前一个时刻的真实状态 \(z_{t-1}\)。
\[ \large{P(z_t | z_{t-1}, z_{t-2}, \dots, z_1) = P(z_t | z_{t-1})} \]
当前的观测值 \(x_t\) 只取决于当前的真实状态 \(z_t\)。
\[ \large{P(x_t | z_t, x_{t-1}, z_{t-1}, \dots) = P(x_t | z_t)} \]
这两个假设共同定义了一个非常简洁的链式图结构。
要完全定义一个HMM，我们需要三个参数，通常记为 \(\lambda = (A, B, \pi)\)。
让我们用一个简化的模型来识别经济是处于 扩张(Expansion) 还是 衰退(Recession)。
根据观测到的GDP增长序列，推断出最可能的经济状态（扩张/衰退）序列。
矩阵 A 代表了经济周期的“惯性”。
\[ \begin{aligned} A&=\begin{pmatrix} P(\text{扩}|\text{扩}) & P(\text{衰}|\text{扩}) \\ P(\text{扩}|\text{衰}) & P(\text{衰}|\text{衰}) \end{pmatrix}\\[4pt] &=\begin{pmatrix} 0.9 & 0.1 \\ 0.3 & 0.7 \end{pmatrix}. \end{aligned} \]
矩阵 B 代表了不同经济状态下的典型产出表现。
\[ \begin{aligned} B_{jk}&=P(x_t=k\mid z_t=j),\\[2pt] B&=\begin{pmatrix}0.05&0.45&0.50\\0.60&0.35&0.05\end{pmatrix}. \end{aligned} \]
\(\pi\) 代表我们对 t=1 时刻经济状态的先验信念。
\[ \large{\pi = \begin{pmatrix} P(z_1=\text{扩}) \\ P(z_1=\text{衰}) \end{pmatrix} = \begin{pmatrix} 0.8 \\ 0.2 \end{pmatrix}} \]
有了模型 \(\lambda = (A, B, \pi)\) 后，HMM理论主要解决三个问题。
贝叶斯网络的箭头适合表示有向的条件概率分解；当相互作用是对称的，或者我们不愿指定有向父子顺序时，无向图更自然。
因果语义是另一层建模承诺，不能由“有向/无向”二分替代。
社交网络: 我是你的朋友，你也是我的朋友。
图像像素: 一个像素的颜色和它周围的像素颜色高度相关，但谁也不是谁的“原因”。
空间经济学: 一个地区的房价与邻近地区的房价相互影响。
对于这类问题，马尔可夫随机场 (Markov Random Field, MRF) 或称为 概率无向图模型 (PUGM) 是更自然的选择。
一个MRF由两部分定义：
与D-分离的复杂规则不同，无向图中的条件独立性非常直观：
如果从节点集合 A 到节点集合 B 的所有路径都必须经过节点集合 C，那么 A 和 B 在给定 C 的条件下是条件独立的。
换句话说，C 分隔 (separates) 了 A 和 B。
对任意分布，全局性质推出局部性质，局部性质再推出成对性质；
只有当联合分布在完整乘积状态空间的每一个联合配置 \(\mathbf{x}\) 上都满足 \(p(\mathbf{x})>0\)（不存在结构零）时，反向推论也成立，三者才等价。
无向图的联合概率如何分解？答案是通过 团 (Clique)。
MRF的联合概率分布可以被分解为定义在 极大团 上的势函数的乘积。
这个数值代表了该团内的变量处于这种特定状态的“相容性”或“偏好度”。
数值越大，意味着这种状态组合越“和谐”，其出现的概率也越高。
这个重要的定理建立了MRF的联合概率分布与势函数之间的桥梁：
正性条件： 联合分布必须在完整状态空间上严格为正，即 \(P(\mathbf{x})>0\)。
图结构条件： 该分布满足无向图 \(G\) 编码的条件独立性。
分解结论： 联合概率可写成所有极大团 \(C\) 上势函数 \(\psi_C\) 的乘积：
\[ \large{P(\mathbf{x}) = \frac{1}{Z} \prod_{C \in \mathcal{C}} \psi_C(\mathbf{x}_C)} \]
其中 \(\mathcal{C}\) 是所有极大团的集合。
公式中的 \(Z\) 被称为 配分函数 (Partition Function) 或归一化常数。
\[ \large{Z = \sum_{\mathbf{x}} \prod_{C \in \mathcal{C}} \psi_C(\mathbf{x}_C)} \]
保证所有可能状态的概率之和为1。
因为势函数的乘积本身不保证这一点，所以需要除以所有可能状态的势函数乘积之和，进行归一化。
计算 \(Z\) 通常是MRF中最困难的部分。
因为它需要对所有变量的所有可能取值组合进行求和，这是一个指数级的计算量。
这是MRF推理和学习的主要障碍。
| 特征 | 贝叶斯网络 (有向) | 马尔可夫网络 (无向) |
|---|---|---|
| 图结构 | 有向无环图 (DAG) | 无向图 |
| 核心思想 | 条件概率因子分解 | 势函数/能量函数因子分解 |
| 参数化 | 条件概率分布 (CPDs) | 极大团上的势函数 |
| 归一化 | 自动满足 (局部归一化) | 需要全局的配分函数 Z |
| 适用场景 | 有向生成模型；加上因果假设后可表达因果模型 | 对称相互作用、空间或判别模型 |
| 可解释性 | 强，易于理解 | 较弱，势函数不直观 |
条件随机场 (Conditional Random Field, CRF) 是一种特殊的MRF，它是一个判别模型。
CRF可以放宽HMM的观测独立性假设。
在CRF中，当前状态 \(z_t\) 的概率可以依赖于整个观测序列 \(X\) 中的任何特征，这使得模型更加强大和灵活。
最常见的CRF是线性链CRF，专门用于处理序列数据。
它的条件概率 \(P(Z|X)\) 的形式为：
\[ \large{P(Z|X) = \frac{1}{Z(X)} \exp\left( \sum_{t,k} \lambda_k f_k(z_{t-1}, z_t, X, t) \right)} \]
我们已经学习了有向图和无向图，它们都表示了联合概率的因子分解，但方式不同。
有没有一种更通用的表示法，能够统一这两种模型，并为通用推理算法提供基础？
答案是 因子图 (Factor Graph)。
因子图是一种二部图，它显式地表示了全局函数（如联合概率）是如何分解成一系列局部函数（因子）的乘积的。
回顾学生BN的分解：\(P(\cdot) = P(I) P(D) P(S|I) P(G|I,D) P(L|G)\)
回顾MRF的分解：\(P(\mathbf{x}) \propto \psi_1(A,B,E) \psi_2(B,C) \psi_3(E,D)\)
给定所选因子集合后，因子图把每个局部函数与所含变量画清楚；
但同一全局函数仍可通过合并、拆分或重新参数化因子得到不同因子图，因此表示并不唯一。
置信传播 (Belief Propagation, BP)，也称为 和积算法 (Sum-Product Algorithm)，是一种在图模型上进行高效精确推理的通用算法。
在没有环的图（即树结构）上，该算法传递有限次消息后会收敛，并得到精确的边际概率。
在有环的图上（Loopy BP），算法不保证收敛或得到精确解，但常常在实践中效果很好。
为什么这个算法高效？因为它巧妙地利用了分配律来避免重复计算。
考虑计算边际概率 \(P(x_1) = \sum_{x_2, x_3, x_4} P(x_1,x_2,x_3,x_4)\) 假设 \(P(\mathbf{x}) \propto f_1(x_1,x_2) f_2(x_2,x_3) f_3(x_3,x_4)\)。
对每个 \(x_1\) 的取值，遍历所有 \(x_2, x_3, x_4\) 的组合。
和积算法 (智能计算):
\[ \large{P(x_1) \propto \sum_{x_2} f_1(x_1, x_2) \left( \sum_{x_3} f_2(x_2, x_3) \left( \sum_{x_4} f_3(x_3, x_4) \right) \right)} \]
我们把求和符号尽可能地向内推，先对最里面的变量求和，然后将结果作为一个“消息”传递出去。这正是和积算法消息传递的数学本质。
使用江苏恒瑞医药 600276.XSHG 的本地前复权日行情，估计“今天下跌且成交量偏高”条件下“下一交易日下跌”的经验概率。
from pathlib import Path # 使用统一路径对象定位数据文件
import pandas as pd # 读取HDF5并计算离散条件概率表
# 公网下载：https://assets.qiufei.site/data/stock/stock_price_pre_adjusted.h5
# 下载后把下一行改为本机文件位置；按课程结构存放时可用 Path("data/stock/stock_price_pre_adjusted.h5")。
# Windows：Path(r"C:\qiufei\data\stock\stock_price_pre_adjusted.h5")
# macOS：Path("/Users/你的用户名/data/stock/stock_price_pre_adjusted.h5")
# Linux：Path("/home/你的用户名/data/stock/stock_price_pre_adjusted.h5")
price_path = Path("/home/ubuntu/r2_data_mount/data/stock/stock_price_pre_adjusted.h5")
price_columns = ['close', 'volume'] # 只选择本练习所需字段以减少内存
hengrui_prices = pd.read_hdf(price_path, key='data', where='order_book_id == "600276.XSHG"', columns=price_columns).reset_index() # 选择长三角代表公司
hengrui_prices['date'] = pd.to_datetime(hengrui_prices['date']) # 统一交易日类型
hengrui_prices = hengrui_prices.query("'2015-01-01' <= date <= '2024-12-31'").sort_values('date') # 固定样本期并保持时序
today_return = hengrui_prices['close'].pct_change() # 先保留首日不可得收益为缺失
rolling_volume_median = hengrui_prices['volume'].rolling(20).median() # 先保留热身窗口为缺失
next_return = today_return.shift(-1) # 直接对齐下一交易日收益并保留末日缺失
hengrui_prices['today_down'] = today_return.lt(0).where(today_return.notna()).astype('Int64') # 仅在收益可得时离散化
hengrui_prices['volume_high'] = hengrui_prices['volume'].gt(rolling_volume_median).where(rolling_volume_median.notna()).astype('Int64') # 仅在20日窗口完整时离散化
hengrui_prices['next_day_down'] = next_return.lt(0).where(next_return.notna()).astype('Int64') # 仅在下一日收益可得时构造结果
observational_table = hengrui_prices.dropna().groupby(['today_down', 'volume_high'])['next_day_down'].agg(['mean', 'size']) # 计算经验条件概率与样本量
display(observational_table) # 展示所有条件组合而不预填运行数值| mean | size | ||
|---|---|---|---|
| today_down | volume_high | ||
| 0 | 0 | 0.505942 | 589 |
| 1 | 0.496933 | 652 | |
| 1 | 0 | 0.465008 | 643 |
| 1 | 0.472486 | 527 |
表中 mean 是 \(P(\text{next down}\mid\text{today state, volume state})\) 的样本估计。
它不等于强制改变成交量后的 \(P(\text{next down}\mid do(\text{volume high}))\)，因为消息、波动和流动性等共同原因未被识别。
(today_down, volume_high)=(0,0),(0,1),(1,0),(1,1) 的下一日下跌率为 0.5059、0.4969、0.4650、0.4725，样本量为 589、652、643、527。第 1 题是；第 2 题是不观测时分离、观测 B 或其后代时路径打开。任一题错时回到“三种基本结构”，逐路径标记非碰撞点与碰撞点。
把公司改为另一家长三角非金融公司。
数据：说明文件、key 和日期，不使用未来信息构造状态。
证据：报告四个条件单元的样本量与概率，并正确解释 d-分离。
边界：说明为何公司间差异不能直接归因于成交量。
from pathlib import Path # 使用统一路径对象定位数据文件
transfer_code = '600104.XSHG' # 选择上海汽车集团作为长三角非金融迁移公司
# 公网下载：https://assets.qiufei.site/data/stock/stock_price_pre_adjusted.h5
# 下载后把下一行改为本机文件位置；按课程结构存放时可用 Path("data/stock/stock_price_pre_adjusted.h5")。
# Windows：Path(r"C:\qiufei\data\stock\stock_price_pre_adjusted.h5")
# macOS：Path("/Users/你的用户名/data/stock/stock_price_pre_adjusted.h5")
# Linux：Path("/home/你的用户名/data/stock/stock_price_pre_adjusted.h5")
price_path = Path("/home/ubuntu/r2_data_mount/data/stock/stock_price_pre_adjusted.h5")
transfer_prices = pd.read_hdf(price_path, key='data', where=f'order_book_id == "{transfer_code}"', columns=price_columns).reset_index() # 选择性读取同一最小字段
transfer_prices['date'] = pd.to_datetime(transfer_prices['date']) # 统一交易日类型
transfer_prices = transfer_prices.query("'2015-01-01' <= date <= '2024-12-31'").sort_values('date') # 固定与示范相同样本期
transfer_return = transfer_prices['close'].pct_change() # 保留首日不可得收益为缺失
transfer_volume_median = transfer_prices['volume'].rolling(20).median() # 保留热身窗口为缺失
transfer_next_return = transfer_return.shift(-1) # 对齐下一交易日收益并保留末日缺失
transfer_prices['today_down'] = transfer_return.lt(0).where(transfer_return.notna()).astype('Int64') # 只离散化可得当日收益
transfer_prices['volume_high'] = transfer_prices['volume'].gt(transfer_volume_median).where(transfer_volume_median.notna()).astype('Int64') # 只离散化完整滚动窗口
transfer_prices['next_day_down'] = transfer_next_return.lt(0).where(transfer_next_return.notna()).astype('Int64') # 只离散化可得下一日收益
transfer_table = transfer_prices.dropna().groupby(['today_down', 'volume_high'])['next_day_down'].agg(['mean', 'size']) # 计算四个经验条件单元
display(transfer_table.round(4)) # 展示完整参考输出| mean | size | ||
|---|---|---|---|
| today_down | volume_high | ||
| 0 | 0 | 0.5044 | 563 |
| 1 | 0.5046 | 656 | |
| 1 | 0 | 0.4817 | 683 |
| 1 | 0.4872 | 509 |
四格 (today_down, volume_high)=(0,0),(0,1),(1,0),(1,1) 的下一日下跌率分别为 0.5044、0.5046、0.4817、0.4872，样本量为 563、656、683、509。
高成交量组与低成交量组差异都很小；
即使差异较大，也只能解释为观测关联，因为消息、波动和流动性可能同时影响成交量与下一日收益。
stock_price_pre_adjusted.h5 / data；本页经验表由代码生成。do(·) 与因果可识别性。问题与讨论