02 统计学习

# 创建散点图画布
fig, ax_scatter = plt.subplots(figsize=(10, 6))  # 设置画布尺寸
ax_scatter.scatter(
    plot_data['revenue_billion'],  # X轴：营业收入（亿元）
    plot_data['profit_billion'],  # Y轴：净利润（亿元）
    alpha=0.4, s=30, color='#00A4E6'  # 设置透明度、点大小和颜色
)

# 添加LOWESS平滑趋势线展示系统性关系f(X)
from statsmodels.nonparametric.smoothers_lowess import lowess  # 导入LOWESS非参数平滑
sorted_data = plot_data.sort_values('revenue_billion')  # 按营收升序排列
smoothed_trend = lowess(
    sorted_data['profit_billion'],  # 因变量：净利润
    sorted_data['revenue_billion'],  # 自变量：营收
    frac=0.3  # 平滑参数：使用30%数据点的局部窗口
)
ax_scatter.plot(smoothed_trend[:, 0], smoothed_trend[:, 1], 'r-', linewidth=2.5, label='f̂(X) — LOWESS趋势')  # 绘制趋势线

ax_scatter.set_xlabel('营业收入（亿元）', fontsize=12)  # X轴标签
ax_scatter.set_ylabel('净利润（亿元）', fontsize=12)  # Y轴标签
ax_scatter.legend(fontsize=11)  # 显示图例
ax_scatter.grid(True, alpha=0.3)  # 添加网格线
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示散点图

polynomial_degrees = range(1, 12)  # 尝试1至11阶多项式模型
training_mse_list = []  # 存储各阶数的训练MSE
testing_mse_list = []  # 存储各阶数的测试MSE

for degree in polynomial_degrees:  # 遍历每个多项式阶数
    poly_transform = PolynomialFeatures(degree=degree, include_bias=False)  # 创建指定阶数的多项式变换器
    x_train_poly = poly_transform.fit_transform(x_train_2d)  # 对训练数据进行多项式展开
    x_test_poly = poly_transform.transform(x_test_2d)  # 对测试数据应用相同变换
    ols_model = LinearRegression().fit(x_train_poly, y_train_vec)  # 在多项式特征上拟合OLS
    training_mse_list.append(mean_squared_error(y_train_vec, ols_model.predict(x_train_poly)))  # 记录训练MSE
    testing_mse_list.append(mean_squared_error(y_test_vec, ols_model.predict(x_test_poly)))  # 记录测试MSE

# 绘制训练MSE与测试MSE双曲线图
fig, ax_mse = plt.subplots(figsize=(10, 6))  # 创建画布
ax_mse.plot(list(polynomial_degrees), training_mse_list, 'd-', color='#10B981', linewidth=2, label='训练 MSE')  # 训练曲线
ax_mse.plot(list(polynomial_degrees), testing_mse_list, 's-', color='#EF4444', linewidth=2.5, label='测试 MSE')  # 测试曲线
optimal_degree = list(polynomial_degrees)[np.argmin(testing_mse_list)]  # 找到测试MSE最低的阶数
ax_mse.axvline(x=optimal_degree, color='#4B5563', linestyle='--', alpha=0.6, label=f'最优阶数 = {optimal_degree}')  # 最优阶数垂线
ax_mse.set_xlabel('多项式阶数（模型复杂度）', fontsize=12)  # X轴标签
ax_mse.set_ylabel('均方误差 (MSE)', fontsize=12)  # Y轴标签
ax_mse.set_yscale('log')  # Y轴使用对数刻度
ax_mse.legend(fontsize=11)  # 显示图例
ax_mse.grid(True, alpha=0.3)  # 添加网格线
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图表

# 生成灵活性轴：从1到10的100个等间距点
flexibility_range = np.linspace(1, 10, 100)  # 模型灵活性连续变化

# 构建偏差-方差理论曲线
bias_squared = 20 / flexibility_range  # 偏差平方随灵活性增加而衰减（反比例）
variance_component = 0.8 * (flexibility_range - 1)**1.8  # 方差随灵活性增加而按幂律膨胀
irreducible_error = 2.0  # 不可约误差为常数
total_test_mse = bias_squared + variance_component + irreducible_error  # 总测试MSE = 三部分之和

# 创建偏差-方差权衡图
fig, ax_bv = plt.subplots(figsize=(10, 6))  # 创建画布
ax_bv.plot(flexibility_range, bias_squared, color='#DC2626', linewidth=2, label='偏差² (Bias²)')  # 偏差曲线
ax_bv.plot(flexibility_range, variance_component, color='#2563EB', linewidth=2, label='方差 (Variance)')  # 方差曲线
ax_bv.axhline(y=irreducible_error, color='#94A3B8', linestyle='--', label='不可约误差 Var(ε)')  # 噪声底线
ax_bv.plot(flexibility_range, total_test_mse, color='#1E293B', linewidth=3, label='总测试 MSE')  # 总误差曲线
# 标注最优点
optimal_idx = np.argmin(total_test_mse)  # 找到U型曲线最低点索引
ax_bv.plot(flexibility_range[optimal_idx], total_test_mse[optimal_idx], 'o', color='gold', markersize=12, markeredgecolor='black')  # 金色圆点标记最优
ax_bv.annotate('最优拟合点', xy=(flexibility_range[optimal_idx], total_test_mse[optimal_idx]),
               xytext=(flexibility_range[optimal_idx]+1, total_test_mse[optimal_idx]+4),
               arrowprops=dict(facecolor='black', shrink=0.05), fontsize=11, fontweight='bold')  # 箭头标注
ax_bv.set_xlabel('模型灵活性 →', fontsize=12)  # X轴标签
ax_bv.set_ylabel('误差 →', fontsize=12)  # Y轴标签
ax_bv.set_ylim(0, 25)  # Y轴范围
ax_bv.legend(fontsize=11)  # 显示图例
ax_bv.grid(True, alpha=0.3)  # 添加网格
plt.tight_layout()  # 调整布局
plt.show()  # 显示图表