09 支持向量机

import numpy as np  # 导入numpy库用于数值计算
import matplotlib.pyplot as plt  # 导入matplotlib用于数据可视化

plt.rcParams['font.sans-serif'] = ['Source Han Serif SC']  # 设置中文字体为思源宋体
plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示问题

x1_grid = np.linspace(-3, 3, 300)  # 在[-3,3]区间生成300个X₁坐标点
x2_grid = np.linspace(-3, 3, 300)  # 在[-3,3]区间生成300个X₂坐标点
x1_mesh, x2_mesh = np.meshgrid(x1_grid, x2_grid)  # 构建二维网格用于绘制区域
hyperplane_values = 1 + 2 * x1_mesh + 3 * x2_mesh  # 计算超平面方程在每个网格点的值

fig, ax = plt.subplots(figsize=(7, 5))  # 创建7×5英寸的图形画布
ax.contourf(x1_mesh, x2_mesh, hyperplane_values, levels=[-100, 0, 100], colors=['#a8d8ea', '#ffcfdf'], alpha=0.6)  # 用不同颜色填充超平面两侧区域
ax.contour(x1_mesh, x2_mesh, hyperplane_values, levels=[0], colors='black', linewidths=2)  # 绘制超平面本身（黑色实线）
ax.set_xlabel('$X_1$', fontsize=12)  # 设置X轴标签
ax.set_ylabel('$X_2$', fontsize=12)  # 设置Y轴标签
ax.set_title('超平面: $1 + 2X_1 + 3X_2 = 0$', fontsize=14)  # 设置图形标题
ax.text(0.5, 1.5, '$1+2X_1+3X_2>0$', fontsize=12, ha='center')  # 在正半空间标注方程
ax.text(-1.5, -1.5, '$1+2X_1+3X_2<0$', fontsize=12, ha='center')  # 在负半空间标注方程
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形

np.random.seed(42)  # 设置随机种子确保可重复性
class1_points = np.random.randn(20, 2) + np.array([2, 2])  # 生成第一类样本（中心在(2,2)的正态分布）
class2_points = np.random.randn(20, 2) + np.array([-2, -2])  # 生成第二类样本（中心在(-2,-2)的正态分布）

fig, axes = plt.subplots(1, 2, figsize=(12, 5))  # 创建1行2列的子图布局

for ax in axes:  # 遍历两个子图
    ax.scatter(class1_points[:, 0], class1_points[:, 1], c='steelblue', marker='o', s=50, label='+1类')  # 绘制+1类的散点
    ax.scatter(class2_points[:, 0], class2_points[:, 1], c='darkorange', marker='s', s=50, label='-1类')  # 绘制-1类的散点

x_boundary_range = np.linspace(-5, 5, 100)  # 生成用于绘制分离线的x坐标序列
axes[0].plot(x_boundary_range, -x_boundary_range, 'k-', linewidth=2, label='超平面1')  # 绘制第一条分离超平面（斜率-1）
axes[0].plot(x_boundary_range, -x_boundary_range + 0.5, 'k--', linewidth=2, label='超平面2')  # 绘制第二条分离超平面（平移0.5）
axes[0].plot(x_boundary_range, -0.8 * x_boundary_range - 0.3, 'k-.', linewidth=2, label='超平面3')  # 绘制第三条分离超平面（斜率-0.8）
axes[0].set_title('三条可能的分离超平面', fontsize=13)  # 设置左图标题
axes[0].legend(fontsize=9)  # 显示图例

x1_vis, x2_vis = np.meshgrid(np.linspace(-5, 5, 200), np.linspace(-5, 5, 200))  # 构建二维网格用于着色区域
boundary_values = x1_vis + x2_vis  # 计算决策函数值（对应超平面1）
axes[1].contourf(x1_vis, x2_vis, boundary_values, levels=[-100, 0, 100], colors=['#ffcfdf', '#a8d8ea'], alpha=0.4)  # 用颜色填充决策区域
axes[1].contour(x1_vis, x2_vis, boundary_values, levels=[0], colors='black', linewidths=2)  # 绘制决策边界
axes[1].scatter(class1_points[:, 0], class1_points[:, 1], c='steelblue', marker='o', s=50)  # 绘制+1类散点
axes[1].scatter(class2_points[:, 0], class2_points[:, 1], c='darkorange', marker='s', s=50)  # 绘制-1类散点
axes[1].set_title('决策边界与分类区域', fontsize=13)  # 设置右图标题

for ax in axes:  # 遍历两个子图设置通用属性
    ax.set_xlabel('$X_1$')  # 设置X轴标签
    ax.set_ylabel('$X_2$')  # 设置Y轴标签
    ax.set_xlim(-5, 5)  # 设置X轴范围
    ax.set_ylim(-5, 5)  # 设置Y轴范围
plt.tight_layout()  # 自动调整子图间距
plt.show()  # 显示图形

from sklearn.svm import SVC  # 导入支持向量分类器

all_features = np.vstack([class1_points, class2_points])  # 将两类样本纵向合并为特征矩阵
all_labels = np.array([1] * 20 + [-1] * 20)  # 构造标签向量：前20个为+1类，后20个为-1类

hard_margin_svm = SVC(kernel='linear', C=1000)  # 创建线性核SVM（C=1000近似硬间隔）
hard_margin_svm.fit(all_features, all_labels)  # 在训练数据上拟合模型

weight_vector = hard_margin_svm.coef_[0]  # 提取权重向量w
bias_term = hard_margin_svm.intercept_[0]  # 提取偏置项b
margin_width = 2 / np.linalg.norm(weight_vector)  # 计算间隔宽度 = 2/||w||

fig, ax = plt.subplots(figsize=(7, 5))  # 创建7×5英寸的画布
ax.scatter(class1_points[:, 0], class1_points[:, 1], c='steelblue', marker='o', s=50, label='+1类')  # 绘制+1类散点
ax.scatter(class2_points[:, 0], class2_points[:, 1], c='darkorange', marker='s', s=50, label='-1类')  # 绘制-1类散点

x_line = np.linspace(-5, 5, 100)  # 生成绘制直线的x坐标
decision_boundary_y = -(weight_vector[0] * x_line + bias_term) / weight_vector[1]  # 计算决策边界y坐标
margin_upper_y = -(weight_vector[0] * x_line + bias_term - 1) / weight_vector[1]  # 计算上间隔边界y坐标
margin_lower_y = -(weight_vector[0] * x_line + bias_term + 1) / weight_vector[1]  # 计算下间隔边界y坐标

ax.plot(x_line, decision_boundary_y, 'k-', linewidth=2, label='决策边界')  # 绘制决策边界（实线）
ax.plot(x_line, margin_upper_y, 'k--', linewidth=1)  # 绘制上间隔边界（虚线）
ax.plot(x_line, margin_lower_y, 'k--', linewidth=1)  # 绘制下间隔边界（虚线）

support_vector_points = hard_margin_svm.support_vectors_  # 获取支持向量坐标
ax.scatter(support_vector_points[:, 0], support_vector_points[:, 1], s=200, facecolors='none', edgecolors='red', linewidths=2, label='支持向量')  # 用红色空心圆圈标记支持向量

ax.set_xlabel('$X_1$', fontsize=12)  # 设置X轴标签
ax.set_ylabel('$X_2$', fontsize=12)  # 设置Y轴标签
ax.set_title(f'最大间隔分类器 (间隔宽度={margin_width:.2f})', fontsize=13)  # 显示间隔宽度
ax.legend(fontsize=9)  # 显示图例
ax.set_xlim(-5, 5)  # 设置X轴范围
ax.set_ylim(-5, 5)  # 设置Y轴范围
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形

np.random.seed(42)  # 设置随机种子
class1_overlap = np.random.randn(30, 2) + np.array([0, 0])  # 生成中心在原点的第一类样本
class2_overlap = np.random.randn(30, 2) + np.array([1, 1])  # 生成中心在(1,1)的第二类样本（与第一类重叠）

fig, ax = plt.subplots(figsize=(7, 5))  # 创建画布
ax.scatter(class1_overlap[:, 0], class1_overlap[:, 1], c='steelblue', marker='o', s=50, label='+1类')  # 绘制+1类散点
ax.scatter(class2_overlap[:, 0], class2_overlap[:, 1], c='darkorange', marker='s', s=50, label='-1类')  # 绘制-1类散点
ax.set_title('数据严重重叠：不存在分离超平面', fontsize=13)  # 设置标题
ax.legend(fontsize=10)  # 显示图例
ax.set_xlabel('$X_1$')  # 设置X轴标签
ax.set_ylabel('$X_2$')  # 设置Y轴标签
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形

yf_axis = np.linspace(-4, 4, 300)  # 生成yf值的序列（从-4到4）
hinge_loss_values = np.maximum(0, 1 - yf_axis)  # 计算合页损失：max(0, 1-yf)
logistic_loss_values = np.log(1 + np.exp(-yf_axis))  # 计算对数损失：log(1+exp(-yf))
zero_one_loss_values = (yf_axis < 0).astype(float)  # 计算0-1损失：yf<0时为1，否则为0

fig, ax = plt.subplots(figsize=(8, 5))  # 创建8×5英寸画布
ax.plot(yf_axis, hinge_loss_values, 'b-', linewidth=2.5, label='合页损失 (SVM)')  # 绘制合页损失曲线（蓝色）
ax.plot(yf_axis, logistic_loss_values, 'r--', linewidth=2.5, label='对数损失 (逻辑回归)')  # 绘制对数损失曲线（红色虚线）
ax.plot(yf_axis, zero_one_loss_values, 'k:', linewidth=2, label='0-1损失 (理想)')  # 绘制0-1损失（黑色点线）
ax.axvline(x=1, color='gray', linestyle='--', alpha=0.5, label='间隔边界 (yf=1)')  # 绘制间隔边界参考线
ax.set_xlabel('$y \\cdot f(x)$', fontsize=13)  # 设置X轴标签
ax.set_ylabel('损失值', fontsize=13)  # 设置Y轴标签
ax.set_title('三种损失函数的比较', fontsize=14)  # 设置图形标题
ax.legend(fontsize=11)  # 显示图例
ax.set_ylim(-0.2, 5)  # 设置Y轴范围
ax.grid(True, alpha=0.3)  # 添加半透明网格线
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形

np.random.seed(42)  # 设置随机种子确保可重复性
feature_matrix_2d = np.random.randn(100, 2)  # 生成100个二维标准正态样本
class_labels_2d = np.array([-1] * 50 + [1] * 50)  # 前50个标记为-1类，后50个为+1类
feature_matrix_2d[class_labels_2d == 1] += 1  # 将+1类的样本中心平移至(1,1)


def visualize_svm_boundary(features, labels, model, title, ax):
    """绘制SVM决策边界、间隔边界和支持向量的可视化函数"""
    x_min, x_max = features[:, 0].min() - 1, features[:, 0].max() + 1  # 计算X轴绘图范围
    y_min, y_max = features[:, 1].min() - 1, features[:, 1].max() + 1  # 计算Y轴绘图范围
    xx_grid, yy_grid = np.meshgrid(np.linspace(x_min, x_max, 200), np.linspace(y_min, y_max, 200))  # 创建密集网格
    grid_decision_values = model.decision_function(np.c_[xx_grid.ravel(), yy_grid.ravel()])  # 在网格点上计算决策函数值
    grid_decision_values = grid_decision_values.reshape(xx_grid.shape)  # 重塑为二维矩阵
    ax.contourf(xx_grid, yy_grid, grid_decision_values, levels=[-100, 0, 100], colors=['#ffcfdf', '#a8d8ea'], alpha=0.4)  # 用颜色填充决策区域
    ax.contour(xx_grid, yy_grid, grid_decision_values, levels=[-1, 0, 1], colors=['gray', 'black', 'gray'], linestyles=['--', '-', '--'], linewidths=[1, 2, 1])  # 绘制间隔边界和决策边界
    ax.scatter(features[labels == -1, 0], features[labels == -1, 1], c='darkorange', marker='s', s=40)  # 绘制-1类散点
    ax.scatter(features[labels == 1, 0], features[labels == 1, 1], c='steelblue', marker='o', s=40)  # 绘制+1类散点
    sv_points = model.support_vectors_  # 获取支持向量坐标
    ax.scatter(sv_points[:, 0], sv_points[:, 1], s=150, facecolors='none', edgecolors='red', linewidths=1.5)  # 用红色空心圆标记支持向量
    ax.set_title(f'{title} (支持向量数: {len(sv_points)})', fontsize=12)  # 显示标题和支持向量数量


fig, axes = plt.subplots(1, 2, figsize=(12, 5))  # 创建1行2列的子图

linear_svc_strict = SVC(kernel='linear', C=10)  # 创建C=10的线性SVC（较严格）
linear_svc_strict.fit(feature_matrix_2d, class_labels_2d)  # 拟合模型
visualize_svm_boundary(feature_matrix_2d, class_labels_2d, linear_svc_strict, 'C=10', axes[0])  # 可视化C=10的结果

linear_svc_relaxed = SVC(kernel='linear', C=0.1)  # 创建C=0.1的线性SVC（较宽松）
linear_svc_relaxed.fit(feature_matrix_2d, class_labels_2d)  # 拟合模型
visualize_svm_boundary(feature_matrix_2d, class_labels_2d, linear_svc_relaxed, 'C=0.1', axes[1])  # 可视化C=0.1的结果

plt.tight_layout()  # 自动调整子图间距
plt.show()  # 显示图形

from sklearn.model_selection import train_test_split, GridSearchCV  # 导入数据分割和网格搜索工具

np.random.seed(42)  # 设置随机种子
non_linear_features = np.random.randn(200, 2)  # 生成200个二维标准正态样本
non_linear_labels = np.array([-1] * 150 + [1] * 50)  # 150个-1类和50个+1类
non_linear_features[:50] += 3  # 将前50个-1类样本移至(3,3)
non_linear_features[50:100] -= 3  # 将第51-100个-1类样本移至(-3,-3)
non_linear_features[150:] += 1.5  # 将+1类样本移至(1.5,1.5)

nl_train_x, nl_test_x, nl_train_y, nl_test_y = train_test_split(non_linear_features, non_linear_labels, test_size=0.5, random_state=42)  # 将数据按50:50分为训练集和测试集

rbf_param_grid = {'C': [0.1, 1, 10, 100, 1000], 'gamma': [0.5, 1, 2, 3, 4]}  # 定义C和gamma的搜索网格
rbf_grid_search = GridSearchCV(SVC(kernel='rbf'), rbf_param_grid, cv=5, scoring='accuracy')  # 配置5折交叉验证网格搜索
rbf_grid_search.fit(nl_train_x, nl_train_y)  # 在训练集上执行网格搜索

optimal_rbf_svm = rbf_grid_search.best_estimator_  # 获取最优模型
print(f'最优参数: {rbf_grid_search.best_params_}')  # 输出最优超参数组合
print(f'交叉验证准确率: {rbf_grid_search.best_score_:.4f}')  # 输出交叉验证最佳准确率
print(f'测试集准确率: {optimal_rbf_svm.score(nl_test_x, nl_test_y):.4f}')  # 输出测试集准确率

fig, ax = plt.subplots(figsize=(7, 5))  # 创建画布
visualize_svm_boundary(nl_train_x, nl_train_y, optimal_rbf_svm, f'RBF核SVM (C={rbf_grid_search.best_params_["C"]}, γ={rbf_grid_search.best_params_["gamma"]})', ax)  # 可视化最优模型在训练集上的效果
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形

classification_models = {  # 将四个模型放入字典便于批量处理
    'LDA': distress_lda_model,  # 线性判别分析
    'SVC (Linear)': distress_linear_svc,  # 线性核SVM
    'SVM (RBF, γ=0.1)': distress_rbf_svc_01,  # RBF核SVM，较平滑
    'SVM (RBF, γ=1)': distress_rbf_svc_1  # RBF核SVM，较灵活
}

fig, ax = plt.subplots(figsize=(8, 6))  # 创建8×6英寸画布
line_styles = ['-', '--', '-.', ':']  # 定义不同线型以区分模型

for (name, model), line_style in zip(classification_models.items(), line_styles):  # 遍历每个模型
    predicted_proba = model.predict_proba(distress_test_x_scaled)[:, 1]  # 预测正类（困境）概率
    fpr, tpr, _ = roc_curve(distress_test_y, predicted_proba)  # 计算ROC曲线的假正率和真正率
    roc_auc_value = auc(fpr, tpr)  # 计算AUC面积
    ax.plot(fpr, tpr, linestyle=line_style, linewidth=2, label=f'{name} (AUC={roc_auc_value:.2f})')  # 绘制ROC曲线

ax.plot([0, 1], [0, 1], 'k--', linewidth=1, alpha=0.5, label='随机猜测')  # 绘制对角基线
ax.set_xlabel('假正率 (1 - Specificity)', fontsize=12)  # 设置X轴标签
ax.set_ylabel('真正率 (Sensitivity)', fontsize=12)  # 设置Y轴标签
ax.set_title('财务困境预测: 测试集ROC曲线', fontsize=14)  # 设置标题
ax.legend(loc='lower right', fontsize=10)  # 在右下角显示图例
ax.grid(True, alpha=0.3)  # 添加半透明网格
plt.tight_layout()  # 自动调整布局
plt.show()  # 显示图形