信息技术基础 📊

监督学习 👀

分类学习是一类监督学习 (Supervised Learning) 的问题。

• 监督学习: 从有标签的训练数据中学习模型，然后对未知数据进行预测。
  • 训练数据: 包含特征和标签的数据集，就像一本带有答案的练习册 📖。
  • 标签: 数据的类别或目标值，就像练习册中的答案 ✅。
• 常见的监督学习任务：
  • 分类 (Classification): 预测离散的类别标签，就像判断一张图片是猫 🐱 还是狗 🐶。
  • 回归 (Regression): 预测连续的目标值，就像预测明天的气温 🌡️。

监督学习：举例说明 📝

假设我们有一组鸢尾花的数据，每朵花都有花萼长度、花萼宽度、花瓣长度、花瓣宽度四个特征，并且知道每朵花属于哪个品种（山鸢尾、变色鸢尾、维吉尼亚鸢尾）。

• 特征: 花萼长度、花萼宽度、花瓣长度、花瓣宽度
• 标签: 山鸢尾、变色鸢尾、维吉尼亚鸢尾

我们的目标是训练一个模型，能够根据花的特征预测花的品种。这就是一个典型的监督学习中的分类问题。

分类问题的类型 🗂️

根据分类结果可以分为：

• 二分类问题 (Binary Classification): 是与非的判断，分类结果为两类，从中选择一个作为预测结果。例如：判断一封邮件是否为垃圾邮件 📧🚫。
• 多分类问题 (Multi-class Classification): 分类结果为多个类别，从中选择一个作为预测结果。例如：识别一张图片中的动物是猫 🐱、狗 🐶、鸟 🐦 还是兔子 🐰。
• 多标签分类问题 (Multi-label Classification): 不同于前两者，多标签分类问题一个样本的预测结果可能是多个，或者有多个标签。例如：一部电影可以同时被分为动作片 🎬 和犯罪片 🔪，一则新闻可以同时属于政治 🏛️ 和法律 ⚖️ 等。

概念解释 🤓

• 线性关系: 特征与分类结果之间的关系可以用线性方程表示，就像我们可以用一条直线 📏 来近似描述身高和体重的关系。

  • 线性方程：\(y = wx + b\)
  • 其中，\(w\) 是权重向量，\(x\) 是特征向量，\(b\) 是偏置项。

• 实数域: 所有实数的集合，就像一条无限延伸的数轴 ↔︎️。

• {0, 1} 空间: 只有 0 和 1 两个值的集合，就像一个开关 💡，只有开和关两种状态。

• Logistic 函数: 一种 S 形函数，可以将实数映射到 (0, 1) 区间，就像一个魔法 🧙‍♀️，将任何数字变成 0 到 1 之间的数字。

Logistic 函数 📝

\[ \sigma(z) = \frac{1}{1 + e^{-z}} \]

• \(z\): 线性方程的结果 (\(z = wx + b\))
• \(e\): 自然对数的底数 (约等于 2.718)
• \(\sigma(z)\): 介于 0 和 1 之间的概率值

Logistic函数图像

代码

import matplotlib.pyplot as plt
import numpy as np

z = np.linspace(-10, 10, 100)
sigma = 1 / (1 + np.exp(-z))

plt.figure(figsize=(8, 6))
plt.plot(z, sigma)
plt.xlabel("z")
plt.ylabel("$\sigma(z)$")
plt.title("Logistic Function")
plt.grid(True)
plt.show()

从图中可以看出，Logistic函数将任意实数映射到 (0, 1) 区间，当 \(z\) 趋近于正无穷时，\(\sigma(z)\) 趋近于 1；当 \(z\) 趋近于负无穷时，\(\sigma(z)\) 趋近于 0。

逻辑回归的优点 👍

• 直接对分类概率进行建模，无需事先假设数据分布，就像我们可以直接估计一件事情发生的可能性，而不需要知道事情发生的具体细节。
• 是一个判别模型 (Discriminative Model)。
  • 判别模型: 直接学习预测模型，例如逻辑回归，就像我们直接学习如何区分猫 🐱 和狗 🐶，而不需要知道猫和狗是如何产生的。
  • 生成模型 (Generative Model): 学习数据的联合分布，然后进行预测，例如朴素贝叶斯，就像我们先学习猫和狗的各种特征，然后根据这些特征来判断一个动物是猫还是狗。
• Logistic 函数是任意阶可导凸函数，可以使用许多数学优化算法，就像我们可以用各种工具 🛠️ 来打磨一块玉石 💎。

LDA 的核心思想 💡

• 将训练样本投影到一条直线上，使得：
  • 同类样本的投影点尽可能接近，就像让好朋友们 🤝 站得近一些。
  • 异类样本的投影点尽可能远离，就像让陌生人 🧍 保持距离。
  • 协方差尽可能小。

投影 📐

• 假设有一条直线 \(l\)，我们可以将任意一个点 \(x\) 投影到这条直线上，得到投影点 \(x'\)。
• 投影的过程可以用向量内积来表示：\(x' = w^Tx\)，其中 \(w\) 是直线的方向向量。

目标函数 🎯

LDA 的目标是最大化类间距离，最小化类内距离。可以通过数学公式推导出 LDA 的目标函数，就像我们可以用公式来计算投篮 🏀 的最佳角度。

• 类间距离: 不同类别样本的投影点之间的距离。
• 类内距离: 同一类别样本的投影点之间的距离。
• 目标函数: \(\frac{w^TS_bw}{w^TS_ww}\)
  • \(S_b\): 类间散度矩阵
  • \(S_w\): 类内散度矩阵

SVM 的基本思想

• 基于训练集在样本空间中找到一个超平面可以将不同类别的样本分开,就像用一把刀 🔪 将苹果 🍎 和橙子 🍊 分开。
• 并且使得所有的数据点都尽可能的远离超平面
• 如何找到一个最优的超平面以及最优超平面如何定义是支持向量机需要解决的问题。
• 我们所需要寻找的超平面应该对样本局部扰动的“容忍性”最好,即结果对于未知样本的预测更加准确。

核心概念 🤓

• 超平面 (Hyperplane): 在高维空间中，将数据划分为两部分的平面，就像在二维空间中，用一条直线将平面分成两部分。
  • 方程：\(w \cdot x + b = 0\)
  • \(w\): 法向量，决定超平面的方向，就像指南针 🧭 指引方向。
  • \(b\): 位移项，决定超平面与原点之间的距离，就像调整刀 🔪 的位置。
• 函数间隔 (Functional Margin): \(\gamma' = y(w \cdot x + b)\)
  • \(y\): 样本的真实类别 (+1 或 -1)，就像标签 🏷️。
  • \(w \cdot x + b\): 样本点到超平面的“距离”，就像测量距离 📏。
  • 函数间隔的符号表示分类是否正确，大小表示确信度，就像考试分数 💯，越高越好。
• 几何间隔 (Geometric Margin): \(\gamma = \frac{y(w \cdot x + b)}{||w||_2}\)
  • 几何间隔是点到超平面的真实距离，就像用尺子 📏 测量距离。
  • \(||w||_2\): 向量 \(w\) 的 L2 范数（模长），就像计算向量的长度。
  • 支持向量 (Support Vectors): 距离超平面最近的几个训练样本点，就像支撑起整个分类的士兵 💂‍♀️💂。

支持向量的作用

• 支持向量决定了超平面的位置和方向。
• 只有支持向量对模型起作用，其他样本点可以被忽略。

SVM 的优化目标 🎯

• 目标: 最大化几何间隔，就像让苹果和橙子之间的距离最大。
• 约束: 所有样本点都被正确分类，且位于支持向量定义的间隔之外，就像确保每个水果 🍏🍊 都被分到正确的类别。
• 数学表达: \[ \max_{\mathbf{w}, b} \frac{2}{\|\mathbf{w}\|} \\ \text{s.t.} \quad y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1, \quad i=1,2,\ldots,m. \]
• 对偶问题: 通过拉格朗日乘子法，可以将上述优化问题转化为对偶问题，更高效地求解，就像用更巧妙的方法解决问题。

SVM 图示 🖼️

• 实线: 超平面，就像刀 🔪。
• 虚线: 间隔边界，就像安全线 🚧。
• 圆圈和叉: 不同类别的样本，就像苹果 🍎 和橙子 🍊。
• 带箭头的虚线: 支持向量到超平面的距离，就像测量距离 📏。

图示解释 (1/4)

• 实线: 这是我们希望找到的最优超平面，它能够将不同类别的样本分隔开。

图示解释 (2/4)

• 虚线: 这两条虚线是间隔边界，它们与超平面平行，并且距离超平面的距离相等。

图示解释 (3/4)

• 圆圈和叉: 这些是不同类别的样本点，我们的目标是将它们分隔开。

图示解释 (4/4)

• 带箭头的虚线: 这些虚线表示支持向量到超平面的距离，支持向量是距离超平面最近的样本点，它们决定了超平面的位置和方向。

决策树的核心思想 💡

• 决策树是一种树形结构，用于模拟人类的决策过程，就像一棵有许多分叉的树 🌳。
• 通过一系列的问题 (特征)，对样本进行分类，就像玩“猜猜我是谁”的游戏 🕵️‍♀️。
• 节点:
  • 内部节点: 表示一个特征或属性，就像一个问题 🤔。
  • 叶节点: 表示一个类别，就像一个答案 ✅。
• 分支: 表示特征的取值，就像不同的选择 ➡️。

决策树示例：信用卡申请 💳

• 问题: 是否批准信用卡申请？

决策树示例：信用卡申请 💳 (1/5)

• 根节点: 第一个问题是“年龄”，根据年龄将申请人分为不同的组。

决策树示例：信用卡申请 💳 (2/5)

• 分支:
  • 如果年龄 <= 30，进入左侧分支。
  • 如果年龄 > 30，进入右侧分支。

决策树示例：信用卡申请 💳 (3/5)

• 内部节点: 在左侧分支，下一个问题是“是否有房产”。

决策树示例：信用卡申请 💳 (4/5)

• 内部节点: 在右侧分支，下一个问题是“是否有固定工作”。

决策树示例：信用卡申请 💳 (5/5)

• 叶节点:
  • “批准”：表示批准信用卡申请。
  • “拒绝”：表示拒绝信用卡申请。

KNN 的工作机制 ⚙️

• 给定测试样本，计算它与训练集中每个样本的距离，就像测量你和每个邻居 🧍🧍‍♀️ 的距离。
• 找出距离最近的 k 个训练样本（k 个邻居），就像找到你最近的 k 个邻居。
• 根据这 k 个邻居的类别，预测测试样本的类别。
  • 多数表决: 选择 k 个邻居中出现次数最多的类别，就像投票 🗳️ 选出最受欢迎的邻居。
  • 加权表决: 根据距离的远近，对 k 个邻居的投票进行加权，就像给更近的邻居更多的投票权 ⚖️。

KNN 的关键因素 🤔

• k 值的选择:
  • k 值过小，容易受噪声影响，就像只听一个邻居的意见，可能会被误导。
  • k 值过大，容易受不相关样本影响，就像听太多人的意见，会变得犹豫不决。
• 距离度量:
  • 欧氏距离 (Euclidean Distance)，就像直线距离 📏。
  • 曼哈顿距离 (Manhattan Distance)，就像城市街区距离 🏙️。
  • 其他距离度量。

KNN 的特点 👍

• 懒惰学习 (Lazy Learning): 无需训练，直接使用训练集进行预测，就像“临时抱佛脚” 📖。
• 急切学习 (Eager Learning): 需要在训练阶段对样本进行处理，就像“未雨绸缪” ☔️。

KNN 算法示例 🍎🍊

假设我们有一些水果的数据，包括水果的重量和颜色，以及水果的种类（苹果或橙子）。

现在有一个新的水果，重量为 170 克，颜色为 0.7，我们想用 KNN 算法来预测它是苹果还是橙子。

• 计算距离:
  • 假设我们使用欧氏距离：
    • 距离第 1 个样本：\(\sqrt{(170-150)^2 + (0.7-0.8)^2} \approx 20.02\)
    • 距离第 2 个样本：\(\sqrt{(170-180)^2 + (0.7-0.9)^2} \approx 10.02\)
    • 距离第 3 个样本：\(\sqrt{(170-200)^2 + (0.7-0.5)^2} \approx 30.07\)
    • 距离第 4 个样本：\(\sqrt{(170-220)^2 + (0.7-0.4)^2} \approx 50.09\)
• 选择 k 值:
  • 假设我们选择 \(k=3\)，即选择最近的 3 个邻居。
• 多数表决:
  • 最近的 3 个邻居是：第 2 个样本（苹果）、第 1 个样本（苹果）、第 3 个样本（橙子）。
  • 苹果的票数：2，橙子的票数：1。
  • 因此，预测新水果为苹果。

贝叶斯定理 (Bayes’ Theorem) 🤓

\[ P(B|A) = \frac{P(A|B)P(B)}{P(A)} \]

• \(P(B|A)\): 后验概率 (Posterior Probability)，就像在知道一些信息后，对事件发生的可能性的重新评估。
• \(P(A|B)\): 似然概率 (Likelihood)，就像事件发生后，观察到某些现象的可能性。
• \(P(B)\): 先验概率 (Prior Probability)，就像在没有任何信息的情况下，对事件发生的可能性的初步估计。
• \(P(A)\): 证据 (Evidence)，就像观察到的现象。

贝叶斯定理：例子 🌰

假设一个学校里有 60% 的男生和 40% 的女生。女生穿裤子和裙子的概率相等，都是 50%；男生都穿裤子。一个人在远处走来，我们只能看到他/她穿了一条裤子，求这个人是女生的概率。

• 事件 A: 观察到穿裤子
• 事件 B: 这个人是女生
• \(P(B)\): 女生的先验概率 (40%)
• \(P(A)\): 穿裤子的概率 (60% * 100% + 40% * 50% = 80%)
• \(P(A|B)\): 女生穿裤子的概率 (50%)
• \(P(B|A)\): 穿裤子的人是女生的概率 (根据贝叶斯定理计算)

\[ P(B|A) = \frac{P(A|B)P(B)}{P(A)} = \frac{0.5 \times 0.4}{0.8} = 0.25 \]

朴素贝叶斯分类器 🤖

• 生成模型: 学习特征 X 和类别 Y 的联合分布 P(X, Y)，就像先了解猫 🐱 和狗 🐶 的各种特征。
• 预测: 计算条件概率 P(Y|X) = P(X, Y) / P(X)，就像根据观察到的特征，判断是猫还是狗。
• 朴素 (Naive): 假设特征之间相互独立，就像认为猫的颜色和体重之间没有关系，这在现实中可能不成立，但可以让计算更简单。

朴素贝叶斯分类器：例子 📧

假设我们要判断一封邮件是否为垃圾邮件。

• 特征：邮件中出现的词语（“免费”、“优惠”、“发票”等）
• 类别：垃圾邮件、非垃圾邮件
• 朴素假设：假设每个词语的出现都是独立的，即一个词语的出现与其他词语的出现无关。

我们可以根据训练数据（已标注的垃圾邮件和非垃圾邮件）来计算：

• \(P(Y)\): 垃圾邮件和非垃圾邮件的先验概率
• \(P(X|Y)\): 在垃圾邮件和非垃圾邮件中，每个词语出现的概率

然后，对于一封新的邮件，我们可以根据贝叶斯定理计算它是垃圾邮件的概率：

\[ P(垃圾邮件|邮件内容) = \frac{P(邮件内容|垃圾邮件)P(垃圾邮件)}{P(邮件内容)} \]

关联分析的应用 🛒

• 购物篮分析: 发现顾客购买商品之间的关联规则，例如著名的“啤酒与尿布” 🍺🧷 故事。
  • 超市发现，购买啤酒的顾客往往也会购买尿布，因此可以将啤酒和尿布放在一起促销。
• 其他应用: 医疗诊断 🩺、网页浏览分析 🖱️、文本挖掘 📝 等。
  • 医疗诊断：发现某些症状与某种疾病之间的关联。
  • 网页浏览分析：发现用户经常同时访问的网页。
  • 文本挖掘：发现文章中经常同时出现的词语。

关联规则的定义 🤓

• 项集 (Itemset): 一组项目的集合，例如 {啤酒, 尿布}。
  • 项集可以是单个项目，也可以是多个项目的组合。
• 事务 (Transaction): 一次购买记录，例如 {牛奶, 面包, 啤酒, 尿布}。
  • 事务是项集的集合。
• 关联规则 (Association Rule): 形如 X → Y 的蕴含式，其中 X 和 Y 是不相交的项集。
  • 例如: {啤酒} → {尿布}
  • X 称为前项 (antecedent)，Y 称为后项 (consequent)。

关联规则的指标 📊

• 支持度 (Support): 项集 X 和 Y 同时出现的概率。
  • \(Support(X \to Y) = P(X \cup Y)\)
  • 就像计算同时购买啤酒和尿布的顾客比例。
• 置信度 (Confidence): 在 X 出现的条件下，Y 出现的概率。
  • \(Confidence(X \to Y) = P(Y|X) = \frac{P(X \cup Y)}{P(X)}\)
  • 就像计算购买啤酒的顾客中，也购买尿布的比例。
• 例子: 假设有 100 个顾客，其中：
  • 15 个顾客同时购买了啤酒和尿布。
  • 30 个顾客购买了啤酒。
  • 那么：
    • Support({啤酒} → {尿布}) = 15/100 = 15%
    • Confidence({啤酒} → {尿布}) = 15/30 = 50%

关联规则的指标 (续) 📈

• 期望置信度 (Expected Confidence): Y 单独出现的概率。
  • \(Expected Confidence(X \to Y) = P(Y)\)
  • 就像计算所有顾客中，购买尿布的比例。
• 提升度 (Lift): 置信度与期望置信度的比值。
  • \(Lift(X \to Y) = \frac{Confidence(X \to Y)}{Expected Confidence(X \to Y)} = \frac{P(Y|X)}{P(Y)} = \frac{P(X \cup Y)}{P(X)P(Y)}\)
  • 提升度反映了 X 的出现对 Y 的出现概率的影响程度，就像研究啤酒的出现是否会让尿布的销量增加。
  • Lift > 1: 正相关，就像啤酒的出现会促进尿布的销量。
  • Lift = 1: 不相关，就像啤酒的出现对尿布的销量没有影响。
  • Lift < 1: 负相关，就像啤酒的出现会抑制尿布的销量。
• 例子 (续): 假设有 100 个顾客，其中：
  • 25 个顾客购买了尿布。
  • 那么：
    • Expected Confidence({啤酒} → {尿布}) = 25/100 = 25%
    • Lift({啤酒} → {尿布}) = 50% / 25% = 2

聚类分析的目标 🎯

• 将一组数据按照相似性和差异性分为几个类别。
• 使得：
  • 同一类别内的数据相似性尽可能大，就像让同一品种的水果 🍎🍎 放在一起。
  • 不同类别间的数据相似性尽可能小，就像让不同品种的水果 🍎🍊 分开。

聚类分析的应用 🏘️

• 市场细分: 将顾客划分为不同的群体，以便进行精准营销，就像将顾客按照年龄、收入等特征分成不同的群体。
  • 针对不同群体制定不同的营销策略。
• 图像分割: 将图像分割成不同的区域，以便进行目标识别，就像将照片中的天空 ☁️、树木 🌳、人物 🧍‍♀️ 分割开来。
  • 自动驾驶汽车识别道路、行人、车辆等。
• 异常检测: 发现数据中的异常点，例如信用卡欺诈 💳🚫，就像找出不正常的交易记录。
  • 银行检测信用卡欺诈交易。

聚类分析的特点 🤔

• 无监督学习: 无需标签信息，就像在没有标签的情况下，将水果 🍎🍊🍌🍇 分类。
• 探索性分析: 发现数据中潜在的规律，就像探索未知的领域 🗺️。
• 结果解释: 需要对聚类结果进行解释，赋予其语义，就像给每个水果篮子 🧺 贴上标签 🏷️。

回归分析的目标 🎯

• 研究变量之间的相关关系，就像研究身高和体重之间的关系。
  • 身高越高，体重通常越重。
• 建立数学模型进行预测，就像建立一个公式，根据身高来预测体重。
  • 体重 = a * 身高 + b

回归分析与分类 📊

• 相似之处: 都是监督学习问题，就像都需要有标签的数据 🏷️ 来进行学习。
• 区别:
  • 分类: 预测离散的类别标签，就像判断一张图片是猫 🐱 还是狗 🐶。
    • 输出是类别（离散值）。
  • 回归: 预测连续的目标值，就像预测明天的气温 🌡️。
    • 输出是数值（连续值）。

常见的回归分析模型 ⚙️