# 机器学习与深度学习

## 机器学习

### 监督学习

**监督学习（Supervised Learning）**

- 定义：所有训练数据都具有明确的标签，模型通过这些标签进行学习。
- 特点：模型训练相对直接，性能受限于标注数据的质量和数量。
- 示例：传统的分类问题，如手写数字识别、垃圾邮件检测等。

**无监督学习（Unsupervised Learning）**

- 定义：训练数据完全没有标签，模型需要自己去发现数据中的模式或结构。
- 特点：常用于聚类、降维、关联规则挖掘等任务，难以直接用于分类任务。
- 示例：聚类算法（如K-means）和主成分分析（PCA）。

**半监督学习（Semi‑supervised Learning）**

- **定义**：介于监督学习和无监督学习之间，使用少量带标签的数据和大量未标签的数据共同训练模型，以在标注数据稀缺时提升分类性能。
- **特点**：结合标签信息与数据分布结构，通过利用未标签数据的内在聚类或流形结构降低对标注数据的依赖，从而提高模型泛化能力并降低标注成本；通常依赖平滑假设和聚类假设等前提。 
- **示例**：在猫狗图像分类任务中，先使用少量已标记的猫狗图片训练初始模型，再用该模型为大量未标记图片生成“伪标签”，将这些伪标签数据与原有标记数据合并重新训练，从而获得比仅使用有标签数据更高的分类准确率。 
- 在半监督学习中，为了避免将错误的模型预测“伪标签”纳入训练，必须对每个未标注样本的预测结果进行可信度评估，**只保留高置信度、准确率更高的伪标签**作为新增训练数据。

## 深度学习

### 前向传播

#### **Mini Batch梯度下降**

**Batch Size（批大小）**

- 定义

  Batch Size 指在深度学习模型训练过程中，每次迭代送入网络进行前向传播和反向传播的样本数量。 

- 特点

  Batch Size 决定了梯度更新的频率和稳定性；较大的 Batch Size 能更好地利用 GPU 并行计算、减少迭代次数、加快训练速度，但会显著增加显存占用且可能降低模型泛化能力；较小的 Batch Size 则带来更大的梯度噪声，有助于跳出局部最优、提高泛化性能，但训练过程更不稳定且耗时更长。 

- 示例：在 PyTorch 中，使用 `DataLoader(dataset, batch_size=32, shuffle=True)` 表示每次迭代从数据集中抽取 32 个样本进行训练。一个batch的所有样本会被**打包成一个张量**，一次性并行送入网络进行计算

将完整训练集分割成若干大小相同的小批量（mini‑batch），每次迭代仅使用一个 mini‑batch 来计算梯度并更新模型参数，结合了批量梯度下降（Batch GD）和随机梯度下降（SGD）的优势。

- 当 `batch_size=1` 时退化为随机梯度下降；当 `batch_size=m`（训练集总样本数）时退化为批量梯度下降。
- 通常选择 2 的幂（如32、64、128、256）以匹配 GPU/CPU 内存布局并提升运算效率。

**算法流程**

1. 将训练数据随机打乱并按 `batch_size` 划分成多个 mini‑batch。

2. 对每个 mini‑batch 执行：

   - 前向传播计算输出。

   - 计算 mini‑batch 上的平均损失。

   - 反向传播计算梯度。

   - 按公式更新参数：
     $$
     \theta \leftarrow \theta - \eta \frac{1}{|\text{batch}|}\sum_{i\in \text{batch}} \nabla_\theta \mathcal{L}(x_i,y_i)
     $$

3. 遍历所有 mini‑batch 即完成一个 epoch，可重复多轮直到收敛。



#### Softmax 公式

假设有一个输入向量
$$
z = [z_1, z_2, \dots, z_K],
$$
则 softmax 函数的输出为：
$$
\sigma(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}},
$$
其中 $i = 1, 2, \dots, K$。

- **分子**：对每个 $z_i$ 取自然指数 $e^{z_i}$，目的是将原始的实数扩展到正数范围。  
- **分母**：对所有 $e^{z_j}$ 求和，从而实现归一化，使得所有输出概率和为 1。



#### 交叉熵损失

假设有三个类别，真实标签为第二类，因此用 one-hot 编码表示为：
$$
y = [0,\; 1,\; 0].
$$

假设模型经过 softmax 后输出的预测概率为：
$$
\hat{y} = [0.2,\; 0.7,\; 0.1].
$$

交叉熵损失函数的定义为：
$$
L = -\sum_{i=1}^{3} y_i \log \hat{y}_i.
$$

将 $y$ 和 $\hat{y}$ 的对应元素代入公式中：
$$
L = -(0 \cdot \log 0.2 + 1 \cdot \log 0.7 + 0 \cdot \log 0.1) = -\log 0.7.
$$

计算 $-\log 0.7$（以自然对数为例）：
$$
-\log 0.7 \approx -(-0.3567) \approx 0.3567.
$$

因此，这个样本的交叉熵损失大约为 **0.3567**。



### **残差连接**

假设一个神经网络层（或一组层）的输入为 $x$，传统的设计会期望该层直接学习一个映射 $F(x)$。而采用残差连接的设计，则将输出定义为：
$$
\text{Output} = F(x) + x.
$$
这里：

- $F(x)$ 表示经过几层变换（比如卷积、激活等）后所学到的“残差”部分，
- $x$ 则是直接通过捷径传递过来的输入。

**为什么使用残差连接**

1. **缓解梯度消失问题**  
   在深层网络中，梯度往往会在反向传播过程中逐层衰减，而残差连接为梯度提供了一条捷径，使得梯度可以直接从后面的层传递到前面的层，从而使得网络更容易训练。

2. **简化学习任务**  
   网络不必学习从零开始构造一个完整的映射，而只需要学习输入与目标之间的残差。这样可以使得学习任务变得更简单，更易收敛。

3. **提高网络性能**  
   在很多实际应用中（例如图像识别中的 ResNet），引入残差连接的网络能训练得更深，并在多个任务上取得更好的效果。