深度学习革命（2012–2019）

引言

2012 年，AlexNet 在 ImageNet 竞赛中以碾压性优势获胜，标志着深度学习从学术边缘走向舞台中央。此后短短七年间，深度学习在计算机视觉、自然语言处理、语音识别、游戏等领域实现了对人类水平的逼近甚至超越。本章详细记录这场技术革命的每一个关键节点。

1. AlexNet：深度学习的"阿波罗时刻"（2012）

1.1 ImageNet 大规模视觉识别挑战赛（ILSVRC）

ImageNet 是由李飞飞团队构建的超大规模图像数据集：

• 包含超过 1400 万张手工标注的图像
• 覆盖 21,841 个类别（基于 WordNet 层次结构）
• ILSVRC 竞赛要求在 1000 个类别上训练分类模型

在 2012 年之前，参赛者的 Top-5 错误率每年仅下降约 1-2 个百分点，最好的成绩约为 26%。

1.2 AlexNet 的突破

Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 的 AlexNet 将 Top-5 错误率从 26% 直接降至 15.3%，领先第二名 10.8 个百分点。

AlexNet 架构：

输入(224×224×3)
  → Conv1(96个11×11卷积核, stride=4) → ReLU → MaxPool → LRN
  → Conv2(256个5×5卷积核) → ReLU → MaxPool → LRN
  → Conv3(384个3×3卷积核) → ReLU
  → Conv4(384个3×3卷积核) → ReLU
  → Conv5(256个3×3卷积核) → ReLU → MaxPool
  → FC6(4096) → ReLU → Dropout(0.5)
  → FC7(4096) → ReLU → Dropout(0.5)
  → FC8(1000) → Softmax → 输出概率

关键技术创新：

ReLU vs Sigmoid 对比：

Sigmoid: f(x) = 1/(1+e^(-x))       ReLU: f(x) = max(0, x)
  1 ┤     ___                         1 ┤        /
    │   /     \                         │       /
0.5 ┤  /       \                      0.5┤      /
    │ /         \                       │     /
  0 ┤/           \_____                 0 ┤____/
    └───────────────── x                └───────────────── x
   -5              5                   -5              5

1.3 AlexNet 的历史意义

• 证明了深层 CNN 在大规模数据上的巨大潜力
• 让 GPU 训练成为深度学习的标配
• 引发了工业界对深度学习的大规模投资
• 2012 年被视为"深度学习元年"

2. 计算机视觉的深度学习突破

2.1 更深的网络

AlexNet 之后，网络的深度不断增加，性能持续提升：

人类水平的 Top-5 错误率约为 5.1%——ResNet 已经超越了人类。

2.2 VGGNet（2014）：更深的就是更好的

Karen Simonyan 和 Andrew Zisserman 证明了：

• 使用统一的小卷积核（3×3）代替大卷积核
• 两个 3×3 卷积核的感受野等于一个 5×5，三个等于一个 7×7
• 更深的网络（16-19 层）比浅层网络表现更好
• 但 VGGNet 参数量巨大（1.38 亿参数），推理成本高

2.3 GoogLeNet / Inception（2014）：高效的深度

Google 的 Christian Szegedy 提出了 Inception 模块：

• 在同一层并行使用不同大小的卷积核（1×1、3×3、5×5）和池化
• 用 1×1 卷积做降维，大幅减少计算量
• 仅有 500 万参数（AlexNet 的 1/12），但性能更好
• 引入了辅助分类器（Auxiliary Classifiers）缓解梯度消失

2.4 ResNet（2015）：残差学习的革命

何恺明等人在微软研究院提出的 ResNet 解决了深度网络的退化问题：

问题： 简单地增加网络层数，训练误差反而上升（不是过拟合，是训练不好）

解决方案——残差连接（Skip Connection）：

传统层：                 残差块：
x → [Conv] → [ReLU]      x ─────────────────→ (+) → [ReLU]
    → [Conv] → F(x)       │                      ↑
                          └→ [Conv] → [ReLU]     │
                              → [Conv] → F(x) ───┘

• 网络只需学习残差 F(x) = 目标映射 - x，而不是直接学习目标映射
• 如果某层不需要，F(x) 趋近于 0，网络自动变成恒等映射
• 使得训练 152 层甚至更深的网络成为可能

影响： ResNet 是深度学习架构设计中最具影响力的工作之一，残差连接几乎被后续所有深度网络采用。

3. 生成对抗网络（GAN, 2014）

3.1 核心思想

Ian Goodfellow 在 2014 年提出的 GAN 是深度学习中最优雅的创意之一：

┌─────────────────────────────────────────┐
│          生成对抗网络（GAN）              │
│                                         │
│  随机噪声 z ──→ [生成器 G] ──→ 假图像    │
│                                   ↓     │
│                              [判别器 D]  │
│                                   ↑     │
│  真实图像 ──────────────────→   真/假?   │
│                                         │
│  G 的目标：生成越来越逼真的假图像        │
│  D 的目标：越来越准确地辨别真假          │
│  二者在对抗中共同进化                    │
└─────────────────────────────────────────┘

博弈论视角： GAN 是一个极小极大博弈（Minimax Game）：

• min_G max_D V(D,G) = E[log D(x)] + E[log(1 - D(G(z)))]
• 生成器试图最小化判别器的判断能力
• 判别器试图最大化自己的判别准确率
• 纳什均衡时，生成器生成的数据分布与真实数据分布一致

3.2 GAN 的演进

3.3 GAN 的影响与局限

影响：

• 开启了 AI 生成内容（AIGC）的先河
• 催生了深度伪造（Deepfake）技术，引发伦理讨论
• 在数据增强、图像修复等领域有实际应用

局限：

• 训练不稳定，容易出现模式坍塌（mode collapse）
• 需要大量调参技巧
• 后来被扩散模型（Diffusion Model）在图像生成领域全面超越

4. AlphaGo 与强化学习的高光（2016）

4.1 围棋——AI 的"终极挑战"

围棋长期被认为是 AI 最难攻克的游戏：

• 棋盘 19×19，状态空间约 10^170（远超国际象棋的 10^47）
• 每步约有 250 个合法走法，搜索树深度可达 361 步
• 传统暴力搜索方法（如国际象棋的 alpha-beta 剪枝）完全不可行
• 局面评估极其复杂，难以用简单规则衡量

4.2 AlphaGo 的技术架构

DeepMind 的 AlphaGo 结合了多种 AI 技术：

┌──────────────────────────────────────────────┐
│             AlphaGo 架构                     │
│                                              │
│  输入：当前棋盘状态（19×19×17 特征平面）      │
│                                              │
│  ┌──────────────┐    ┌──────────────┐       │
│  │ 策略网络      │    │ 价值网络      │       │
│  │ (Policy Net) │    │ (Value Net)  │       │
│  │ 预测最佳走法  │    │ 评估局面优劣  │       │
│  │ CNN + 13层   │    │ CNN          │       │
│  └──────┬───────┘    └──────┬───────┘       │
│         │                   │                │
│         └────────┬──────────┘                │
│                  ↓                           │
│         [蒙特卡洛树搜索 MCTS]                 │
│         模拟未来走法，选择最优行动             │
└──────────────────────────────────────────────┘

训练流程：

1. 监督学习：用 3000 万步人类高手对弈数据训练策略网络
2. 强化学习：AlphaGo 自己与自己对弈，通过策略梯度进一步优化
3. 价值网络：学习评估任意棋盘局面的胜率

4.3 AlphaGo 的关键战役

第 37 手——"神之一手"： 在第二局对李世石的比赛中，AlphaGo 下出了第 37 手，这步棋被职业棋手评价为"人类在一千年的围棋历史中从未想到过的走法"，但它后来被证明是一步绝妙的棋。这体现了 AI 不仅能在已知策略上超越人类，还能发现全新的策略。

4.4 AlphaGo 的深远影响

• 证明了深度强化学习在复杂策略游戏中的巨大潜力
• AlphaGo Zero 展示了"从零学习"的可能性——不需要人类数据，只需规则
• 技术后来被应用于蛋白质结构预测（AlphaFold）、芯片设计等领域
• DeepMind 的后续工作 AlphaStar（星际争霸）和 MuZero 进一步拓展了强化学习的边界

5. 自然语言处理的深度学习革命

5.1 词向量的成熟

Word2Vec（2013） 让 NLP 从离散符号处理转向连续向量空间：

GloVe（2014）：Stanford 的 Jeffrey Pennington 等人提出的全局词向量方法，结合了全局统计信息和局部上下文窗口

5.2 序列到序列模型（Seq2Seq, 2014）

Ilya Sutskever 等人提出的 Seq2Seq 架构开创了端到端的序列转换范式：

编码器（Encoder）              解码器（Decoder）
输入序列 → [LSTM] → 上下文向量 → [LSTM] → 输出序列

"我爱你"  → [编码] → 向量 v   → [解码] → "I love you"

• 机器翻译的准确率大幅提升
• 成为后续所有 NLP 模型的基础架构

5.3 注意力机制（Attention, 2015）

Dzmitry Bahdanau 等人发现 Seq2Seq 的瓶颈在于将整个输入序列压缩成一个固定长度的向量，于是提出了注意力机制：

传统 Seq2Seq：
输入序列 → 编码器 → [一个向量] → 解码器 → 输出序列
（所有信息挤进一个向量，信息丢失严重）

Attention 增强：
输入序列 → 编码器 → [多个向量] → 注意力权重 → 解码器
（解码每一步时，动态"关注"输入序列的不同部分）

直觉： 翻译一个句子时，生成每个目标词不需要看整个源句子，只需重点关注对应的源词。

影响： 注意力机制直接催生了 Transformer，是整个大模型时代的技术根基。

6. Transformer：一切的起点（2017）

6.1 "Attention Is All You Need"

2017 年，Google 的 Ashish Vaswani 等八位作者在 NeurIPS 上发表了可能是 AI 历史上引用最多的论文之一——《Attention Is All You Need》，提出了 Transformer 架构。

核心创新：

• 完全抛弃了 RNN/CNN，仅使用自注意力机制（Self-Attention）
• 编码器-解码器结构，但每个位置可以直接关注所有其他位置
• 并行计算，训练速度比 RNN 快数十倍
• 多头注意力（Multi-Head Attention）允许模型同时关注不同方面的信息

为什么 Transformer 如此重要：

下一章将深入剖析 Transformer 的每一个组件，包括自注意力机制的数学原理、位置编码、训练策略等。

7. 预训练语言模型的开端

7.1 GPT-1（2018）

OpenAI 在 2018 年提出了 GPT（Generative Pre-trained Transformer）：

• 使用 Transformer 的解码器部分
• 在大量无标注文本上进行预训练（目标：预测下一个 token）
• 在下游任务上进行少量微调
• 参数量：1.17 亿

7.2 BERT（2018）

Google 在同一年提出了 BERT（Bidirectional Encoder Representations from Transformers）：

• 使用 Transformer 的编码器部分
• 双向注意力：同时利用左右上下文
• 预训练任务：掩码语言模型（MLM）+ 下一句预测（NSP）
• 在 11 项 NLP 任务上刷新了纪录
• 参数量：Base 1.1 亿，Large 3.4 亿

7.3 GPT-2（2019）

• 参数量从 1.17 亿跃升至 15 亿
• 展示了惊人的文本生成能力
• OpenAI 因担心滥用最初未完全公开模型（引发了开源 vs 闭源的争论）
• 初步展示了大模型的"零样本学习"能力

7.4 T5（2019）

Google 提出的 T5（Text-to-Text Transfer Transformer）：

• 将所有 NLP 任务统一为"文本到文本"的格式
• 探索了预训练的各种因素（数据规模、模型大小、训练目标等）
• 为后续的 Scaling Laws 研究提供了重要参考

8. 本章小结

这一时期的核心启示：

1. Scaling 的威力：更多的数据、更大的模型、更强的算力，几乎总是带来更好的结果
2. 通用架构的胜利：Transformer 证明了一个架构可以统一几乎所有模态
3. 预训练范式的革命：先在大数据上预训练通用能力，再在特定任务上微调
4. 从学术到产业：深度学习从论文走向产品，深刻改变了科技行业

相关章节

• 机器学习崛起（1994–2011） — 前情：深度学习爆发前的技术与基础设施积累
• 大模型时代（2020–至今） — 后续：Transformer 点燃的大模型浪潮
• Transformer 架构深度剖析 — 引爆大模型时代的核心架构

延伸阅读

• Krizhevsky, A., Sutskever, I., & Hinton, G.E. (2012). "ImageNet Classification with Deep Convolutional Neural Networks". NeurIPS
• He, K. et al. (2015). "Deep Residual Learning for Image Recognition". CVPR
• Goodfellow, I. et al. (2014). "Generative Adversarial Nets". NeurIPS
• Silver, D. et al. (2016). "Mastering the Game of Go with Deep Neural Networks and Tree Search". Nature, 529, 484-489
• Vaswani, A. et al. (2017). "Attention Is All You Need". NeurIPS
• Devlin, J. et al. (2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". NAACL