推理优化与部署

Prefill 阶段（处理输入）：
  用户输入 "解释什么是AI" → 一次性并行处理所有 token
  → 生成第一层到最后一层的所有隐藏状态
  → 填充 KV Cache
  → 计算密集，GPU 利用率高

Decode 阶段（生成输出）：
  逐 token 生成："人工" → "智能" → "是" → "..."
  每一步只处理一个新 token
  → 从 KV Cache 读取之前的 K 和 V
  → 内存带宽密集，GPU 利用率低

FP16: 16 bit  → 70B 模型需要 140 GB 显存
INT8:  8 bit  → 70B 模型需要  70 GB 显存（质量损失 < 1%）
INT4:  4 bit  → 70B 模型需要  35 GB 显存（质量损失 1-5%）
INT3:  3 bit  → 70B 模型需要  26 GB 显存（质量损失 5-15%）

FP16 → INT8：几乎无损，大多数应用场景可接受
FP16 → INT4：轻微损失，复杂推理任务可能受影响
FP16 → INT3：明显损失，需要仔细评估
FP16 → INT2：严重损失，仅适用于特定场景

传统 KV Cache：
  预分配一大块连续内存 → 大量内部碎片和外部碎片

PagedAttention：
  将 KV Cache 分成固定大小的"页"（block）
  按需分配页，不需要连续
  → 内存利用率接近 100%
  → 支持批处理（batching）时共享 KV Cache 页
  → 吞吐量提升 2-4 倍

静态批处理：
  等一个批次中所有请求都完成后，才开始下一个批次
  → 短请求等待长请求，GPU 空闲浪费

连续批处理：
  一个请求完成后立即插入新请求
  → GPU 始终保持忙碌状态
  → 吞吐量大幅提升

步骤 1: 小模型快速生成 5 个 token: "今天 天气 真 好 啊"
步骤 2: 大模型并行验证这 5 个 token
  - "今天" ✓ (概率高)
  - "天气" ✓ (概率高)
  - "真" ✓ (概率高)
  - "好" ✗ (大模型认为应该是 "不错") → 从这里开始重新生成
步骤 3: 接受前 3 个 token，从第 4 个开始重新投机

教师模型（如 GPT-4）→ 生成大量高质量数据
学生模型（如 7B 模型）→ 用这些数据训练

非结构化剪枝：将个别权重设为 0
  → 高稀疏度但难以利用（需要特殊硬件支持）

结构化剪枝：移除整个注意力头或 FFN 层
  → 可以直接减小模型尺寸
  → 如 LLM-Pruner 方法

用户请求
  ↓
[负载均衡器] → 路由到最空闲的推理实例
  ↓
[API 网关] → 认证、限流、计费
  ↓
[推理服务] (vLLM / TGI)
  ├── 模型加载（GPU 显存）
  ├── KV Cache 管理（PagedAttention）
  ├── 连续批处理
  └── 流式输出（SSE）
  ↓
[监控系统] → GPU 利用率、延迟、吞吐量

张量并行推理（单请求跨多 GPU）：
  70B 模型 → 2 张 A100 (80GB) 或 4 张 A100 (40GB)
  每张 GPU 持有模型的一部分
  通信开销：GPU 间需要同步中间结果

数据并行推理（多请求并行）：
  每张 GPU 持有完整模型副本
  不同 GPU 处理不同请求
  → 提高吞吐量但不降低单请求延迟

优化方案：
- INT4 量化：只需 1 张 A100 → 成本减半
- 自动扩缩容：低负载时减少实例 → 成本再降 30-50%
- Spot 实例：使用竞价实例 → 成本再降 50-70%