多模态能力

"看图说话"：图像 → 文本
  "文字生图"：文本 → 图像
  "视频问答"：视频 + 文本问题 → 文本回答
  "语音对话"：语音 → 文本理解 → 文本生成 → 语音合成

图像输入                    文本输入
  ↓                           ↓
[视觉编码器]              [文本 Embedding]
(ViT / CLIP)             (Tokenizer)
  ↓                           ↓
[连接器/投影层]               │
(MLP / Q-Former)             │
  ↓                           ↓
  └──────── 拼接 ─────────────┘
              ↓
        [大语言模型]
        (LLaMA / GPT / Qwen)
              ↓
         文本回答

前向过程（加噪）：
  原始图像 → 逐步加入噪声 → 纯噪声图像
  (清晰) → (略微模糊) → ... → (完全噪声)

反向过程（去噪/生成）：
  纯噪声 → 逐步去噪 → 生成图像
  (完全噪声) → (隐约成形) → ... → (清晰图像)

条件引导：
  文本提示 "一只在月球上弹吉他的猫" → 引导去噪方向
  通过 CLIP 文本编码器将文本转为向量，引导每一步的去噪

文本 → CLIP 文本编码器 → 文本向量
                            ↓
                      引导扩散过程
                            ↓
噪声 → 扩散模型（条件去噪） → 生成图像

文本提示 + 控制条件（边缘图/深度图/姿态图）
    ↓
基础扩散模型 + ControlNet 分支
    ↓
生成同时满足文本描述和控制条件的图像

例如：文本"一栋现代别墅" + 建筑草图 → 按草图布局生成别墅渲染图

传统方式：语音 → ASR → 文本 → LLM → 文本 → TTS → 语音
  延迟高（3 个模型串行），语音信息丢失（语气、情绪）

端到端方式（GPT-4o）：语音 → 语音语言模型 → 语音
  延迟低（一个模型），保留语气和情感

早期：每个模态一个独立模型
  文本 → GPT
  图像 → DALL·E
  语音 → Whisper

中期：多模型组合
  图像 → CLIP 编码 → 拼接到 LLM → 文本回答

当前趋势：统一模型
  任意模态输入 → 统一 Transformer → 任意模态输出
  GPT-4o、Gemini 都朝这个方向发展

多模态让 Agent 可以：
1. 看懂屏幕截图 → 操作 GUI 界面
2. 理解用户上传的图片/文件 → 更丰富的交互
3. 生成图表/图像 → 更直观的展示
4. 听懂语音指令 → 自然交互
5. 生成语音回复 → 语音助手