World 04 · Module A

ViT / Transformer：把图像切成 Token

从卷积局部窗口到全局注意力表征，理解视觉 Transformer 的输入、计算和输出结构。

机制拆解 · 教学动画预设样例 · 非真实推理 Patch Token / Self-Attention / CLS / 表征

图像、Patch 与注意力设置

示例图像 Patch 尺寸注意力头

显示模式

速度

图像输入图像被表示为 H×W×3 张量。

输入尺寸224×224×3

Patch16×16

Token 数196

加 CLS197

当前步骤图像

交互演示

城市街道 224×224×3 Patch 网格

当前步骤输入、计算和输出

当前步骤图像

把输入图像作为 224×224×3 张量，是后续 Patch Token 化的起点。

输入结构图像 ∈ R^(H×W×3)

核心计算读取 RGB 张量

输出结构224×224×3 图像张量

与 CNN 的关系CNN 从局部卷积开始，ViT 先把图像改写为序列。

核心公式 图像 ∈ R^(H×W×3) 当前页面使用预设 Attention 权重，不执行真实模型推理。

关注度最高的 5 个 Patch

状态说明 机制拆解 · 教学动画；预设样例 · 非真实推理。