从 Transformer 到 CLIP 与扩散模型：用数据流读懂文生图

2.1 参数是什么？#

参数可以理解成模型里的“旋钮”。每个旋钮都会影响输出结果。训练前，这些旋钮通常还不合适；训练过程就是不断调整它们。

2.2 损失函数是什么？#

损失函数负责把“错得多严重”变成一个数字。比如分类任务中，如果正确答案是“猫”，模型却很自信地预测成“狗”，损失就会比较大。

2.3 反向传播是什么？#

反向传播做的事情是：从错误出发，沿着计算路径往回走，估计每个参数对错误贡献了多少，然后把参数往更好的方向调一点。反向传播是现代神经网络训练的关键方法之一，Rumelhart、Hinton 和 Williams 在 1986 年的论文中系统展示了这种方法如何让多层网络学习内部表示 [3]。

1
训练循环 = 前向预测 → 计算损失 → 反向传播 → 更新参数 → 再来一轮

到这里，普通神经网络的训练逻辑已经清楚了。但语言有一个额外麻烦：语言不是一个孤立输入，而是一串有顺序的符号。

5.1 长距离依赖：远处信息要一站一站传过来#

如果第 1 个词的信息要影响第 50 个词，它必须经过 h1 → h2 → h3 →… → h50 这条长链。链越长，信息越容易变弱、变形或被覆盖。

1
重要信息第 1 个词 → h2 → h3 → ... → h50可能已经模糊

5.2 梯度问题：训练信号也要穿过长链#

训练时，错误信号需要从后面反传到前面。如果路径很长，梯度可能变得很小，导致前面位置学得很慢；也可能变得很大，导致训练不稳定。这类长期依赖问题也是 LSTM 被提出的重要背景之一 [4]。

5.3 并行性差：后一步依赖前一步#

RNN 的 h3 依赖 h2，h2 又依赖 h1。这意味着很多计算必须按顺序做，难以像矩阵运算那样大规模并行。

**RNN 的瓶颈：**它把序列压进一条单线记忆流里。距离越远，信息越难保真；序列越长，计算越难并行。

11.1 绝对位置编码：给每个位置一个坐标标签#

原始 Transformer 使用 positional encoding 来提供序列顺序信息 [1]。最直观的做法是：第 1 个位置、第 2 个位置、第 3 个位置……各自有一个位置向量，然后把它加到 token embedding 上。

1
Token Embedding词的语义 + Position Encoding第几个位置 → 带位置的向量语义 + 顺序

1
第 3 个 token 的输入向量
2
= token embedding + position embedding(3)

类比一下：token embedding 像演员本身，位置编码像舞台站位。只有演员和站位结合起来，句子才有结构。

11.2 绝对位置编码的局限性#

绝对位置编码能解决“模型不知道顺序”的问题，但它也有局限。第一，它强调的是“我在第几个位置”，而 Attention 真正经常需要的是“我和另一个 token 相隔多远”。例如理解“它”指代谁时，第 20 个词和第 23 个词之间的距离，往往比“第 20 个词”这个绝对编号更关键。

第二，绝对位置编码把位置信息较早混进 token 表示里。后面计算 Q、K、V 时，模型需要自己学会从混合后的向量里恢复位置关系。这样不是不能做，但相对位置关系并没有直接出现在 Attention 分数里。

第三，当序列长度超过训练时常见长度时，绝对位置编号可能变得不够自然。模型训练时常见的是某个位置范围，推理时突然看到更长的位置，位置表示和注意力模式可能更难泛化。

11.3 旋转位置编码 RoPE：把位置写进 Q/K 的角度#

旋转位置编码 Rotary Position Embedding，简称 RoPE，是很多现代大语言模型常用的位置编码方式。它不是简单地把位置向量加到 token embedding 上，而是在计算 Attention 之前，按照 token 的位置去旋转 Query 和 Key 向量的一部分维度 [6]。

1
Token 向量语义坐标 → 生成 Q / K准备匹配↻按位置旋转位置越靠后角度越大 → QK 点积带相对距离

可以把向量的相邻两个维度看成一个二维平面。RoPE 会把 Q 和 K 拆成很多这样的二维小平面；第 m 个位置的 token，就把自己的 Q/K 在这些平面里旋转一个与 m 相关的角度。

图示：RoPE 的二维几何向量图

同一个二维向量在不同位置会旋转到不同角度。第 m 个位置的 Query 和第 n 个位置的 Key 做点积时，两个旋转角度的差对应相对距离。

1
普通点积只看两个向量本身：
2
q = [q1, q2],  k = [k1, k2]
3
score = q · k = q1*k1 + q2*k2
4

5
RoPE 先按位置旋转 Q / K：
6
R(t) = [ cos(t)  -sin(t) ]
7
       [ sin(t)   cos(t) ]
8

9
q_m = R(mθ) q
10
k_n = R(nθ) k
11

12
再做点积：
13
score_rope = q_m · k_n
14
           = (R(mθ)q)^T (R(nθ)k)
15
           = q^T R((n-m)θ) k
16

17
令 Δ = (n-m)θ，二维展开为：
18
score_rope =
19
  (q1*k1 + q2*k2) * cos(Δ)
20
  + (q2*k1 - q1*k2) * sin(Δ)

这条展开式更直观：第一项 q1*k1 + q2*k2 就是普通点积，但它会被 cos(Δ) 调制；第二项是旋转后多出来的交叉项，并由 sin(Δ) 控制。这里的 Δ=(n-m)θ 只和两个 token 的相对距离有关，所以 Attention 分数不只看语义是否匹配，还显式带上了“第 n 个位置相对第 m 个位置隔了多远”。RoFormer 论文把这一点概括为：RoPE 用旋转矩阵编码绝对位置，同时在 self-attention 里引入显式的相对位置依赖 [6]。

11.4 为什么 RoPE 更好#

RoPE 的优势不在于“看起来更复杂”，而在于它把位置关系放在 Attention 最需要的位置：Q 和 K 的匹配过程里。Attention 的核心问题是“当前位置应该关注哪个位置”，所以直接让 Q/K 点积感知相对距离，比只在输入层贴一个绝对位置标签更贴近任务。

**关键点：**绝对位置编码是在输入里告诉模型“这个 token 在第几个位置”；RoPE 是在 Attention 匹配时告诉模型“这两个 token 的语义是否相关，以及它们相隔多远”。这就是它在现代 Transformer 中常见的原因。

12.1 训练时 Q/K/V 是怎么学出来的#

Q、K、V 不是人工写好的规则，也不是固定词典。它们是输入向量乘上三组可训练参数得到的结果。真正被训练更新的是 Wq、Wk、Wv 这些投影矩阵；训练早期它们还很粗糙，随着预测错误不断反传，才逐渐学会“什么该查询、什么该匹配、什么内容值得传递”。

1
输入向量矩阵：X
2

3
Q = X Wq
4
K = X Wk
5
V = X Wv
6

7
Attention 分数：
8
S = Q K^T / sqrt(dk)
9

10
注意力权重：
11
A = softmax(S)
12

13
上下文输出：
14
O = A V

下面是一段只依赖 numpy 的最简 Self-Attention 实现。它不包含多头、不包含 mask、不包含 LayerNorm，只保留最核心的数据流：投影出 Q/K/V，计算相关性，softmax 成权重，再加权汇总 V。

1
import numpy as np
2

3
def softmax(x, axis=-1):
4
    x = x - np.max(x, axis=axis, keepdims=True)  # 防止 exp 数值过大
5
    exp_x = np.exp(x)
6
    return exp_x / np.sum(exp_x, axis=axis, keepdims=True)
7

8
def self_attention(X, Wq, Wk, Wv):
9
    # X:  [seq_len, d_model]，一整句话的 token 向量
10
    # Wq/Wk/Wv: 可训练投影矩阵
11
    Q = X @ Wq
12
    K = X @ Wk
13
    V = X @ Wv
14

15
    dk = K.shape[-1]
16
    scores = (Q @ K.T) / np.sqrt(dk)   # [seq_len, seq_len]
17
    weights = softmax(scores, axis=-1) # 每一行表示当前 token 看所有 token 的权重
18
    output = weights @ V               # [seq_len, d_value]
19
    return output, weights
20

21
# 示例：3 个 token，每个 token 是 4 维向量
22
np.random.seed(0)
23
X = np.random.randn(3, 4)
24
Wq = np.random.randn(4, 4)
25
Wk = np.random.randn(4, 4)
26
Wv = np.random.randn(4, 4)
27

28
O, A = self_attention(X, Wq, Wk, Wv)
29
print("attention weights:\\n", A)
30
print("output:\\n", O)

输出里的 A 就是 attention 权重矩阵。第 i 行表示第 i 个 token 在更新自己时，分别从所有 token 那里拿多少信息；O 则是混入上下文后的新 token 向量。

图示：Self-Attention 训练时的多 token 数据流和参数更新

每个 token 都用共享的 Wq Wk Wv 投影出自己的 q k v。每个 query 查询所有 keys，得到权重后汇总所有 values。损失梯度反向更新共享投影参数。

这张图的关键是：每个 token 都会生成自己的 q_i/k_i/v_i，但它们使用的是同一组共享参数 Wq/Wk/Wv。前向传播时，每个 q_i 都会和所有 k_j 做匹配，得到一行 attention 权重，再用这行权重汇总所有 v_j；反向传播时，预测误差沿着 O = A V、A = softmax(QK^T) 回到所有 q/k/v，最后汇总成对共享参数 Wq/Wk/Wv 的更新。

1
一次训练迭代里的 Self-Attention 数据流：
2

3
1. 前向：
4
   X = [x1; x2; x3; ...]
5
   Q = XWq, K = XWk, V = XWv
6
   Q 的每一行是一个 token 的 q_i
7
   K 的每一行是一个 token 的 k_i
8
   V 的每一行是一个 token 的 v_i
9
   A = softmax(QK^T / sqrt(dk))  # token × token 权重矩阵
10
   O = A V → 预测 logits → loss
11

12
2. 反向：
13
   loss 的梯度 → logits → O → A,V → Q,K
14
   所有 token 的梯度一起汇总到共享参数 Wq,Wk,Wv
15

16
3. 更新：
17
   Wq ← Wq - learning_rate * gradient(Wq)
18
   Wk ← Wk - learning_rate * gradient(Wk)
19
   Wv ← Wv - learning_rate * gradient(Wv)

**训练视角下的 QKV：**Q/K/V 机制不是模型手写的“注意力规则”，而是一组可训练的投影。训练数据不断告诉模型哪些关注关系能降低 loss，参数更新就把这些关系写进 Wq/Wk/Wv 里。

20.1 为什么不能直接比较图片和文字#

原始图片通常是 H × W × 3 的像素网格，例如高度、宽度和 RGB 三个颜色通道。原始文本是一串字符或 token，例如 a red apple。这两种数据不仅长度不同，结构也不同：图片有二维空间邻接关系，文本有一维顺序关系。因此，CLIP 的第一步不是“比较”，而是先把两种输入各自变成模型能处理的向量序列。

20.2 Encoder 先各自理解，再投影到同一维度#

图像 Encoder 和文本 Encoder 的内部结构可以不同，输出的中间表示也可以不同。真正用于图文比较的不是这些原始中间表示，而是经过一个可训练的 projection head 之后的向量。这个 projection head 可以理解成“接口适配器”：它把图像侧和文本侧都映射到同一个维度 d。

1
image_features = image_encoder(image_pixels)
2
text_features  = text_encoder(text_tokens)
3

4
image_embedding = image_features × W_image_projection  # -> d 维
5
text_embedding  = text_features  × W_text_projection   # -> d 维

如果一个向量是 768 维，另一个向量是 1024 维，它们不能直接做点积。投影层的作用就是让二者最终都变成同样长度的向量，例如都变成 d 维。维度相同之后，每个位置不再代表某个固定人工含义，而是模型训练出来的语义坐标。

图示：CLIP 从不同模态到同维语义向量的动画

图片和文本先分别预处理，再经过各自 encoder，随后通过 projection head 映射到同一维度，归一化后用余弦相似度计算匹配程度。

20.3 “高维语义空间”到底是什么#

可以把一个二维平面想成地图：每个点有横坐标和纵坐标。高维语义空间也是类似的，只是坐标不止 2 个，而是 d 个。一个 embedding 就是这个空间里的一个点或一个方向。训练前，这个空间没有稳定语义；训练后，模型会把“语义相近”的图文放到方向相近的位置。

这里的“语义”不是人工规定的某一维等于“颜色”、另一维等于“动物”。更准确地说，每一维都是模型为了降低训练损失学出来的隐含特征。单独看某一维通常不好解释，但整个向量的方向可以表达“这像不像一张红苹果照片”“这像不像一只猫在沙发上”。

20.4 为什么要归一化，为什么用相似度#

投影之后，CLIP 通常会把图像向量和文本向量归一化，也就是把向量长度缩放为 1。这样比较两个向量时，重点就从“谁的数值更大”变成“两个方向是否接近”。方向越接近，说明语义越相似。

1
相似度 = normalized_image_embedding · normalized_text_embedding

这个点积可以理解成余弦相似度：两个向量方向越一致，分数越高；方向差得越远，分数越低。于是，CLIP 可以对一张图片和很多句文本分别算分，也可以对一句文本和很多张图片分别算分。

20.5 对齐不是手写规则，而是训练出来的#

CLIP 的训练数据里有大量图文配对。对于一张红苹果图片和文字 a red apple，模型会提高它们的相似度；对于这张图片和 a blue car 这类不匹配文本，模型会降低相似度。经过大量这样的更新，projection head 和两个 Encoder 会共同形成一个可比较的语义空间。

**关键点：**所谓“对齐”，不是把图片硬翻译成文字，也不是人工规定每个维度的含义；而是通过训练让匹配图文在同一高维空间里的方向更接近，让不匹配图文方向更远。

21.1 图片不能直接当成一句话#

文本天然是一维 token 序列，图像却是二维像素网格。要让 Transformer 处理图像，最常见做法是先把图片切成小块，每个小块叫一个 patch。每个 patch 会被展开并映射成一个向量，相当于“视觉 token”。

1
原始图片H × W × 3 → 切成 Patch例如 16 × 16 → Patch Embedding视觉 token → 位置编码 → 图像 token 序列

图示：图片切成 patch 并映射成 embedding 的动画

左侧图片网格中的 patch 被依次抽出，经过线性投影变成右侧的 embedding 条形，最后组成视觉 token 序列。

21.2 Patch Embedding：把局部图像块变成向量#

一个 patch 里有颜色、边缘、纹理和局部形状。Patch embedding 做的事情类似文本 embedding：把离散或局部的原始输入变成一串可计算的小数。不同的是，文本 token 来自词表，图像 patch 来自像素块。

21.3 Self-Attention：让图像区域互相看见#

图片里的语义通常不是单个 patch 决定的。一个 patch 可能只是猫耳朵，另一个 patch 是眼睛，多个区域组合起来才形成“猫”。Self-Attention 让每个视觉 token 和其他视觉 token 交互，从局部纹理逐渐形成全局对象和场景理解。

1
Patch 1耳朵Patch 2眼睛Patch 3背景 → Self-Attention区域关系 → 全局图像表示一只猫在沙发上

21.4 聚合成 image embedding#

经过多层 Transformer 后，图像 Encoder 会把整张图压缩成一个 image embedding。这个向量不会保存每个像素的全部细节，它更像“这张图的语义摘要”：主要物体、场景、风格和一些显著属性。

26.1 前向加噪：训练样本如何变成带噪样本#

先从一张真实图片或 latent 记作 x0 开始。训练程序随机抽一个时间步 t，再随机抽一份标准高斯噪声 epsilon。然后按照噪声日程把干净样本和噪声混合，得到 x_t：

1
x_t = sqrt(alpha_bar_t) * x0 + sqrt(1 - alpha_bar_t) * epsilon
2
epsilon ~ N(0, I)

这一步叫“前向扩散”或“前向加噪”。它不是模型在学，而是训练程序按固定公式制造题目：把一张干净图变成一道带噪题，并保留正确答案 epsilon。

图示：扩散模型训练样本构造动画

干净样本、随机时间步和随机噪声被混合成带噪样本，U-Net 预测噪声并和真实噪声计算损失。

26.2 U-Net 的输入和输出分别是什么#

训练时，一条样本可以写成：

1
model input  = (x_t, t, text_embedding)   # 带噪 latent、噪声级别、文本条件
2
model output = epsilon_pred               # 模型预测的噪声
3
training target = epsilon                 # 刚才真实加进去的噪声
4
loss = MSE(epsilon_pred, epsilon)

这里最容易误解的是：模型通常不是直接输出最终图片，也不是直接输出“下一步更清晰的图”。经典 DDPM 训练目标里，模型输出的是噪声估计 epsilon_pred。如果它能在任何 t 上准确判断 x_t 中的噪声成分，就能把噪声从样本里逐步剥离。

**关键点：**训练时模型知道答案，因为 epsilon 是训练程序自己采样并加进去的。推理生成时模型不知道答案，只能用训练好的网络去估计 epsilon_pred。

26.3 每个时间步到底在学什么#

t 不是普通的序号，而是在告诉模型“当前题目的噪声强度”。同一张图在不同 t 下会变成不同难度的题目，所以模型要学的不是一个固定去噪动作，而是一个随噪声级别变化的函数：

1
epsilon_pred = U-Net(x_t, t, c)

所以“每一步学习去噪”更准确地说是：模型学习在不同噪声强度下，从当前带噪样本中估计噪声成分的条件分布。它不是记住某一张噪声图，而是学会：当输入长成这种样子、噪声强度是这个级别、文本条件要求这种语义时，哪些变化更像随机噪声，哪些变化更像真实图像的一部分。

26.4 为什么说它学的是噪声分布#

单看一张 x_t，我们无法肉眼确定每个像素或 latent 位置里到底混了多少噪声。但训练数据里有大量例子：不同图片、不同 t、不同随机 epsilon。模型反复看到这些题目后，学到的是一个统计规律：

1
给定 (x_t, t, c)，哪些 epsilon 更可能是当初加进去的噪声？

在概率视角下，它近似学习的是“从噪声分布走回数据分布”的方向。更专业地说，去噪模型和 score-based view 有联系：模型学到的方向与 ∇ log p_t(x_t | c) 有关，也就是让当前样本往更高概率、更像真实训练图像的位置移动的方向。对初学者可以先记成：它不是在背图，而是在学一个方向场：当前位置该往哪里改，才更不像随机噪声、更像符合文本条件的真实图像。

**“分布”是什么意思：**不是一张标准答案图，而是一片可能性区域。比如 prompt 要求“红苹果”，合理图像可以有很多张；模型学习的是这些合理图像在 latent 空间中大致聚在哪里，以及从噪声点怎么一步步走向这些区域。

26.5 推理生成时，每一步如何更新 latent#

生成时没有真实 x0，也没有真实 epsilon。流程反过来：先从随机 latent x_T 开始，把当前 x_t、时间步 t 和文本条件 c 交给 U-Net，得到 epsilon_pred。然后 scheduler 用这个预测噪声计算下一步更干净的 x_{t-1}。

1
当前 latentx_t + 时间步t + 文本条件c → U-Net → 预测噪声epsilon_pred → Scheduler 更新x_{t-1}

可以把 scheduler 理解成“按公式走一步的人”。U-Net 负责告诉它当前噪声大概是什么；scheduler 负责根据噪声日程、步长和采样方法，把 x_t 改成更接近干净样本的 x_{t-1}。不同 scheduler 的公式不同，所以同一个模型换 scheduler，速度、稳定性和画面细节可能会变。

图示：扩散模型多步去噪动画

左侧噪声 latent 输入 U-Net，U-Net 预测噪声，scheduler 根据预测噪声更新 latent，重复后得到清晰图像。

26.6 训练和生成的区别#

U-Net 是图像生成里常见的去噪网络结构，它既能保留空间分辨率，又能在不同尺度上处理局部纹理和全局结构 [10]。Stable Diffusion 这类模型通常不直接在像素空间去噪，而是在更小的 latent 空间去噪，再用 VAE decoder 解码成图片；这就是 Latent Diffusion 的核心思路 [11]。

**到这里的心智模型：**扩散模型训练时反复制造“带噪样本 - 真实噪声答案”的题目；U-Net 学会根据 x_t、t 和文本条件估计噪声；生成时 scheduler 使用这些噪声估计，把随机 latent 一步步推向高概率的清晰图像区域。

29.1 先理解普通线性层：输入向量乘以权重矩阵#

神经网络里大量计算都可以简化成一件事：输入向量 x 乘以权重矩阵 W，得到输出向量 y。

1
y = W x

W 可以理解成模型已经学到的“转换规则”。在 Attention 里，生成 Q、K、V 的投影层就是这样的线性变换；在 U-Net 里，许多卷积层和线性层也承担类似的信息变换职责。

29.2 LoRA 不直接改 W，而是学习一个小增量#

完整微调会直接更新大矩阵 W。LoRA 的做法是冻结 W，额外学习一个增量 Delta W：

1
原始输出：y = W x
2
LoRA 后：y = W x + Delta W x

关键在于，LoRA 不把 Delta W 也做成一个完整大矩阵，而是把它拆成两个很瘦的小矩阵：

1
Delta W = B A
2
A: r × input_dim
3
B: output_dim × r
4
r 很小，比如 4、8、16、32

这就是“低秩”的意思：不让增量拥有完整矩阵那么大的自由度，只允许它通过一个很窄的中间通道表达变化。

图示：LoRA 低秩旁路动画

输入向量一条路径经过冻结的原始权重矩阵，另一条路径经过两个小矩阵 A 和 B，最后相加得到带 LoRA 的输出。

29.3 LoRA 影响 Stable Diffusion 的哪部分#

在文生图里，LoRA 最常见的作用位置是 U-Net 里的 attention 投影层，尤其是 cross-attention 相关的 to_q、to_k、to_v、to_out 等线性层；也可以作用在部分卷积层，或者同时给文本 Encoder 加 LoRA。不同训练脚本和模型结构会有差异，但核心都是：让少量可训练增量改变去噪网络如何读取文本、如何组织图像特征、如何预测噪声。

所以 LoRA 不是“贴一张参考图到模型旁边”，而是在模型内部少数关键转换处加入可学习的方向修正。它影响的是去噪过程中的中间特征和条件读取方式，最终表现为生成图像的概念、风格或角色发生偏移。

29.4 为什么 LoRA 可以四两拨千斤#

大模型已经学会了大量通用能力：什么是脸、衣服、光照、透视、线条、材质，以及 prompt 如何控制图像。训练一个角色 LoRA 或风格 LoRA 时，我们通常不需要从零学习“如何画人”或“如何画图片”，只需要让模型在原有能力上增加一个小方向：看到某个触发词时，更倾向于生成某个特定概念。

**四两拨千斤的原因：**LoRA 借用底模已经学好的庞大视觉世界，只训练少量参数去改变关键层的输出方向。它不是重新造一台机器，而是在已有机器的几个控制旋钮上加微调。

低秩限制也有好处：参数少、文件小、训练快，且不容易像全量微调那样把底模广泛改坏。但它也意味着 LoRA 更适合学习相对集中的概念、风格或角色；如果要让模型获得大范围新能力，单个小 LoRA 可能不够。

29.5 生图 LoRA 的训练：把触发词和图像概念绑定起来#

在生图领域，很多 LoRA 训练的核心目标可以这样理解：让模型学会当 prompt 中出现某个触发词时，就把它和训练图片里的某个视觉概念联系起来。这个概念可以是一个人物、一种画风、一件衣服、一个产品、一个姿势组合，或者一类特殊材质。

1
训练图片某角色 / 风格 / 物体 + Captionsks person, red dress → 加噪 latent → 冻结底模 + LoRA → 预测噪声 → 只更新 LoRA

训练过程仍然沿用扩散模型的去噪任务：图片先被 VAE 编成 latent，再随机加噪得到 x_t；caption 经过文本 Encoder 变成条件；U-Net 预测噪声；损失函数比较 epsilon_pred 和真实噪声 epsilon。区别是：底模参数冻结，反向传播只更新 LoRA 的小矩阵。

1
训练图片 + caption: "sks person, white coat"
2
      ↓
3
VAE 编码成 latent x0
4
      ↓
5
加噪得到 x_t，并记录真实噪声 epsilon
6
      ↓
7
U-Net(x_t, t, text_embedding) 输出 epsilon_pred
8
      ↓
9
loss = MSE(epsilon_pred, epsilon)
10
      ↓
11
只更新 LoRA 的 A、B 矩阵

为什么这会把触发词和图像概念对应起来？因为每张训练图的 caption 都反复把触发词和同一类视觉特征放在一起。模型在去噪时发现：当文本条件里有 sks person，要想把噪声预测对，就需要在相关层里激活某些脸型、发型、服饰、画风或产品形态的方向。多轮训练后，LoRA 的小矩阵就学成了一个条件化的概念补丁。

29.6 触发词不是魔法开关，而是条件入口#

触发词能生效，不是因为模型“记住了这个词的中文含义”，而是训练把这个 token 的文本 embedding 和一组视觉去噪方向绑定了起来。推理时，当 prompt 里出现触发词，cross-attention 会把这个 token 的条件信息送进 U-Net；LoRA 又改变了相关层的权重增量，于是去噪方向被拉向训练图里的概念。

**需要区分：**Textual Inversion 主要学习新的文本 embedding；LoRA 主要学习模型层里的权重增量。二者都可以服务触发词，但一个偏“新词向量”，一个偏“改变模型如何响应这个词”。

误区 1：Attention 就是人类注意力#

不是。它不是模型“有意识地注意”。它是一个数学加权机制：计算 token 之间的相关性，再按权重汇总信息。

误区 2：Token 就是词#

不一定。Token 可能是字、词、子词，图像里的 patch 也可以被看作视觉 token。

误区 3：Embedding 是人工写好的字典解释#

不是。Embedding 是训练出来的向量表或投影结果，不是人工给每个词、每个图像块写说明。

误区 4：CLIP 会生成图片#

CLIP 的核心能力是图文对齐。它能把文本和图片编码到同一个语义空间，但不负责从噪声生成像素。

误区 5：扩散模型一步画完整张图#

扩散模型通常是多步迭代生成。每一步都在当前噪声状态上做一次小修正，逐渐得到清晰图像。

误区 6：文本条件只是贴在模型旁边的标签#

不是。在文生图扩散模型里，文本 embedding 会通过 cross-attention 进入去噪网络，影响每一步 latent 如何更新。

误区 7：LoRA 是一整套新模型#

不是。LoRA 通常只是附加在底模关键层上的小型权重增量。没有底模，LoRA 本身不能独立完成文生图。

误区 8：触发词本身包含图像概念#

不是。触发词只是入口。真正学到的是“这个 token 出现时，去噪网络应该往某个视觉概念方向修正”的能力。