数学联邦政治世界观
超小超大

数学视角下的transformer (3-1)

这篇论文来自MIT数学系,作者将Transformer视为一个连续时间的动力系统,模型的层级被视为时间变量。在这个框架下,Self-Attention和Layer Normalization是关键的部分。核心的发现是,随着时间的推移,模型中的元素(或称为粒子)会趋于聚集形成集群。这一集群现象在高维空间中尤为显著,并且与模型的学习能力密切相关。例如,在预测下一个词的任务中,集群现象表明模型可能趋向于预测少数几种可能性,而不是展现多样性......

油管上也有视频解读 /watch?...

一.聚集形成集群的数学解释

1. 动力系统与连续时间模型

首先,将变压器的层级视为时间变量,我们可以用一个连续时间动力系统来描述模型的行为。对于每个数据点(token),我们有如下的自注意力机制驱动的动态方程:

dxᵢ(t) 1 ₙ

──=Pₓᵢ₍ₜ₎ (── ∑ eβ⁽Qˣⁱ⁽ᵗ⁾,ᴷˣʲ⁽ᵗ⁾〉Vxⱼ(t))

dt Zᵦ,ᵢ(t) ⱼ₌₁

其中,() 是将向量投影到 () 的切平面上的投影算子, () 是归一化常数:

Zᵦ,ᵢ(t)=∑ eβ〈Qxᵢ(t),Kxₖ(t)〉

ₖ₌₁

2. 集群现象

集群现象是指随着时间的推移,粒子(数据点)在特征空间中趋于聚集。数学上,这可以用粒子之间的距离随时间趋于零来描述:

||xᵢ(t) – xⱼ(t)|| → 0 当 t → ∞, ∀i,j ∈ {1,2,. . .,n}

在高维空间中,当维度 ≥ 时,初始随机分布的粒子几乎肯定会全部位于一个开半球内。这种几何特性使得粒子更容易在较短时间内形成集群。

3. 预测下一个词的任务与多样性

在自然语言处理任务中,如预测下一个词的任务,集群现象反映了模型对特定输出的强偏好。例如,如果模型对一个给定输入句子的粒子迅速聚集到少数几个点,这意味着模型倾向于预测少数几个可能的下一个词。这种强烈的聚集现象可能导致模型缺乏多样性,即模型可能不会提供多种可能的输出,而是集中在少数几种预测上。这与实际应用中需要的多样性和不确定性相矛盾。

平稳分布与点质量

假设粒子最终收敛到一个点 ∗,则我们有:

xᵢ(t) → x* 当 t → ∞,∀i ∈ {1,2,. . .,n}

这种情况下,经验分布 ( , ) 最终会变为一个集中在 ∗ 处的Dirac delta函数:

μ(t,x) → δ(x – x*) 当 t → ∞

能量函数与收敛

变压器模型的动力系统可以视为一种能量下降过程。定义一个能量函数() :

1

Eᵦ(μ)=─ ∬eβ〈x,y〉dμ(x)dμ(y)

这个能量函数在动态系统中逐渐减小,粒子通过减少能量最终聚集:

(())

── ≤ 0

数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。

相关小说

四叶草之国 连载中
四叶草之国
知楠楠
承接上一部四叶草五传的剧情,这次的剧情是四叶草五传前往四叶草之国找到了黑暗势力的来源并将其打败的故事
5.0万字9个月前
盛夏寒丹 连载中
盛夏寒丹
何小丹
你救我一命,我护你一生
0.5万字9个月前
我是你的救世主 连载中
我是你的救世主
湖水映中庭
陆曌空是古代位面主管,也负责把不适合他这个位面的人输送到别的位面,比如,他那次不小心遇到了林黛玉,觉得如果不把她送离这个朝代,肯定就是少年夭......
12.8万字9个月前
冥王宠妻:冥汐情 连载中
冥王宠妻:冥汐情
爱汐儿
她,洛灵汐,一不小心被黑白无常勾错魂穿越时空来到东离国,她蛮横无理取闹,见着谁都想打。所以人见人讨厌也害怕她。所以在别人眼里就是泼妇。后穿越......
13.5万字9个月前
吸血鬼:鬼王的第十六个妻子 连载中
吸血鬼:鬼王的第十六个妻子
ACE.风夕颜
传说中的鬼王是残暴嗜血的?不,林汐姚觉得鬼王很温柔是咋回事?没错,堂堂鬼王居然被一个六岁的女娃娃拴住了心,从此吸血鬼界传出了一段旷世奇谭:鬼......
20.9万字9个月前
漠世医妃 连载中
漠世医妃
白之情
此作品签约,请勿盗取。这部小说呢,是一个比较漫长的故事。得有耐心看下去啊。
9.0万字9个月前