数学联邦政治世界观
超小超大

数学视角下的transformer (3-1)

这篇论文来自MIT数学系,作者将Transformer视为一个连续时间的动力系统,模型的层级被视为时间变量。在这个框架下,Self-Attention和Layer Normalization是关键的部分。核心的发现是,随着时间的推移,模型中的元素(或称为粒子)会趋于聚集形成集群。这一集群现象在高维空间中尤为显著,并且与模型的学习能力密切相关。例如,在预测下一个词的任务中,集群现象表明模型可能趋向于预测少数几种可能性,而不是展现多样性......

油管上也有视频解读 /watch?...

一.聚集形成集群的数学解释

1. 动力系统与连续时间模型

首先,将变压器的层级视为时间变量,我们可以用一个连续时间动力系统来描述模型的行为。对于每个数据点(token),我们有如下的自注意力机制驱动的动态方程:

dxᵢ(t) 1 ₙ

──=Pₓᵢ₍ₜ₎ (── ∑ eβ⁽Qˣⁱ⁽ᵗ⁾,ᴷˣʲ⁽ᵗ⁾〉Vxⱼ(t))

dt Zᵦ,ᵢ(t) ⱼ₌₁

其中,() 是将向量投影到 () 的切平面上的投影算子, () 是归一化常数:

Zᵦ,ᵢ(t)=∑ eβ〈Qxᵢ(t),Kxₖ(t)〉

ₖ₌₁

2. 集群现象

集群现象是指随着时间的推移,粒子(数据点)在特征空间中趋于聚集。数学上,这可以用粒子之间的距离随时间趋于零来描述:

||xᵢ(t) – xⱼ(t)|| → 0 当 t → ∞, ∀i,j ∈ {1,2,. . .,n}

在高维空间中,当维度 ≥ 时,初始随机分布的粒子几乎肯定会全部位于一个开半球内。这种几何特性使得粒子更容易在较短时间内形成集群。

3. 预测下一个词的任务与多样性

在自然语言处理任务中,如预测下一个词的任务,集群现象反映了模型对特定输出的强偏好。例如,如果模型对一个给定输入句子的粒子迅速聚集到少数几个点,这意味着模型倾向于预测少数几个可能的下一个词。这种强烈的聚集现象可能导致模型缺乏多样性,即模型可能不会提供多种可能的输出,而是集中在少数几种预测上。这与实际应用中需要的多样性和不确定性相矛盾。

平稳分布与点质量

假设粒子最终收敛到一个点 ∗,则我们有:

xᵢ(t) → x* 当 t → ∞,∀i ∈ {1,2,. . .,n}

这种情况下,经验分布 ( , ) 最终会变为一个集中在 ∗ 处的Dirac delta函数:

μ(t,x) → δ(x – x*) 当 t → ∞

能量函数与收敛

变压器模型的动力系统可以视为一种能量下降过程。定义一个能量函数() :

1

Eᵦ(μ)=─ ∬eβ〈x,y〉dμ(x)dμ(y)

这个能量函数在动态系统中逐渐减小,粒子通过减少能量最终聚集:

(())

── ≤ 0

数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。

相关小说

短剧(发疯) 连载中
短剧(发疯)
该用户已注销
纯纯的废弃稿箱
2.0万字9个月前
八犬传之再生 连载中
八犬传之再生
如果回忆容易
〈念禾文社〉信乃重生,但是有的记忆记不得了,对于上辈子伤害或者他伤害的人自动的回避,采取冷漠的态度对待。上辈子他记忆忘记了差不多了,只记得模......
4.5万字9个月前
恐怖躲猫猫:逝者未言 连载中
恐怖躲猫猫:逝者未言
鹅饼饼子呀
反复的循环,结局和开端相互连接……短暂的相遇,再伴随长期的遗忘和离别……如此,是你要的完美结果吗……邀你入梦,一同欣赏,这来之不易的盛宴请允......
4.2万字9个月前
HP聊天室 连载中
HP聊天室
默漠轻寒
就是突发脑洞写的聊天体,有一些原创角色,其实也不算是全聊天,有时会插入一些小故事。本人站的cp,罗赫,德哈,GGAD,犬狼,还有其他的一些(......
0.4万字9个月前
我就喜欢捡破烂(系统) 连载中
我就喜欢捡破烂(系统)
三闲道师
系统0043绑定了宿主,让他们去捡“破烂”。(名字很烂,但没法改了˃ʍ˂)世界一:我在虫族捡破烂(写得不好,直接跳)世界二:我在古代捡破烂#......
7.1万字9个月前
数字方块平常生活(中国话) 连载中
数字方块平常生活(中国话)
完美人生_790575657432561
2.6万字9个月前