数学联邦政治世界观
超小超大

数学函数 (2-1)

这篇文章主要探讨了层归一化(Layer Normalization, LN)的非线性及其表示能力。LN是深度学习中的一种标准化技术,其主要作用是稳定训练过程,提高模型的收敛速度和性能。作者从理论上证明了LN是一种非线性变换。文章通过定义“Sum of Squares Ratio (SSR)”及其线性不变下界“Linear SSR (LSSR)”,并展示了LN可以打破SSR的下界,从而证明了LN的非线性。

一.LN的基本原理和作用

标准化过程:

• LN对每一个样本的每一层的神经元进行标准化。具体来说,对于输入向量 (包含 个神经元的激活值),LN通过计算均值 和标准差 来进行标准化。 xᵢ – μ

标准化公式如下: ˆx=───,其中

1 d

=√─ ∑(xᵢ – μ)²

d ᵢ₌₁

LN通过可学习的参数 γ 和 β 进行缩放和平移

主要作用:

• 稳定训练过程:通过消除内部协变量偏移(Internal Covariate Shift),使得每一层的输入分布更加稳定,从而加速训练过程。

提高模型性能:LN使得模型在各种任务(如自然语言处理和计算机视觉)中表现更加稳定和高效,特别是在Transformer模型中,LN是不可或缺的组件。

适用于小批量或单样本训练:不同于Batch Normalization(BN),LN不依赖于批量样本的统计信息,因而在小批量或单样本训练中更为有效。

二.LN的非线性

非线性度证明:文章提出了统计量SSR(Sum of Squares Ratio),SSR衡量的是不同类别样本在欧氏空间中的可分离性。SSR越小,样本越容易被线性分离。当对样本进行线性变换时,SSR也会发生变化。定义样本在所有线性变换下对应的最小的SSR为LSSR,用于衡量样本在线性变换下的最小可分离性。文章指出,当LSSR越小时,样本之间的线性可分性越强。

任意可分性的证明:文章将LN拆分为两个步骤:中心化(centering)和尺度缩放(scaling)。中心化从数学上是一个线性变换,因此LN的非线性主要存在于尺度缩放操作当中(文章称之为球面投影,是RMSNorm执行的操作)。作者以最为简单的线性不可分的异或数据为例,通过线性变换和球面投影将这四个点进行了正确分类。除了二分类文章还使用LN和线性层的组合对任意数目样本进行正确分类,研究了具备万能近似能力的LN-Net。通过构造算法步骤,将神经网络的逐层变换转换为同类样本合并问题,提出了PMA(projection merge algorithm)和PBA(parallelization breaking algorithm)。这一构造方法为计算神经网络的VC维也提供了新的思路。在此基础上,可以推断出有L个层标准化层的LN-Net,VC维至少有L+2。

三.LN非线性的利用

提高表示能力:

数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。

相关小说

无限流:明日之诗 连载中
无限流:明日之诗
须余
一个不平静的夜晚,发生了一件不寻常的事。自称神明的少女来到这里,轻抚着土地,她说:“我们想救你。”她将整个世界拉入琉刹。她说:“我们会救你。......
0.1万字1个月前
待到初秋时 连载中
待到初秋时
希阮🍁
(双男主)自古逢秋悲寂寥,但秋日可以是相遇,也可以是重逢
2.2万字1个月前
压力太大,师尊是个高危职业 连载中
压力太大,师尊是个高危职业
闲时看隔壁风景
顾清绾作为仙界千万年来唯一飞身上神的第一人,却被雷劫劈得个差点形神俱灭,缘由竟然是她所失的天魂落入凡尘,导致气运之子黑化,罪责加身。为了修复......
21.5万字1个月前
猫七夜专辑 连载中
猫七夜专辑
星之灭亡
0.3万字1个月前
狐言-狐缘 连载中
狐言-狐缘
清莲君
绾箬文社&挽情丝,绾青丝,任风雨飘摇,人生不惧桃花流水窅然去,别有天地非人间自古红尘多少人只欲寻仙问道超然去,却不知总有仙人偶然窥见了人间华......
17.1万字1个月前
全班同学观影我日常 连载中
全班同学观影我日常
小x所爱隔山海
一道白光把我和全班同学带到了观影室,But!!!为什么是看我的周末日常啊?!x据自己改写x实际内容成度:20%无脑成度80%x不喜勿喷
0.5万字4周前