数学函数 (2-2)

提出Projection Merge Algorithm (PMA) 和 Parallelization Breaking Algorithm (PBA)。PMA用于构造参数，使得LN-Net可以正确分类给定样本。PBA用于解决多分类问题中的样本混淆问题，通过将样本投影到不同平面来避免不同类别样本的混淆。并给出定理——给定任意标签分配的样本，存在一个具有3个神经元和O(m)个LN层的LN-Net可以正确分类这些样本。

分组归一化 (LN-G)：

通过将神经元分组，并在每组内并行执行LN操作，进一步放大LN的非线性。LN-G的非线性强于普通的LN，即使用适当的分组数量时，LN-G可以显著增强网络的非线性。

H(ψɢ(g；·)；x) d d

─────── ≥ ─ 当 g＝─

H(ψʟ(·)；x) 8 4

实验验证：

• 验证LN的非线性：在CIFAR-10和MNIST数据集上，实验结果显示LN-Net在没有激活函数的情况下仍然能够达到较高的分类准确率，验证了LN的非线性。实验中，LN-Net在CIFAR-10和MNIST数据集上分别达到55.85%和19.44%的准确率，远超线性分类器。

• 放大非线性实验：通过在CIFAR-10和MNIST数据集上引入LN-G，实验表明LN-G能够进一步增强模型的非线性和表示能力。不同分组数量的LN-G在CIFAR-10和MNIST数据集上的准确率明显高于普通LN，验证了分组归一化的有效性。

非线性对LN功能的影响：

• 增强表示能力：LN的非线性使得网络能够表示更加复杂的函数，这意味着在某些任务中，即使没有显式的激活函数，网络也能完成复杂的分类和回归任务。

提高模型的泛化性能：非线性有助于避免过拟合，标准化后的数据分布更均匀，更能捕捉到数据的本质特征。

在深度网络中的作用更加明显：随着网络深度增加，LN的非线性效果更加显著，这对于深层模型如Transformer尤其重要。

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。