【高斯核函数过程】核方法（二）

2. 高斯过程神经网络

高斯过程的神经网络与线性回归的关系并非贝叶斯神经网络与线性回归的关系那样，因为高斯过程是非参模型，所以我们并不在意输出相对参数是否是线性关系，但是同样地，由于神经网络中有较多非线性映射的激活函数，这与基函数是类似的，非常耐人寻味，关于神经网络与高斯过程的联系，就可以从这些激活函数上做文章。目前已有很多相关研究。虽然通常神经网络的非线性单元只选取一个激活函数，但由于我们并不确定哪个激活函数是最优的，这时候就会借助高斯过程，可以看做是对神经网络结构不确定性的一种度量。在贝叶斯神经网络输入维度M → ∞ 的情况下，神经⽹络产⽣函数的分布将会趋于⾼斯过程。使用广义谱核 (generalized spectral kernels)，可以证明对若干个激活函数的加权就是一个高斯过程，即

f(x)＝λᵀ · ф(x)＝∑ λᵐфᵐ(x) (29)

ₘ

对于一个神经网络的第l 个隐藏层的一个隐藏单元 i ，其中 ωˡᵢ 是第 l 层 i 的权重， hˡ⁻¹ 是前一层的输出向量集合，作为当前层的输入向量，假设每个节点有 m 个激活函数 ф(·) ，对应系数为 λ ，那么隐藏单元 i 的输出为

hᵢ⁽ˡ⁾＝∑ λᵢ⁽ˡ，ᵐ⁾фₘ(ωˡᵢhˡ⁻¹) (30)

ₘ

我们可以使用参数化的方法来解决这种模型，有两类参数，分别是激活函数的系数λ 和网络参数 ω 。假设神经网络训练集 D ，对于输入向量 x 和目标向量 y 而言，其边缘概率分布为

p(y|x，D)＝∫ ∫p(y|x，ω，λ)p(ω|D)p(λ|D)dωdλ

(31)

对于单一网络单元i 的输出，公式 (30) 可以写作

hᵢ⁽ˡ⁾＝∫ ∫ λᵢ⁽ˡ，ᵐ⁾фₘ(ωˡᵢhˡ⁻¹)p(ωˡᵢ|D)p(λᵢ⁽ˡ，ᵐ⁾|D)dωdλ (32)

其中p(ωˡᵢ|D)，p(λᵢ⁽ˡ，ᵐ⁾|D) 分别是激活函数系数以及网络参数的后验概率，这样可以按照贝叶斯神经网络中的变分法进行求解。这种高斯过程在深度学习网络中的应用比较常见，比如在 Transformer 中，我们就可以利用这种做法选定若干个激活函数如 ReLU, GELU, sigmoid, tanh 等，然后获得一个最佳的激活函数加权组合以提高网络性能。

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。