【高斯核函数过程】核方法（一） (5-3)

sigmoid 核函数

k(x，x')＝tanh(αxᵀx'＋b) (13)

借助一些构造核函数的性质，可以通过公式 (9) 的核函数完成对大部分核函数的构造。在基函数有⽆穷多的极限情况下，⼀个具有恰当先验的贝叶斯神经⽹络将会变为⾼斯过程 (Gaussian Process)，因此这就提供了神经⽹络与核⽅法之间的⼀个更深层的联系。

高斯过程 (Gaussian Process)

高斯过程与核方法和贝叶斯神经网络有紧密的联系，首先引入高斯过程的概念。考虑一维高斯分布

1 (x – μ)²

N(x|μ，σ²)＝─── exp(–────) (14)

σ√2π 2σ²

它表示一个变量x 服从均值和方差分别为 μ，σ 的高斯分布。关于多维高斯分布

1 1

N(x|u，Σ)＝─── ─── ↓

(2π)ᴰ/² |Σ|ᴰ/²

1

exp(–─ (x – μ)ᵀΣ⁻¹(x – μ)) (15) ←

2

表示D 维变量 x 的高斯分布，其中均值和协方差分别为 μ，Σ 。这时我们再考虑一个无限维的高斯分布，它的每一个维度都服从某种高斯分布，如果我们想表示这种分布，用公式 (15) 中向量的形式显然不行，我们可惜将这个分布的无限维想象成一组连续变量，或者说一个函数 f(·) ，函数每一点都服从某个高斯分布，那我们就称这种分布为高斯过程 (Gaussian process) 。假设函数变量为 x ，这个 x 也就是无限维高斯分布的维度，其中一个维度 xₙ 服从 N(μₙ，σₙ) ，高斯过程表示为 f(xₙ) ∼ N(μₙ，σₙ) 。我们把所有的均值 μ 也表示成连续函数的形式，即 xₙ 代表维度的均值为 m(xₙ) ，那么高斯过程的均值就为 m(x) 。对于方差，参考一维向多维的扩展，多维高斯分布的协方差矩阵就是所有维度两两之间的方差所组成的矩阵，关于高斯过程，它的协方差矩阵也需要考虑所有维度两两之间的方差，假设我们使用核函数 k(xᵢ，xⱼ) 表示 xᵢ 与 xⱼ 维度的方差，那么这个高斯过程的协方差矩阵就可以用核函数组成的矩阵 K(x，x) 表示。为了便于介绍我们将无限维空间转换成一个连续空间时使用了单变量 x ，现在考虑这个无限维空间每一维又包含 N 个子空间，我们就用 N 维变量 x 作为这个高斯过程的输入变量，这个高斯过程最终表示为

f(x) ∼ ↅP(m(x)，K(x，x)) (16)

现在用高斯过程考虑线性回归问题，假设向量ф(x) 的元素为 M 个固定基函数的线性组合，线性回归模型为 y(x，ω)＝ωᵀф(x) ，考虑 ω 上的先验概率分布 p(ω)＝N(ω|0，α⁻¹l) ，对于任意给定的 ω ，线性回归模型就定义了 x 的⼀个特定的函数，那么定义的 ω 上的概率分布就产生了 y(x) 上的一个概率分布。实际应⽤中，我们希望计算这个函数在某个 x 如训练数据点 x₁，. . .，xɴ 处的函数值，也就是 y(x₁)，. . .，y(xɴ) 处的概率分布，把函数值的集合记作 y ，其中 yₙ＝y(xₙ) ，结合线性回归模型，可表示为

y＝Φω (17)

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。