空间模型 (2-2)

The state space model is defined by the sinple equation (1). lt maps a 1-D input signal u(t) to an H-D latent state x(t) before projecting to a 1-D output signal y(t).

x'(t)＝Ax(t)＋Bu(t)

y(t)＝Cx(t)＋Du(t)

2.Hippo非常重要！！！

3.Discretization

To discretize the continuous-time SSM，we follow prior work in using the bilinear method [43]，which converts the state matrix A into an approximation ˉA. The discrete SSM is

xₖ＝ˉAxₖ₋₁＋ˉBuₖ ˉA＝(l – Δ/2 · A)⁻¹ (l＋Δ/2 · A)

yₖ＝ˉCxₖ ˉB＝(l – Δ/2 · A)⁻¹ΔB ˉC＝C.

Solution：

• 把Hippo matrix A 分解成normal matrix+ low-rank

• 序列模型并行可以转化为一个卷积运算，但卷积核需要处理一个连乘。如果A diagonal，那一切好说；但他现在不是，所以转化成为Normal Plus Low-Rank。处理NPLR的幂需要用到三个技巧

• 用cauchy kernel来处理对角阵求逆的问题；

• 用Woodbury identity把NPLR变成对角阵的问题；

• 计算截断的generating function，再用inverse FFT变回来。

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。