范畴论（解释）一 (4-1)

读《on the power of foundation

model》-从范畴论的角度理解foundation

model

用范畴论的框架来解释我们在做什么

• 旧有的语言--初等函数论的角度：我们希望学习一个函数f：X → Y so that accurately predicts the label x∈X . We also define a loss function $ L(f(x)，y) $ to measure the distance between the prediction $f(x)$ and the correct label, which is hopefully close to 0 .

• 范畴论的语言：我们有两个范畴： X 和 y ，我们想学习的是一个functor F X → y；它能够给出input X的正确output Y。

注：范畴和简单变量的最大区别在于，它的物体之间还存在态射（morphism），是一种更加复杂的事物。

假如说唯一存在的态射是恒等态射，那么跟初等函数论之间也没什么区别。In this case, learning F is impossible, because it maps a set to another set without anyprior knowledge.（等于你对所有X，Y之间可能的所有映射做随机抽样）

第一个重点来了！：

传统的学习理论对F的class做假设来证明有一些算法更加有优势，因为他们没有对X本身的结构做出限制（事实上也没有这个可能，因为他们的建模不对）；而本文假设范畴 X 具有更多的“抓手”， F 作为functor能保留这些性质，那么它也可能更加好学！

注意：这里的“好学”更多的是说是否learnable，而不涉及到具体适合的算法。这种functor是否能被学到，也有助于我们查清楚一种任务上的能力能否迁移到另外一种任务。

疑惑：可没有态射随机抽样总是能学到的？

答：有这种态射+ideal foundation model, prompt+微调就可以进行学习。

第二个重点：Pretask的价值：

一言以蔽之：all the existing pretext tasks can be seen as building morphisms between two objects in C .

注：我觉得还有一句话：假如foundation model完全学到了pretask的信息（正如下文所定义的ideal foundation model那样)，那么它在微调前所拥有能力能解决的全部任务就是所构建的态射诱导的functor的同构集。

对以上注的两点补充：

一、functor的同构：1.F和G同构通过η ，如果对任意态射f， η 诱导的态射与functor可交换。2， η 诱导的态射是同构，对每一个object.

所以如果functor之间不同构，那么他们俩之间的同一个input的像一定有不同构的。这对之后解任务的定义至关重要。

第三个重点：什么是好的foundation model？

• 它是一个 f：C → H 的representation learning的过程

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。