数学联邦政治世界观
超小超大

柏拉图表示假说 (13-7)

functionclass ⊔

Hypothesis

space 2

✫ Hypothesis

Loss ✫ ★ space 2

Hypothesis

space 1 Hypothesis

– Scale up → space 1

architectures

图5.容量假设

容量假设:如果在函数空间中存在一个最优表示,则较大的假设空间更可能覆盖它。左:两个小模型可能无法覆盖最优值,从而找到不同的解决方案(由轮廓☆标记)。右:随着模型变大,它们覆盖最优值并收敛到相同的解决方案(由填充⋆标记)。

假设空间

任务梯度

↘↓↙

解决任务1

→ 解决任务2

任务梯度

图6.多任务扩展假设

多任务扩展假设:随着任务数量的增加,训练的模型承受压力,学习一种可以解决所有任务的表示。

通过任务普遍性的趋同

每个训练数据点和目标(任务)都会对模型施加额外的约束。随着数据和任务的扩展,满足这些约束的表示体积必须按比例变小,如图 Figure 6 所示并在下方阐述:

多任务扩展假设:适用于N 个任务的表示比适用于 M<N 个任务的表示要少。当我们训练能够一次解决更多任务的通用模型时,我们应该预期可能的解决方案会更少。

Cao & Yamins (2024) 之前将此称为逆变原则,指出一个简单目标的解决方案集合是大的,而一个具有挑战性目标的解决方案集合则相对较小。此外,我们认为这个更狭窄的解决方案集也具有更好的泛化能力。随着数据规模的扩大,优化经验风险 𝔼x ~ dₐₜₐₛₑₜ[Ը(f,x)] 的模型在总体风险 𝔼x ~ ᵣₑₐₗᵢₜy[Ը(f,x)] 上也会有所改进,并且在捕捉真实数据生成过程 reality 的统计结构方面表现更好。

最近的工作展示了数据规模与模型性能之间的幂律关系。这意味着在足够的数据下(例如,包括整个互联网和所有离线科学测量),应该趋同于一个具有不可约误差的非常小的解决方案集——这是世界固有的认知不确定性。随着更多模型在互联网规模的数据上进行训练,满足所有数据约束的解决方案集必须变得相对较小。

除了数据扩展,许多现代表示学习目标Ը(f,x) 直接优化多任务求解。对比学习在数据样本上找到一个距离结构,以优化许多分类任务。掩码自编码器优化随机抽样的重建任务。事实上,自回归语言建模也可以看作是优化多样的任务集。由于这些多任务目标对表示施加了更多任务约束,从而导致更小且质量更高的解决方案空间,它们可能比单任务目标(例如ImageNet分类)更有效。

通过模型容量的趋同

数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。

相关小说

武战道翻版 连载中
武战道翻版
瑞香花山梦
已签约,不用抄袭,图片借鉴可以,内容请不要
25.4万字9个月前
UT同人:完美的世界 连载中
UT同人:完美的世界
日月黑音
当nightmare并掉到一个人类世界,并变成人类小孩会发生什么?
0.2万字8个月前
决战土狗 连载中
决战土狗
灵瑞whr
王毅在这个核变异的世界中存活着。当众人皆恐慌地想要扭转局势时,王毅悠闲地说:该来的你逃不掉的。汪。
0.2万字8个月前
绝世,铠甲2 连载中
绝世,铠甲2
该用户已注销
自已看,第二部会出现真正的主角
5.8万字8个月前
喜偷吻美 连载中
喜偷吻美
与年爱岁与
0.2万字8个月前
再世重逢 连载中
再世重逢
该用户已注销
我的世界已经分崩离析,我的痛苦像永恒一样无尽。“对不起,不能陪着你了,请杀了我,然后好好的活下去……”“我想……再见他一面,无论我会付出怎样......
26.8万字8个月前