维度是线性的,维度拓展是线性拓展,封装拼接无穷。分形维度(fractal dimension)允许非整数维度的存在。人对维度的认识与光紧密相关——光是将三维特征投射到二维视平面(视野),再被分析理解的关键。光的运动方向定义直线,折射反应的不是光不直,而是空间性质不同——空间承载物质,物质也可以反向影响空间;空间也是特殊的存在体。因此,整数维度是与光相关的维度,分形维度是非光作用的维度,即可能存在分数(甚至无理数)维度,其中的存在特定分形运动路径,使其不能「密布」,而是存在占据比例。
在这里,我们始终假设光是「密布」的空间,即一切都以光空间为标准基,以此为「直」(光是「直」的具有某种自证(自然)性质)。光的「直」性,与 1+1=2 的「对」性,具有同样的自证属性——只要人按照某种理性结构来认识问题,就必然得到相对应的结论,不论其符号标记为何。直即线性,线性即逻辑性,逻辑、理性、线性、「直」性等都是同构的「1」性的泛化。而「弯曲」是一种非直的相对性描述。
是否存在比光更密布的空间?这种存在可能能够感知甚至操控那些光无法完全覆盖的分形维度或更高维度的结构——这可以视作算法所指向的指向特定维(非整数维)的能力,该维可以完整联通问题所处高维空间压缩后的低维空间。其中构造出数据流经路径,最终通往低维可表示的数据结构。
4、指数与对数:对维度的操作,指数合并,对数消除
2^3=8,三组二分构成八维,这是对维度「空间」的操作。而抽取其中维数,即取对数,是对空间的度量。
香农度量信息熵的熵值等价于:通过多少个二元空间(二进制位,bit)并联(合并维度)可以描述一个高维空间的秩(维数)。
5、三角函数:低维对高维的模拟,对应波动。三角展开可以提取任意波中的基本音符/语素,而其合并后可以构造出高维特征。
Positional Embedding 便是利用三角函数将 token 位置信息叠加在了一个周期中,使其作为整体起作用:将线性序列信息(如文本中的位置)嵌入到向量表示中,保留了序列的相对位置关系。
傅里叶变换不仅适用于周期函数,还可以应用于非周期信号——这带来非常非常重要的维度归一化性质。
6、矩阵:高维在低维的嵌入(截面),其中网格布局的数字对应屏幕分辨率;像素性对应粒子性,「粒子」作为「实体」,暗示低维切面下「看到」的高维「实体」(合并为一个概念)。数字矩阵就是像素阵列,可以直接转化为热力图。
实际上,任何数字都是 1*1 的矩阵:a * [[x维 * y维]] = a * [[x维 * y维 * [1] ]] = [[x维 * y维 * [[a]] ]]
「1」是最关键的归一标记——维度与 1、数字与 1、1 自己作为维度与数字都可以相乘而不变——这个性质是维度扩展、收缩的关键。正如 Transformer 在 NormLayer 中会进行向量归一化——使其方差归 1,均值为 0。
矩阵可以表示物理系统的状态或演化规则,而这些系统的解决方案可能涉及粒子的行为或状态。
在 AI(LLM)训练中,矩阵压缩过程即抽取高维空间关键信息的过程。矩阵之间点乘的过程即获得高维空间相干程度(投影)的过程。
数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。