信息（一）

1.信息的概念

1.1 口语中的信息

1.2 信息概念的技术定义

2. 信息一词的历史和概念

2.1 古典哲学

2.2 中世纪哲学

2.3 现代哲学

2.4 “信息”一词含义的历史发展

3. 现代信息理论的基石

3.1 语言

3.2 最优代码

3.3 数字

3.4 物理

4.信息哲学的发展

4.1 波普尔：作为可证伪程度的信息

4.2 香农：用概率定义的信息

4.3 Solomonoff、Kolmogorov、Chaitin：信息作为程序的长度

5. 系统性考虑

5.1 信息哲学作为数学哲学的延伸

5.1.1 信息作为一种自然现象

5.1.2 符号操作和广泛性：集合、多重集和字符串

5.1.3 集合和数字

5.1.4 用数字衡量信息

5.1.5 测量数字组中的信息和概率

5.1.6 统一的观点

5.1.7 信息处理和信息流动

5.1.8 信息、素数和因数

5.1.9 算术不完备性

5.2 信息和符号计算

5.2.1 图灵机

5.2.2 普适性和不变性

5.3 量子信息及其他

6. 异常、悖论和问题

6.1 系统搜索的悖论

6.2 有限集中的有效搜索

6.3 P与NP问题，描述复杂性与时间复杂性

6.4 模型选择和数据压缩

6.5 决定论和热力学

6.6 逻辑和语义信息

6.7 含义与计算

七、结论

参考书目

学术工具

其他互联网资源

相关条目

1.信息的概念

1.1 口语中的信息

口语中的“信息”一词目前主要用作抽象大众名词，用于表示在任何介质中存储、发送、接收或操作的任何数量的数据、代码或文本。 “信息”一词的缺乏精确性和普遍实用性是相辅相成的。在我们的社会中，我们通过日益复杂的仪器和装置（望远镜、回旋加速器）来探索现实，并通过更先进的媒体（报纸、广播、电视、短信、互联网）进行交流，拥有一个抽象的东西是很有用的。质量名词，表示由仪器创建并“流过”这些介质的“东西”。从历史上看，这种一般含义出现得相当晚，似乎与大众媒体和情报机构的兴起有关（Devlin & Rosenberg 2008；Adriaans & van Benthem 2008b）。

在当前的口语中，“信息”一词以各种松散定义且常常甚至相互冲突的方式使用。例如，大多数人会认为以下推论表面上是有效的：

如果我得到 p 的信息，那么我就知道 p。

同样的人可能对“特工部门有时散布虚假信息”的说法或“事故目击者提供的信息模糊且相互矛盾”这句话没有任何问题。第一个陈述暗示信息必然是真实的，而其他陈述则允许信息有可能是错误的、相互矛盾的和模糊的。在日常交流中，这些不一致似乎不会造成很大的麻烦，并且一般来说，从实用的上下文中可以清楚地指定指定的信息类型。这些例子足以证明，引用我们作为英语使用者的直觉对于发展严格的信息哲学理论没有什么帮助。在日常交流中似乎没有务实的压力要求对信息概念进行更准确的定义。

1.2 信息概念的技术定义

在二十世纪，提出了各种关于信息概念形式化的建议。所提出的概念围绕两个中心属性：

信息很广泛。核心是可加性的概念：具有相同信息量的两个独立数据集的组合所包含的信息是单独的单个数据集的两倍。取对数的数学运算准确地捕捉了这种广泛性的概念，因为它将乘法简化为加法：loga×b=loga+logb。

当我们计算和测量物体和结构时，广泛性的概念自然地出现在我们与周围世界的互动中。更抽象的数学实体的基本概念，如集合、多重集和序列，是在历史早期基于符号操作的结构规则而发展起来的（Schmandt-Besserat 1992）。用对数函数对广延性进行数学形式化是在 19 世纪和 20 世纪初的热力学研究背景下进行的。物理学中定义的不同熵概念反映在信息概念的各种提议中。我们提到与哈特利函数（Hartley 1928）密切相关的玻尔兹曼熵（Boltzmann，1866）、形式上等同于香农熵的吉布斯熵（Gibbs 1906）以及各种概括，如 Tsallis 熵（Tsallis 1988）和 Rényi 熵（Rényi 1961）。当用更高级的多维数字系统（复数、四元数、八元数）进行编码时，广泛性的概念概括为不符合我们日常直觉的更微妙的可加性概念。然而，它们在基于量子物理学的信息论的最新发展中发挥着重要作用（Von Neumann 1932；Redei & Stöltzner 2001，参见量子纠缠和信息条目）。

信息减少了不确定性。我们获得的信息量随着不确定性的减少而线性增长，直到我们收到所有可能的信息并且不确定性为零的那一刻。不确定性与信息之间的关系可能首先由经验主义者提出（Locke 1689；Hume 1748）。休谟明确指出，从更多的可能性中进行选择可以提供更多的信息。这一观察结果在 Hartley (1928) 提出的函数中得到了规范的数学公式，该函数定义了当我们从有限集合中选择一个元素时所获得的信息量。统一这两种关于广度和概率的直觉的唯一数学函数是用概率的负对数来定义信息的数学函数：I(A)=−logP(A) (Shannon 1948; Shannon & Weaver 1949, Rényi 1961）。

我们简要概述一些相关定义：

信息定量理论

奈奎斯特函数：奈奎斯特（1924）可能是第一个用对数函数来表达给定电报系统的特定线路速度时可以传输的“智能”量：W=klogm，其中 W 是传输速度，K 是一个常数，m 是可以选择的不同电压电平。奈奎斯特使用智力一词来衡量这一事实，这一事实说明了二十世纪初术语的流动性。

Fisher 信息：可观察的随机变量 X 携带的关于 X 的概率所依赖的未知参数 θ 的信息量（Fisher 1925）。

Hartley 函数：（Hartley 1928，Rényi 1961，Vigo 2012）。当我们从均匀分布的有限集合S中选择一个元素e时，我们获得的信息量是该集合的基数的对数：I(e∣S)=loga|S|。

香农信息：离散随机变量 X 的熵 H 是与 X 值相关的不确定性的量度：I(A)=−logP(A)（Shannon 1948；Shannon & Weaver 1949）。香农信息是最著名的信息定量定义，但它是一个相当弱的概念，没有捕获直观上对于熵的热力学概念至关重要的无序概念：字符串 0000011111 包含与字符串 1001011100 一样多的香农信息，因为它有相同数量的 1 和 0。

算法复杂度（也称为柯尔莫哥洛夫复杂度）：二进制字符串 x 中的信息是在参考通用图灵机 U 上生成 x 的最短程序 p 的长度（Turing 1937；Solomonoff 1960、1964a、b、1997；1965；柴廷 1969、1987）。算法复杂性在概念上比香农信息更强大：它确实认识到字符串 1100100100001111110110101010001000100001 包含很少的信息（因为它给出了数字 π 的前 40 位），而香农的理论会认为该字符串具有几乎最大的信息。这种力量是有代价的。柯尔莫哥洛夫复杂度量化了所有可能的比数据集短的计算机程序。我们无法在有限的时间内运行所有这些程序，因为其中许多程序永远不会终止。这意味着柯尔莫哥洛夫复杂度是不可计算的。我们所做的测量都取决于我们选择的参考通用图灵机。算法复杂性作为信息度量的本质是由图灵机作为计算模型的通用性和所谓的不变性定理保证的：在极限情况下，两个不同的通用图灵机分配给数据集的复杂性仅存在以下差异：一个常数。因此，算法复杂性是一种渐近度量，它并不能告诉我们太多关于小型有限数据集的信息。尽管它从哲学角度和作为数学工具具有相关性，但它对日常研究的实用价值是有限的。

物理学信息

兰道尔原理：擦除一位信息所需的最小能量与系统运行的温度成正比（Landauer 1961，1991）。

量子信息：量子位是经典位的推广，由二态量子力学系统中的量子态来描述，其形式上等价于复数上的二维向量空间（Von Neumann 1932；Redei和斯托尔茨纳 2001）。

信息定性理论

语义信息：Bar-Hillel 和 Carnap 发展了语义信息理论（1953）。 Floridi（2002、2003、2011）将语义信息定义为格式良好、有意义且真实的数据（Long 2014；Lundgren 2019）。基于正式熵的信息定义（Fisher、Shannon、Quantum、Kolmogorov）在更一般的层面上工作，不一定在有意义的真实数据集中测量信息，尽管有人可能会捍卫这样一种观点，即为了可测量，数据必须是很好的——形成（有关讨论，请参阅第 6.6 节“逻辑和语义信息”）。语义信息与我们日常天真的信息概念很接近，即通过关于世界的真实陈述来传达信息。

信息作为主体的状态：对知识和信仰等概念的正式逻辑处理是由 Hintikka (1962, 1973) 发起的。 Dretske (1981) 和 van Benthem & van Rooij (2003) 在信息论的背景下研究了这些概念，参见van Rooij (2003) 讨论问题和答案，或者 Parikh & Ramanujam (2003) 讨论一般消息传递。当邓恩将信息定义为“当一个人拿走信念、理由和真理时知识所剩下的东西”时，他似乎也考虑到了这一概念（Dunn 2001：423；2008）。 Vigo 基于主体概念获取的复杂性提出了结构敏感信息理论（Vigo 2011，2012）。

概述显示了发展中的研究领域，其中论证的背景尚未与发现的背景完全分离。许多提案具有工程风格，并且依赖于叙述（发送消息、从集合中选择元素、图灵机作为人类计算机的抽象模型），而这些叙述并没有公正地对待底层概念的基本性质。其他提案有更深的哲学根源，但其表述方式却嵌入科学研究中存在问题。以三个有影响力的提议及其信息定义（香农概率、柯尔莫哥洛夫计算、弗洛里迪真理）为例，观察它们几乎没有任何共同点。有些甚至是相互矛盾的（真理与概率、确定性计算与概率）。热力学和信息论中也存在类似的情况：它们使用相同的公式来描述根本不同的现象（气体中粒子的分布速度与消息集的概率分布）。

直到最近，这些理论统一的可能性还受到普遍怀疑（Adriaans & van Benthem 2008a），但经过二十年的研究，统一的前景似乎更好。各种信息的定量概念与植根于相同基本数学框架的不同叙述（计数、接收消息、收集信息、计算）相关联。信息哲学中的许多问题都围绕着数学哲学中的相关问题。人们已经研究了各种形式模型之间的转换和约简（Cover & Thomas 2006；Grünwald & Vitányi 2008；Bais & Farmer 2008）。出现的情况似乎与能量的概念没有什么不同：关于能量有各种正式的子理论（动能、势能、电、化学、核），它们之间有明确定义的转换。除此之外，“能量”一词在口语中被广泛使用。二十世纪定量测量信息的连贯理论的出现与计算理论的发展密切相关。在这种情况下，核心是通用性、图灵等价性和不变性的概念：因为图灵系统的概念定义了通用可编程计算机的概念，所以所有通用计算模型似乎都具有相同的能力。这意味着可针对通用计算模型（递归函数、图灵机、Lambda 演算等）定义的所有可能的信息度量对于加性常数的模是不变的。

Adriaans (2020, 2021) 提出了一个统一的研究计划，该计划以微分信息理论 (DIT) 的名义暗示了这一见解：一种纯数学非算法的信息描述理论，基于 1) 使用对数函数测量自然数中的信息（深入讨论请参见第 5.1.7 节）和 2）递归函数的信息效率的概念。其他定量建议，例如香农信息和柯尔莫哥洛夫复杂性，可以作为应用信息论的形式放置在这个纯粹的描述性框架中，涉及存在于存在时间概念的领域中的半物理系统。 DIT 的一大优点是递归函数是公理化定义的。这使得信息理论能够发展成为一门符合数学和物理学核心概念的严格学科。使用差分信息理论，可以研究计算、随机（以及游戏或创意过程等混合过程）信息的创建和破坏。

2. 信息一词的历史和概念

“信息”一词以及随之而来的各种概念的详细历史都很复杂，而且大部分仍需书写（Seiffert 1968；Schnelle 1976；Capurro 1978，2009；Capurro & Hjørland 2003）。 “信息”一词的确切含义在不同的哲学传统中有所不同，其口语用法也因地理和不同的实用背景而有所不同。尽管对信息概念的分析从一开始就一直是西方哲学的一个主题，但对信息作为一个哲学概念的明确分析却是最近才出现的，可以追溯到二十世纪下半叶。目前，很明显，信息是科学、人文学科以及我们日常生活中的一个关键概念。我们对世界的了解都是基于我们收到或收集的信息，原则上每门科学都涉及信息。存在一个由相关信息概念组成的网络，其根源于物理、数学、逻辑、生物学、经济学和认识论等各个学科。

直到二十世纪下半叶，几乎没有现代哲学家认为“信息”是一个重要的哲学概念。该术语在著名的爱德华兹百科全书（1967）中没有引理，并且在 Windelband（1903）中也没有提及。在这种背景下，对“信息哲学”的兴趣是最近的发展。然而，从思想史的角度来看，对“信息”概念的反思一直是哲学史上的一个主导主题。这段历史的重建与信息研究相关。

任何“思想史”方法的一个问题是验证一个基本假设，即一个人正在研究的概念确实在哲学史上具有连续性。在信息的历史分析中，人们可能会问，除了术语相似之外，奥古斯丁讨论的“信息”概念是否与香农信息有任何联系。同时，人们可能会问，洛克的“历史的、简单的方法”是否对现代信息概念的出现做出了重要贡献，尽管洛克在他的著作中几乎没有使用技术意义上的“信息”一词。如下所示，从古代到近代，存在着涉及信息概念的思想集合体，但有必要对信息概念的历史进行进一步研究。

早期对知识的哲学分析中反复出现的一个重要主题是操纵一块蜡的范式：要么简单地使其变形，要么在其中印上图章戒指，要么在上面写下字符。事实上，蜡可以呈现不同的形状和次要品质（温度、气味、触感），而体积（延伸）保持不变，这使其成为希腊、罗马和中世纪文化的丰富类比来源，在这些文化中，蜡都被使用用于雕塑、书写（蜡片）和蜡画。人们可以在德谟克利特、柏拉图、亚里士多德、泰奥弗拉斯托斯、西塞罗、奥古斯丁、阿维森纳、邓斯·司各脱、阿奎那、笛卡尔和洛克等不同作家的著作中找到这一主题。

2.1 古典哲学

在古典哲学中，“信息”是一个与知识和本体论相关的技术概念，起源于柏拉图（公元前 427-347 年）的形式理论，并在他的许多对话中得到发展（《斐多》、《斐德罗》、《会饮》、《蒂迈欧篇》、《理想国》） 。物质世界中各种不完美的个体马都可以被识别为马，因为它们参与了观念或形式世界中静态的、非时间性和空间性的“马性”观念。当西塞罗（西塞罗，公元前 106-43 年）和奥古斯丁（公元 354-430 年）等后来的作者用拉丁语讨论柏拉图概念时，他们使用术语 informare 和 informio 作为希腊技术术语的翻译，例如 eidos（本质）、idea（理念）、拼写错误（类型）、morphe（形式）和 prolepsis（表征）。词根“form”仍然可以在“in-form-ation”一词中辨认出来（Capurro & Hjørland 2003）。柏拉图的形式理论试图为各种哲学问题提出解决方案：形式理论介于静态（巴门尼德，约公元前 450 年）和动态（赫拉克莱托斯，约公元前 535-475 年）本体论概念之间。它为人类知识理论的研究提供了一个模型。根据泰奥弗拉斯托斯（Theophrastus，公元前 371-287 年）的说法，蜡板的类比可以追溯到德谟克里托斯（Democritos，约公元前 460-380/370 年）（De Sensibus 50）。在《泰阿泰德篇》（191c，d）中，柏拉图将我们的记忆功能比作蜡板，我们的感知和思想被印在蜡板上，就像图章戒指在蜡上印记一样。请注意，在蜡中印上符号的隐喻本质上是空间的（广泛的），并且不能轻易地与柏拉图支持的思想的空间解释相一致。

如果考虑一下亚里士多德（公元前 384-322 年）的四因学说，人们就会了解“形式”概念在古典方法论中所扮演的角色。在亚里士多德方法论中，理解一个对象意味着理解它的四个不同方面：

物质原因：：由于其存在，某些事物得以存在——例如，雕像的青铜和杯子的银，以及包含这些的类别

形式原因：：形式或模式；也就是说，基本公式和包含它的类（例如，比率 2:1 和数字）通常是八度音程和公式各部分的原因。

动力因：：变化或休息最初开始的根源；例如，计划的人是一个原因，父亲是孩子的原因，一般来说，产生的东西是被产生的东西的原因，而改变的东西又是被改变的东西的原因。

最终原因：：与“结束”相同；即最终原因；例如，步行的“目的”是健康。人为什么要走路？我们说“为了健康”，通过这样说，我们认为我们已经提供了这个事业。 （亚里士多德，形而上学 1013a）

请注意，亚里士多德拒绝柏拉图将形式理论视为无时间、无空间实体，但仍然使用“形式”作为技术概念。这段话指出，了解物体的形式或结构，即信息，是理解它的必要条件。从这个意义上说，信息是古典认识论的一个重要方面。

以 2:1 的比例为例，也说明了形式概念与世界受数学原理支配的思想之间的深刻联系。柏拉图相信，在古老的毕达哥拉斯学派（毕达哥拉斯 572-约公元前 500 年）传统的影响下，“世界上出现和发生的一切”都可以通过数字来衡量（Politicus 285a）。亚里士多德在不同场合提到柏拉图将思想与数字联系起来的事实（Vogel 1968：139）。尽管关于信息的正式数学理论直到二十世纪才出现，而且人们必须小心不要以任何现代意义解释希腊数字概念，但信息本质上是一种数学概念的想法可以追溯到古典哲学：实体的形式被认为是可以用数字描述的结构或模式。这种形式既有本体论的一面，也有认识论的一面：它解释了对象的本质和可理解性。因此，信息的概念从哲学反思一开始就与认识论、本体论和数学联系在一起。