原文选自 Cybernetics and the Origin of Information 第 5 章 The Origin of Information
作者:Raymond Ruyer(1954)
[R. A. Fischer,]克劳德-香农(Claude Shannon)与诺伯特-维纳(Norbert Wiener),皆可算作第一个精确地对信息量(the quantity of information)之概念加以定义的人。[1] 正如我们所见,所谓"基本信息", 其实就是二选一式的(alternative)"是-否"——或者说,就是任何其他 "二进制"决定:1 或 0,右或左,等等。此即信息单位,或被称作 "哈特利(hartley)":
0← α· b →1
A P B
Figure 5.1.
如果我们必须精确地对一条直线上的一个点加以定位,或者对一个给定的图形加以描述,那么信息量必然是无限的。实际上,描述、定位或测量,从来都并非完美无缺的。 让我们考虑一个点 P,我们只知道其位于 A 与 B 之间的某条直线的某一部分上。随后,我们可以通过对左半边的 0 或右半边的 1加以显示(signifying),来知晓其位于左半边上,然后,在这左半边的右半边上,依此类推。二进制数的形式为 0、010101 … 对我们的信息加以表示的二进制数,永远不会是一个 由1 和 0来组成的不确定数列。 信息之精确度是有限的。例如,这里逗号后的第五个数字是不确定的。 信息量仅限于逗号后的四位数字。从 AB 到 ab ,所获得的信息量相当于概率之对数。 而对它加以表示的公式,正是熵之公式,熵同时是概率之对数,不过符号相反。信息是一种负熵(negative entropy)。
这一结果是令人惊讶的,甚至显得 "耸人听闻"。然而,这是自然而然的,且颇易理解。假设直线AB 代表着处于某一均匀温度下的金属棒。我们提高 ab 区的温度。 根据热力学第二定律,温度很快便会趋于平衡,重新变得均匀:系统之熵增加了。在前面的例子中,随着 ab 区之缩小,于 A 与B 之间,有关 P 点的信息也随之增加,而在加热棒这一具体实例中,随着温度之均衡,以及 ab 区同整个 AB 区的合并,熵亦随之增加。 熵之增加相当于信息之减少,反之亦然。同样,这并无任何特别之处,因为信息乃结构(或组织)之同义词,而熵则是解体(disorganization)之同义词。只要 ab 区的温度高于金属棒之其他部分,那么金属棒作为一个整体,便具有一定程度的结构;从词源学的意义上讲,它是 "信息的(informed)",也因此,作为一个观察者,我便是知情的(informed)(惯常意义上的"informed"),亦即,知道在 ab 区发生了一个特定事件。当熵达到最大值时,整个金属棒的热运动( thermal agitation),乃同质的,信息是最小的;先前不同的概率之区域融合在一起。再举个例子, 如果我用坏掉的粉笔在一块坏石板上写字,粉笔灰在整个石板表面上迅速地作均化(homogenization),这一现象便类似于熵之增加,同时也就是信息之损失:写出的字变得难以辨认。如果电话或收音机中的 "静电"达到一定的强度,又或者当调频太弱并下降至使静电得以触发的波动水平,语音就会变得模糊不清。
尽管如此,考虑到任何机器,无论多么精密——包括计算器或反馈自动机——都只能增加熵(因为它们是根据热力学原理运行的),所以它们显然只能对信息加以减少。
数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。