哥德尔不完备定理指出,不论给出什么公理系统,我们总是能找到一个命题,这个命题在这个公理系统中既不能被证实也不能被证伪,即永远都会有公理以外的东西。换一种方式理解,就是不管列出多少条规则,总有内容不能被囊括其中。有一个经典的例子就是芝诺悖论( 或阿基里斯悖论):阿基里斯是古希腊跑步很快的一个人,这个悖论就在于阿基里斯永远追不上乌龟。这个结论看起来十分荒谬,从常识来看,他肯定几步就能追上乌龟,但论证者在逻辑上是这样解释的:比如用数字来形容,如果阿基里斯是乌龟10倍速度,而他离乌龟有100米; 假如阿基里斯跑100 米,那个乌龟也已经朝前爬了 10 米,乌龟还在他前面;阿基里斯再走10米,乌龟又走了1米,他还在乌龟后面,阿基里斯继续朝前走1米,那个乌龟又走了 0.1 米· · · · · ·论证过程本身没有错误,问题在干其论证用的描述系统具有边界。也即这类论证者在自己限制的范围内是没错的,因为这个封闭系统的时间并不开放,所以阿基里斯永远跨不过系统的时间边界,在空间上也就永远追不上乌龟。
这个悖论正好说明假设本身可能有局限性,那么假定的世界就并非真实世界。符号主义很可能也面临类似的问题,不管制定多少严谨的规则,总会有一件事是真实会发生但却不被规则包含的。因此符号主义会失败就不难理解,因为它无法涵盖所有可能。联结主义则不停迭代,它由博到约、由约到博不断往复,总能“折腾”到一个比较好的状态,只是现在的深度学习还没到这种状态,依然有进步空间。深度学习存在一个所谓的“极小问题”的瓶颈。人类大脑有一个信息精炼的过程,有利于跳出极小等这些机器在深度学习里遇到的问题。
符号主义是理想化的,它希望我们能够猜出来理念世界最本底的规则,以此来构建世界的所右规律。但就像我们已经讨论过的,没有一套完美规则能涵盖所有。现在用的计算机是图灵机,也是符号主义、遵循规则。但为什么它又能产生新的东西?我们认为原因在于图灵机并不是封闭的。图灵曾经也提出了带有oracle(预言机)的图灵机的设想,停机问题在图灵机里没法解决,但假如有oracle 可能就能够判定是否停机了。②现在深度学习的这些数据可以看作是一个oracle,听起来很悖论:我们用的是图灵机,而图灵机是规则的。但问题是和外界的交互不是不变的,假如说数据集完全确定不再更新,那这个图灵机就不会产生新的东西,但我们面临的世界一定有新东西不断输入,所以一定不是绝对意义上的图灵机。
我们不知道深度学习效果好的原因,即深度学习对人来说依然是不能解释的黑箱。其原因在于深度学习抓取的特征和人抓取的特征没有太大关系。我们可能会根据某人外貌给他起外号,其他人能理解就在于这些外号抓住了突出特征。但机器抓特征更像是眉毛胡子一把抓,人类并不能理解机器给出的成万上亿的特征。
我们正在尝试在深度学习上使用原来的框架,抓取人类能理解的特征。原本的深度学习过程不是很清晰,现在就是要把这个做得更清晰,一方面是将模型大小尽可能地压缩,另一方面是在图片识别上尽可能地放开、多纳入一些特征进来。我们希望看到经过这样训练过的网络模型能更像人一样,把耳朵、眼睛、鼻子、嘴、下巴等这些人类可以理解的特征抽象出来,而不是原来那种提取出上亿个参数。如果这样发展下去,人跟机器未来应该是能互相理解的,而这个思路背后指导的概念就是认知坎陷。当我们在白天走进一间教室,可能不会意识到电灯的存在或窗帘的款式,而最先关注到坐在里面的人或者是PPT上放映的内容。人们观察和理解这个世界的过程往往类似,总是注意到部分重点,而不是每个节。而机器是按照像素来辨别环培,H如在教室里放置一个摄像头它就会将视甲: 所右内
_______
1 胡久稳《希尔伯特第十问题》,哈尔滨工业大学出版社2016年版,第1-9页。
数学联邦政治世界观提示您:看后求收藏(同人小说网http://tongren.me),接着再看更方便。