人工智能（六）
4. 人工智能的爆炸式增长
正如我们上面提到的，人工智能的研究在过去几十年里如雨后春笋般涌现。现在我们已经了解了人工智能的组成部分，接下来我们快速了解一下人工智能的爆炸性增长。
首先，澄清一点。我们所说的增长并不是与特定人工智能子领域提供的资金量浅层相关。这种事情在所有领域都经常发生，并且可能是由旨在发展某些领域并削弱其他领域的政治和金融变革所引发的。同样，我们所说的增长与围绕人工智能（或其子领域）的工业活动量并不相关；因为这种增长也可能是由人工智能科学广度扩展之外的力量驱动的。 [31]相反，我们谈论的是深层内容的爆炸：想要熟悉该领域的人需要了解的新材料。相对于其他领域，爆炸的规模可能是前所未有的，也可能不是前所未有的。 （尽管也许应该指出，哲学的类似增长将以全新的推理形式主义的发展为标志，反映在这样的事实中，例如，科皮（Copi）（2004）的《逻辑导论》等长期存在的哲学教科书被戏剧性地重写和扩展包括这些形式主义，而不是继续锚定在本质上一成不变的核心形式主义上，多年来在边缘不断完善。）但它确实看起来相当引人注目，并且在这里值得一提，如果没有其他原因，只是人工智能近期的未来将在很大程度上围绕所讨论的新内容是否构成新的长期研究和开发的基础，否则就无法实现。 [32]
人工智能在各种工件和应用程序中的使用也出现了爆炸式增长。虽然我们距离建造一台具有人类能力的机器或根据上述 Russell/Hutter 定义在所有情况下都能理性行动的机器还很遥远，但起源于人工智能研究的算法现在已广泛部署到各个领域的许多任务中。 。
4.1 机器学习的蓬勃发展
人工智能应用的增长很大一部分是通过机器学习子领域新算法的发明而实现的。机器学习涉及构建系统，当给定任务的理想性能示例时，该系统可以提高其在任务上的性能，或者通过重复的任务经验来提高其性能。机器学习算法已用于语音识别系统、垃圾邮件过滤器、在线欺诈检测系统、产品推荐系统等。当前机器学习的最新技术可分为三个领域（Murphy 2013，阿尔帕丁 2014）：
监督学习：计算机尝试学习函数的一种学习形式
f
�
给定示例，训练数据
时间
�
，其域中不同点的值
时间
=
{
⟨
x
1
,
f
（
x
1
）
⟩
,
⟨
x
2
,
f
（
x
2
）
⟩
,
……
,
⟨
x
n
,
f
（
x
n
）
⟩
}
。
�
=
{
⟨
�
1
,
�
（
�
1
）
⟩
,
⟨
�
2
,
�
（
�
2
）
⟩
,
……
,
⟨
�
�
,
�
（
�
�
）
⟩
}
。
一个示例任务是尝试用人名标记面部图像。监督学习中的监督以函数值的形式出现
f
（
x
）
�
（
�
）
在不同的点
x
�
在函数定义域的某些部分。这通常以函数的一组固定输入和输出对的形式给出。
小时
ℎ
是“学习功能”。监督学习的目标是
小时
ℎ
尽可能接近真实的功能
f
�
在同一个域上。误差通常用误差函数来定义，例如，
e
r
r
哦
r
=
Σ
x
ε
时间
δ
（
f
（
x
）
-
小时
（
x
）
）
�
�
�
�
�
=
Σ
�
ε
�
�
（
�
（
�
）
-
ℎ
（
�
）
）
，在训练数据上
时间
�
其他形式的监督和学习目标也是可能的。例如，在主动学习中，学习算法可以请求任意输入的函数值。监督学习在机器学习领域占据主导地位，并且已被用于上面提到的几乎所有实际应用中。
无监督学习：机器尝试在给定一些原始数据时找到有用的知识或信息
{
x
1
,
x
2
,
……
,
x
n
}
{
�
1
,
�
2
,
……
,
�
�
}
没有与必须学习的输入相关的函数。这个想法是，机器帮助发现可能隐藏在数据中的有趣模式或信息。无监督学习的一种用途是数据挖掘，在大量数据中搜索有趣的信息。 PageRank 是 Google 搜索引擎最早使用的算法之一，可以被认为是一种无监督学习系统，无需任何人工监督即可对页面进行排名（第 14.10 章，Hastie 等人，2009 年）。
强化学习：在这里，机器被放置在一个不断行动和感知的环境中（类似于上面的 Russell/Hutter 观点），并且只是偶尔以奖励或惩罚的形式收到有关其行为的反馈。机器必须根据这种反馈学会理性地行事。强化学习的用途之一是构建玩电脑游戏的代理。这里的目标是构建代理，将游戏中每个时刻的感官数据映射到有助于赢得游戏或最大限度地提高人类玩家的游戏乐趣的动作。在大多数游戏中，我们只有在游戏结束时或在整个游戏中偶尔才知道自己的表现如何（例如，我们认为自己获胜的国际象棋游戏最终可能很快就会对我们不利）。在监督学习中，训练数据具有理想的输入输出对。这种形式的学习不适合构建必须在一段时间内运行的智能体，并且不是根据一个动作而是根据一系列动作及其对环境的影响来判断。强化学习领域试图通过多种方法来解决这个问题。 Sutton 和 Barto（1998）虽然有点过时，但对该领域进行了全面的介绍。
除了用于传统的人工智能领域外，机器学习算法还被用于科学过程的各个阶段。例如，机器学习技术现在通常用于分析粒子加速器生成的大量数据。例如，CERN 生成 PB（
10
15
10
15
每秒字节），并且使用源自人工智能的统计算法来过滤和分析这些数据。粒子加速器用于物理学的基础实验研究，以探测物理宇宙的结构。它们的工作原理是将较大的颗粒碰撞在一起，产生更细的颗粒。并非所有此类活动都会取得成果。机器学习方法已用于选择事件，然后进行进一步分析（Whiteson & Whiteson 2009 和 Baldi 等人 2014）。最近，欧洲核子研究中心的研究人员发起了一场机器学习竞赛，以帮助分析希格斯玻色子。本次挑战赛的目标是开发算法，根据大型强子对撞机（CERN 的粒子加速器）的数据，将有意义的事件与背景噪声分开。
在过去的几十年里，没有任何明确语义的数据出现了爆炸式增长。这些数据是由人类和机器生成的。大多数数据不容易被机器处理；例如，图像、文本、视频（而不是知识库或数据库中精心策划的数据）。这催生了一个应用人工智能技术从如此庞大的数据中获取有用信息的巨大行业。将人工智能派生的技术应用于大量数据的领域被称为“数据挖掘”、“大数据”、“分析”等。这个领域太大了，甚至无法在本文中适度涵盖，但我们请注意，对于此类“大数据”问题的构成尚未达成完全一致。 Madden (2012) 的一个定义是，大数据与传统的机器可处理数据不同，因为它太大（对于大多数现有的最先进的硬件而言）、太快（以很快的速度生成） ，例如在线电子邮件交易），或者太难了。正是在太难的部分，人工智能技术表现得非常好。尽管这个世界千差万别，但我们在本文后面使用沃森系统作为人工智能相关的示例。正如我们稍后将看到的，虽然这种新的爆炸大部分是由学习驱动的，但它并不完全局限于学习。学习算法的蓬勃发展得到了神经计算技术和概率技术复兴的支持。
4.2 神经计算技术的复兴
（Charniak & McDermott 1985）的一个显着方面是：作者说人工智能的中心教条是“大脑所做的事情在某种程度上可以被认为是一种计算”（第 6 页）。然而书中没有任何地方讨论类脑计算。事实上，您在索引中搜索“神经”一词及其变体是徒劳的。请注意，作者不应为此承担责任。人工智能的增长很大一部分来自形式主义、工具和技术，从某种意义上说，它们是基于大脑的，而不是基于逻辑的。一篇传达了神经计算的重要性和成熟度的论文是（Litt et al. 2006）。 （增长还来自于 70 年代和 80 年代中期已经衰落的概率技术的回归。关于这一点，我们将在下一个“复兴”部分中暂时介绍。）
一类非常突出的非逻辑主义形式主义确实对大脑的方向做出了明确的认可：即人工神经网络（或者它们通常简称为神经网络，甚至只是神经网络）。 （上面讨论了神经网络的结构和最新发展）。由于 Minsky 和 Pappert（1969）的感知器让许多人（特别是人工智能研究和开发的许多赞助商）得出结论，认为神经网络没有足够的信息处理能力来模拟人类认知，因此形式主义几乎被普遍抛弃了。人工智能。然而，明斯基和帕珀特只考虑了非常有限的神经网络。联结主义认为，智力不在于符号处理，而在于非符号处理，至少有点像我们在大脑中发现的（至少在细胞水平上），特别是通过人工神经网络来近似，这种观点在早期就卷土重来。 20 世纪 80 年代，凭借更复杂的网络形式，很快出现了（用约翰·麦卡锡（John McCarthy）提出的比喻）两匹马竞相构建真正智能代理的情况。
如果必须选择联结主义复活的一年，那肯定是 1986 年，即《并行分布式处理》（Rumelhart & McClelland 1986）出版的那一年。神经网络上的反向传播（backpropagation）算法特别推动了联结主义的重生，AIMA 第 20 章对此进行了很好的介绍。象征主义/联结主义的竞赛在文献中引发了一系列激烈的争论（例如，Smolensky 1988，Bringsjord 1991），一些人工智能工程师明确拥护一种拒绝知识表示和推理的方法论。例如，罗德尼·布鲁克斯（Rodney Brooks）就是这样一位工程师；他写了著名的《没有代表的情报》（1991），而他的 Cog 项目（我们上面提到的）可以说是有预谋的非逻辑主义方法的化身。然而，越来越多从事构建复杂系统业务的人发现需要逻辑主义和更多的神经计算技术（Wermter & Sun 2001）。 [33]此外，今天的神经计算范式仅将联结主义作为一个适当的部分，因为一些致力于构建智能系统的人努力通过在基于神经网络的方法之外设计基于大脑的计算来实现这一目标（例如，Granger） 2004a、2004b)。
最近神经计算技术的另一个复兴发生在机器学习领域。机器学习的操作方式是给定一个问题，例如识别手写数字
{
0
,
1
,
……
,
9
}
{
0
,
1
,
……
,
9
}
或面部，从表示数字或面部图像的 2D 矩阵中，机器学习或领域专家将为该任务构建特征向量表示函数。此函数是将输入转换为一种格式，尝试丢弃输入中不相关的信息，只保留对任务有用的信息。输入转换为
r
�
被称为特征。对于识别面部，不相关信息可以是场景中的照明量，相关信息可以是有关面部特征的信息。然后向机器提供一系列由特征表示的输入以及这些输入的理想或真实输出值。这将学习挑战从必须学习函数的挑战转变为
f
�
从例子来看：
{
⟨
x
1
,
f
（
x
1
）
⟩
,
⟨
x
2
,
f
（
x
2
）
⟩
,
……
,
⟨
x
n
,
f
（
x
n
）
⟩
}
{
⟨
�
1
,
�
（
�
1
）
⟩
,
⟨
�
2
,
�
（
�
2
）
⟩
,
……
,
⟨
�
�
,
�
（
�
�
）
⟩
}
必须从可能更简单的数据中学习：
{
⟨
r
（
x
1
）
,
f
（
x
1
）
⟩
,
⟨
r
（
x
2
）
,
f
（
x
2
）
⟩
,
……
,
⟨
r
（
x
n
）
,
f
（
x
n
）
⟩
}
{
⟨
�
（
�
1
）
,
�
（
�
1
）
⟩
,
⟨
�
（
�
2
）
,
�
（
�
2
）
⟩
,
……
,
⟨
�
（
�
�
）
,
�
（
�
�
）
⟩
}
。这里的函数
r
�
是计算输入的特征向量表示的函数。正式地，
f
�
假设是函数的组合
克
�
和
r
�
。即对于任意输入
x
�
,
f
（
x
）
=
克
（
r
（
x
）
）
�
（
�
）
=
�
（
�
（
�
）
）
。这表示为
f
=
克
∘
r
�
=
�
∘
�
。对于任何输入，首先计算特征，然后计算函数
克
�
被应用。如果特征表示
r
�
由领域专家提供，学习问题变得更简单，特征表示承担任务的难度。在一种极端情况下，特征向量可以隐藏输入中易于提取的答案形式，而在另一种极端情况下，特征表示可能只是简单的输入。
对于重要的问题，选择正确的表示至关重要。例如，人工智能领域的巨大变化之一是由于 Minsky 和 Papert (1969) 的演示，感知器甚至无法学习二进制 XOR 函数，但如果我们有正确的表示，感知器可以学习该函数。特征工程已经成为机器学习中劳动强度最大的任务之一，以至于它被认为是机器学习的“黑魔法”之一。学习方法的另一个重要黑魔法是选择正确的参数。这些黑魔法需要大量的人类专业知识和经验，如果没有大量的学徒训练，这些知识和经验可能很难获得（Domingos 2012）。另一个更大的问题是特征工程的任务只是新皮肤中的知识表示。
鉴于这种情况，最近自动学习特征表示函数的方法重新兴起
r
�
;这些方法可能绕过传统上所需的大部分人力。这些方法主要基于现在所谓的深度神经网络。此类网络只是具有两个或多个隐藏层的神经网络。这些网络使我们能够学习特征函数
r
�
通过使用一个或多个隐藏层来学习
r
�
学习的一般形式是从原始感官数据中学习，而不需要太多基于手工的特征工程，现在有自己的术语：深度学习。一个通用而简洁的定义（Bengio et al. 2015）是：
深度学习可以安全地被视为对模型的研究，这些模型比传统机器学习涉及更多的学习函数或学习概念的组合。 （Bengio 等人，2015 年，第 1 章）
尽管这个想法已经存在了几十年，但最近的创新带来了更高效的学习技术，使该方法变得更加可行（Bengio 等人，2013 年）。深度学习方法最近在图像识别（给定包含各种对象的图像，从给定的一组标签中标记对象）、语音识别（从音频输入生成文本表示）、以及对粒子加速器数据的分析（LeCun 等人，2015）。尽管这些任务取得了令人印象深刻的成果，但小问题和大问题仍未得到解决。一个小问题是，仍然需要大量的人类专业知识来选择架构并为架构设置正确的参数；一个主要问题是所谓的对抗性输入的存在，这些输入与人类的正常输入无法区分，但以特殊的方式计算，使得神经网络将它们视为与训练数据中的类似输入不同。这种对抗性输入的存在在训练数据中保持稳定，这引起了人们对基准性能如何转化为具有感官噪声的现实系统性能的怀疑（Szegedy 等人，2014）。
