[长城证券烽火版]深度学习 vs 概率图模型 vs 逻辑学

摘要：本文回忆过去50年人工智能（AI）范畴构成的三大范式：逻辑学、概率办法和深度学习。文章按时刻次序打开，先回忆逻辑学和概率图办法，然后就人工智能和机器学习的未来走向做些猜测。

【编者按】在上个月宣布博客文章《深度学习 vs 机器学习 vs 模式辨认》之后，CMU博士、MIT博士后及vision.ai联合创始人Tomasz Malisiewicz这一次带领咱们回忆50年来人工智能范畴三大范式（逻辑学、概率办法和深度学习）的演化进程。经过本文咱们能够更深化地舆解人工智能和深度学习的现状与未来。

以下为正文：

今日，咱们一起来回忆过去50年人工智能（AI）范畴构成的三大范式：逻辑学、概率办法和深度学习。现在，不管依托经历和“数据驱动”的办法，仍是大数据、深度学习的概念，都现已深化人心，但是前期并非如此。许多前期的人工智能办法是根据逻辑，而且从根据逻辑到数据驱动办法的改变进程受到了概率论思想的深度影响，接下来咱们就谈谈这个进程。

本文按时刻次序打开，先回忆逻辑学和概率图办法，然后就人工智能和机器学习的未来走向做出一些猜测。

图片来历：Coursera的概率图模型课

逻辑和算法 （常识性的“考虑”机）许多前期的人工智能作业都是重视逻辑、主动定理证明和操作各种符号。John McCarthy于1959年写的那篇开创性论文取名为《常识编程》也是顺势而为。 假如翻开当下最盛行的AI教材之一——《人工智能：一种现代办法》（AIMA），咱们会直接注意到书本开篇便是介绍查找、束缚满意问题、一阶逻辑和规划。第三版封面（见下图）像一张大棋盘（由于棋术精深是人类才智的标志），还印有阿兰·图灵（计算机理论之父）和亚里士多德（最巨大的古典哲学家之一，标志着才智）的相片。

AIMA 的封面，它是CS专业本科AI课程的标准教材

但是，根据逻辑的AI讳饰了感知问题，而我很早之前就主张了解感知的原理是解开智能之谜的金钥匙。感知是归于那类关于人很简单而机器很难把握的东西。（延伸阅览：《计算机视觉当属人工智能》，作者2011年的博文）逻辑是朴实的，传统的象棋机器人也是朴实算法化的，但实际国际却是丑恶的，龌龊的，充满了不确定性。

我想大多数今世人工智能研究者都以为根据逻辑的AI现已死了。万物都能完美调查、不存在丈量误差的国际不是机器人和大数据地点的实在国际。咱们生活在机器学习的年代，数字技能打败了一阶逻辑。站在2015年，我真是替那些死守必定前件扔掉梯度下降的傻子们感到怅惘。

逻辑很适合在课堂上解说，我置疑一旦有满足的认知问题成为“本质上处理”，咱们将看到逻辑学的复苏。未来存在着许多敞开的认知问题，那么也就存在许多场景，在这些场景下社区不必再忧虑认知问题，并开端从头审视这些经典的主意。或许在2020年。

延伸阅览：《逻辑与人工智能》斯坦福哲学百科全书

概率，计算和图模型（“丈量”机）概率办法在人工智能是用来处理问题的不确定性。《人工智能:一种现代办法》一书的中心章节介绍“不确定常识与推理”，生动地介绍了这些办法。假如你榜首次拿起AIMA，我主张你从本节开端阅览。假如你是一个刚刚触摸AI的学生，不要小气在数学下功夫。

来自宾夕法尼亚州立大学的概率论与数理计算课程的PDF文件

大多数人在说到的概率办法时，都以为仅仅计数。外行人很简单想当然地以为概率办法便是花式计数办法。那么咱们简要地回忆过去计算思想里这两种平起平坐的办法。

频率论办法很依托经历——这些办法是数据驱动且朴实依托数据做推论。贝叶斯办法更为杂乱，而且它结合数据驱动似然和先验。这些先验往往来自榜首准则或“直觉”，贝叶斯办规律长于把数据和启发式思想结合做出更聪明的算法——理性主义和经历主义国际观的完美组合。

最令人兴奋的，后来的频率论与贝叶斯之争，是一些被称为概率图模型的东西。该类技能来自计算机科学范畴，虽然机器学习现在是CS和计算度的重要组成部分，计算和运算结合的时分它强壮的才干才真实释放出来。

概率图模型是图论与概率办法的结合产品，2000年代中期它们都曾在机器学习研究人员中风行一时。当年我在研究生院的时分（2005-2011），变分法、Gibbs抽样和相信传达算法被深深植入在每位CMU研究生的大脑中，并为咱们供给了考虑机器学习问题的一个极好的心思结构。我所知道大部分关于图模型的常识都是来自于Carlos Guestrin和Jonathan Huang。Carlos Guestrin现在是GraphLab公司（现改名为Dato）的CEO，这家公司出产大规模的产品用于图画的机器学习。Jonathan Huang现在是Google的高档研究员。

下面的视频虽然是GraphLab的概述，但它也完美地论述了“图形化思想”，以及现代数据科学家怎么称心如意地使用它。Carlos是一个优异的讲师，他的讲演不局限于公司的产品，更多的是供给下一代机器学习体系的思路。

概率图模型的计算办法介绍（视频和PPT下载）

Dato CEO，Carlos Guestrin教授

假如你觉得深度学习能够处理一切机器学习问题，真得好好看看上面的视频。假如你正在构建一套引荐体系，一个健康数据剖析渠道，规划一个新的买卖算法，或许开发下一代查找引擎，图模型都是完美的起点。

延伸阅览：

相信传达算法维基百科

图模型变分法导论

Michael Jordan的技能主页（Michael Jordan系推理和图模型的巨子之一）

深度学习和机器学习（数据驱动机）机器学习是从样本学习的进程，所以当时最先进的辨认技能需求许多练习数据，还要用到深度神经网络和满足耐性。深度学习着重了现在那些成功的机器学习算法中的网络架构。这些办法都是根据包括许多躲藏层的“深”多层神经网络。注：我想着重的是深层结构现在（2015年）不再是什么新鲜事。只需看看下面这篇1998年的“深层”结构文章。 ![宽客网,量化出资,宽客沙龙](img.ptcms.csdn.net/article/201504/30/55423367af834_middle.jpg?_=48287" />

LeNet-5，Yann LeCun开创性的论文《根据梯度学习的文档辨认办法》

你在阅览LeNet模型导读时，能看到以下条款声明：

要在GPU上运转这个示例，首要得有个功能杰出的GPU。GPU内存至少要1GB。假如显示器连着GPU，或许需求更多内存。 当GPU和显示器相连时，每次GPU函数调用都有几秒钟的时限。这么做是必不可少的，由于现在的GPU在进行运算时无法持续为显示器服务。假如没有这个约束，显示器将会冻住太久，计算机看上去像是死机了。若用中等质量的GPU处理这个示例，就会遇到超越时限的问题。GPU不衔接显示器时就不存在这个时刻约束。你能够下降批处理巨细来处理超时问题。

我真的非常猎奇Yann究竟是怎么早在1998年就把他的深度模型折腾出一些东西。毫不古怪，咱们大伙儿还得再花十年来消化这些内容。

更新：Yann说（经过Facebook的谈论）ConvNet作业能够追溯到1989年。“它有大约400K衔接，而且在一台SUN4机器上花了大约3个星期练习USPS数据集（8000个练习样本）。”——LeCun

![宽客网,量化出资,宽客沙龙](img.ptcms.csdn.net/article/201504/30/554234457933d_middle.jpg?_=7010" />

深度网络，Yann1989年在贝尔实验室的效果

注：大约同一时期（1998年左右）加州有两个张狂的家伙在车库里企图把整个互联网缓存到他们的电脑（他们创办了一家G打头的公司）。我不知道他们是怎么做到的，但我想有时分需求超前做些并不大规模的工作才干获得大成果。国际最终将迎头赶上的。

延伸阅览：

Y.LeCun, L.Bottou, Y.Bengio, and P.Haffner.Gradient-based learning applied to document recognition.Proceedings of the IEEE, November 1998.

Y.LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard and L.D.Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, Winter 1989

Deep Learning code: Modern LeNet implementation in Theano and docs.

定论我没有看到传统的一阶逻辑很快东山再起。虽然在深度学习背面有许多炒作，分布式体系和“图形思想”对数据科学的影响更或许比重度优化的CNN来的更深远。深度学习没有理由不好GraphLab-style架构结合，未来几十年机器学习范畴的重大突破也很有或许来自这两部分的结合。

原文链接：Deep Learning vs Probabilistic Graphical Models vs Logic （翻译/zhyhooo 审校/王玮 责编/周建丁）
金融工程, 数学算法, 深度学习, 图模型