新浪科技讯 北京时间1月10日消息，据国外媒体报道，加拿大多伦多大学科学家近日根据谷歌公司和Netflix公司的算法开发出一款机器学习软件。研究人员认为，这款机器学习软件可用于发现外太空的外星生命。据了解，这款
2016是人工智能爆发的一年，各种层出不穷的新技术、新概念让人眼花缭乱。很多人都分不清人工智能（Artificial Intelligence，简称AI）、机器学习（Machine Learning，简称ML）以及深度学习（Deep Learning，简称DL）
网易科技讯12月19日消息，《经济学人》杂志撰文深度剖析了人工智能公司DeepMind对谷歌的价值。DeepMind带来的最直接利益是，让谷歌和Alphabet在全球科技公司的AI争夺战中拥有了战略优势，这有助于吸纳AI人才
网易科技讯12月16日消息，对于喜欢数据的专业人士来说，潜水堪称完美运动，因为收集数据是潜水的重要组成部分。慢慢地下降到深海中，你可以想象自己首次浸入未被开发的数据湖中。在成千上万的水下生物中，你可以寻找
网易科技讯12月15日消息，据外媒报道，约翰&塞巴斯蒂安&巴赫（Johann Sebastian Bach）被广泛视为巴洛克音乐最伟大的作曲家之一。巴赫生活在18世纪的德国，被尊称为&西方近代音乐之父&。
凤凰科技讯 北京时间11月30日消息，据外媒报道，谷歌当地时间周二表示，它已经训练了一款深度学习算法，能帮助发现糖尿病患者视网膜病变的迹象。其工作原理与眼科专家通过检查眼底发现病变迹象相似。
谷歌利用人工
微软内部的深度学习工具，曾被微软工程师用来构建人类语音识别系统，并于不久前取得文字差错率（WER）仅为 5.9% 的突破与人类打成了平手，同时也被 Skype 翻译和 Cortana 语音助手使用着。如今微软宣布开源 Cognitive Toolkit 工具包，也就是说，现在任何人都可以用 Cognitive Toolkit 来训练自己的人工智能了。
日前，美国卡耐基·梅隆大学副教授、计算机科学学院人工智能（AI）专家鲁斯兰·萨拉克霍特迪诺夫(Ruslan Salakhutdinov)通过Twitter发文，证实他已经加入苹果公司AI研究院并担任其总监之一。
Makoto Koike 原本在日本的一家车企当工程师，大约一年前，他辞去工作回到老家帮父母经营黄瓜农场。农场并不大，然而给黄瓜分类的工作却让 Makoto 吃了不少苦头。
Futurum首席分析师丹尼尔·纽曼（Daniel Newman）在福布斯发文讲述人工智能与智能手机的未来。文章指出，如能有效整合AI，智能手机将会变得真正智能，从被动的工具变成主动的合作伙伴。一些技术领域的进步正带来驱动，其中包括深度学习和低耗能计算机芯片。
在美国西部登陆Facebook帐号，你的资料就很可能被一台由杜松和俄勒冈中部沙漠地区夹杂鼠尾草气息的空气而冷却的电脑调出。
马文&明斯基
新浪科技 维金
1月24日，在波士顿去世的马文&明斯基(Marvin Minsky)的身后，有一长排让人肃然起敬的称号：人工智能之父、世界上首个人工智能实验室&&麻省理工学院人
文/李智勇 (微信号：zuomoshi/琢磨事)
这几年互联网巨头不约而同的在人工智能上加大投入，最近就连此前对此无动于衷的苹果也开始发力。虽然我们仍然不能精确预计究竟什么时候我们会迎来真的强人工智能，但商业巨头
据外媒报道，近期，Facebook正试图找到一种可以在已有2500年历史的围棋比赛中打败人类的方法。由于围棋棋盘19x19方格的结构，即便采用的规则比国际象棋简单，它的排列仍旧要 比后者多得多，而正因为此，设计一套走围
活动时间： 19:30:00
活动地址：海淀南路36号海润艾丽华酒店ARIVA三层伦敦厅
活动嘉宾：虚拟运营商产业联盟秘书长邹学勇 、 蜗牛移动陈艳、 国美张一凡
无论是传统媒体还是新媒体，都是生意，生意的好坏由账...[]
你卖到100亿或者没到100亿，和食客又有多少关系?100亿...[]
不必刻意腹诽传统媒体和硬广，不必把互联网思维当万能...[]
Copyright &
All rights reserved.君，已阅读到文档的结尾了呢~~
深度学习在游戏中的应用
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
深度学习在游戏中的应用
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口热门推荐：
　　tech2ipo
　　编者按：我们和电脑之间的交流正在发生着转变，而深度学习也已经润物细无声地进入我们的生活，甚至在你意识到这一点之前，世界已经截然不同。
　　本文首发于 fortune，分上下篇，由老吕IO、江小片及何联合编译，未经雷锋网(搜索“雷锋网”公众号关注)允许不得转载。
　　什么是人工智能？
　　人工智能
　　人工智能是一个广义概念，它可以应用到任何一种可以使计算机模拟人类智慧、使用逻辑算法、决策树、机器学习（包括深度学习）的技术中。
　　机器学习
　　它是人工智能的一个分支，包括能使机器根据经验完成任务的深度统计技术，机器学习包括了深度学习。
　　深度学习
　　深度学习是机器学习的一个分支，它包括允许软件自行完成任务的算法，例如语音和图像识别，通过多层神经网络系统传输给大数据。
　　深度学习可以改变任何一种工业，谷歌大脑项目的领导者 Jeff Dean 说：“计算机视觉一旦开始使用就会产生许多基本变化。”随后他又纠正说：“现在计算机已经打开了人们的新世界。”
　　曾经有一个假设是这样说的：当超级智能机器不需要人类的参与就可以完成许多事情的时候，那些低能的人类就要面临被淘汰的危险。难道现在是要证明这个假设了吗？
　　或许并不是。 神经网络系统甚至比人类更善于模式识别，但是它们并不能推理。
　　2009 年发生了第一次变革。那年夏天微软的Lee邀请多伦多大学的神经网络大师 Geoffrey Hinton 来参观。根据他的研究，Lee 的团队研究了神经网络对于语音识别的应用。Lee 说：“对于结果我们很震惊，用第一个原型准确度提高了 30% 以上。”
　　2011 年，根据 Lee 的研究，微软将深度学习技术应用到了它的商业语音识别产品中。随后在2012年8月谷歌也应用了这项技术。
　　但是真正的转折点是在 2012 年 10 月，在意大利佛罗伦萨的一间工作室，斯坦福人工智能实验室的领导人、著名的年度 ImageNet 计算机视觉大赛创办人李飞飞宣布，两位 Hinton 的学生发明的软件能以比竞争者高达两倍的准确度识别物体。Hinton 说：“这是个引人注目的结果，这个结果说服了很多之前对此表示怀疑的人。”（在去年的一场深度学习超越人类的争论中。）
　　图像识别像是一个发令枪，它引发了一场新的聘用比赛。谷歌聘用 Hinton 和赢得比赛的那两名学生，Facebook 签约法国深度学习创新者 Yann LeCun，他是在二十世纪八十年代和九十年代都赢得了 ImageNet 比赛的算法先驱。而百度则聘用 Ng，他是斯坦福人工智能实验室的前领导人，他在 2010 年也领导了谷歌大脑计划的深度学习项目。
　　从那时起的挖人风波愈演愈烈，如今，微软的 Lee 说：“在这块领域里一场血腥的人才相争之战正在上演，顶级的头脑需求就像美国橄榄球联盟足球员那么多。”
　　68 岁的 Geoffrey Hinton 第一次听说神经网络是在1972年，那时他刚在爱丁堡大学开始他的人工智能毕业设计。本科在剑桥的时候已经学习了实验心理学，他对神经网络算法十分感兴趣，神经网络是软件构造基础，这种灵感来自于大脑中神经元的工作模式。那个时候神经网络没有那么受欢迎，大家都认为他们疯了，但是 Hinton 坚持干着。
　　神经网络展现了计算机学习的前景：像孩子学习那样从经验获得，而不是通过人类设计的程序发出的蹩脚的指令。他回忆说：“大多数人工智能从那时起都是由逻辑启发，但是有的人很晚才意识到逻辑这回事。两三岁的孩子没有逻辑，所以对于智能，神经网络似乎比逻辑能更好的应用。”（逻辑是 Hinton 的一个家庭交易，他出身科学世家，他是19世纪数学家 George Boole 的玄孙，在 Boolean 研究之后，逻辑和算法得以命名。）
　　在 20 世纪 50 年代和 60 年代期间，神经万罗在计算机科学家中很盛行，在 1958 年，康奈尔大学研究心理学家Frank Rosenblatt在布法罗的实验室，在一个海军项目中，以神经网络构建了一个原型，他称之为Perceptron。他利用了一台充满整间屋子的穿孔卡片电脑，试验 50 次以后它可以辨别左右两边的卡片，《纽约时报》报道：海军认为现如今的电子计算机的雏形将来会听说读写、行走、繁殖、有存在意识。
　　Perceptron的软件由于限制，只有一层神经元，但是研究者认为将来会有多层或深层神经元网络。
　　Hinton 解释了这个理论。假设神经元网络在绘制摄影图像，比如说画一只鸟。“输入指令‘像素’然后第一层单元就会检测边缘，一边暗，另一边亮，第二层神经元会根据第一层的数据进行分析。”例如，某一个神经元会直接描绘鸟嘴的角度。
　　下一层会进行更复杂的立体基阵，比如许多边排列成一个圈。这时神经元可能对应出鸟的头部。更高级的神经元会检测在鸟头部附近的圆圈里反复出现并列的像鸟嘴的角度。它会检验那是不是鸟头。Hinton说道，更高级的神经元层会对应出更复杂的形态，直到绘制出我们所定义的“鸟”的形状。
　　然而，仅仅通过神经元层给出信息是不够的，我们需要知道最高层神经元是否得到了正确结果，如果没有的话，需要撤回信息确保低级神经元能够重新整合优化结构。于是深层学习就出现了。
　　在 20 世纪80年代初期，Hinton在研究这个问题，法国的一位叫Yann LeCun 也在做相同的研究，他刚开始在巴黎进行他的毕业设计。LeCun 对 Hinton 1983 年的一篇阐述了多层神经元的文章产生质疑。“在那个时候，这篇文章没有很好地进行表述，因为在那个时期，你提到‘神经’和‘神经元’这样的词是很难发表文章的。”他回忆道，“于是他就以模糊不清的方式写了文章，审稿人才通过这篇文章，但是我对这篇文章很感兴趣。”二人在两年后相见，并就此展开研究。
　　1986 年，Hinton 和他的两位同事就利用算法解决错误相关问题发表了学术文章。“这篇文章是神经元第二次风波的基础。” LeCun 说，这再次燃起了他对此领域的兴趣。
　　跟随 Hinton 完成博士后工作以后，LeCun 在 1988 年去了美国电话电报公司的贝尔实验室，在这个地方，他完成了接下来十年的基础工作研究，这些研究至今仍在图像识别领域被沿用。 20 世纪 90 年代，根据 LeCun 的研究，贝尔实验室的子公司 NCR 生产了一种神经元支持的产品，这种产品广泛用于银行，它可以读取支票上的手写数字。同时，两名德国研究员也独立研究了不同类型的算法，20 年后的今天，这种算法在自然语言处理应用程序中十分重要。
　　然而在 20 世纪 90 年代中期，神经元算法再次衰落，被一种计算机时代更有效的机器学习工具所替代，这种状况持续了十年左右，直到计算能力增加了三到四个数量级，这时研究者发明了图形处理器加速器。
　　但是数据仍然在丢失，尽管互联网里充满了数据，但是大多数数据都没有被示踪，尤其是图像里的数据，于是就需要训练神经元。这也正是斯坦福人工智能教授李飞飞所研究的，“我们的视觉来源于大数据改变机器学习的工作模式，数据驱机器学习。”她在一次采访中解释。
　　2007 年，她启动了 ImageNet 项目，在免费网站上收集了超过一千四百万被示踪的图像。2009 年和 2010 年，她都举办了年度激励竞赛，并且发表了在计算机视觉上取得的研究突破。
　　2012 年 10 月，两个 Hinton 的学生赢得了这个比赛，我们也因此清楚地看到了深度学习目前能够到达的程度。
　　在此之前，大众已经因为另一个事件了解了深度学习。2012 年 6 月，Google Brain 发布了一个创意项目的结果，现在这个项目已经广为人知，叫做“猫的实验（cat experiment）”。这个实验引起了极大的共鸣，并在社交网络上迅速走红。
　　这个项目真正探索了深度学习领域中一个尚未解决的重要问题――“无监督学习”。目前几乎所有商业使用的深度学习产品都是“监督式学习”，就是使用标记的数据（如从 ImageNet 收集的图像）来训练神经网络。而“无监督学习”恰恰相反，是给神经网络展示未标记数据，命令其从中寻找反复出现的式样。研究者们希望今后能掌握无监督学习的方法，因为这样机器就可以从目前还无法使用的庞大的数据集中进行自我学习和了解世界，就像人类婴儿一样，机器可以完全通过自身来对世界进行感知。
　　在猫的实验中，研究者给一个超大神经网络（1000 台计算机）展示了从 YouTube视频上随机截取的一千万个未标记图像，让计算机软件自行运作。当“杂质”清除干净后，研究员检查最高层级的神经元，自然就能发现其中一个神经元有力地反馈出猫的图像。Google Brain 的项目负责人 Ng 说：“我们还发现一个神经元明显地反快出人类的面部图像。”然而，结果也令人疑惑。“比如，我们没有发现任何一个明显反映汽车图像的神经元。还有很多神经元反映的事物我们无法辨别。所以这项工程还很艰难。”
　　这个实验引起了轰动，但是无监督学习仍然未被完全破解，这是留给未来的一项挑战。
　　可以想到的是，目前大多数商业使用的深度学习应用都属于那些拥有庞大的可供深度学习运算数据的公司，比如谷歌、微软、Facebook、百度和亚马逊。很多公司正在发展更加真实和有用的聊天机器人来作为自动化的客服代表。
　　四大技术巨头对深度学习技术的重视
　　& 谷歌
　　谷歌在2011年设立了专注深度学习领域的 Google Brain 项目。2012年中期，谷歌将神经网络引进其语音识别产品中。2013年3月，谷歌保留了神经网络开发者 Geoffrey Hinton。如今谷歌正在研发过程中的深度学习项目已经超过1000种，涵盖了搜索、安卓、Gmail、照片、地图、翻译、YouTube和自动驾驶汽车等众多领域。2014年 ，谷歌收购了 DeepMind，其深度强化学习项目 AlphaGo 在三月份打败了世界冠军李世石，成为了人工智能发展的里程碑。
　　& 微软
　　2011年上半年，微软在其 Bing 声音搜索和 X-Box 语音指令等商业语音识别产品中使用了深度学习技术。目前，微软在搜索排行、照片搜索、翻译系统等很多领域中使用了神经网络技术。Lee 说道：“其实广泛传递它已有的影响是很难的。”去年，微软赢得了关键图像识别竞赛的胜利，九月份，微软又取得了一个纪念碑式的记录：在语音识别中达到最低错误率6.3%。
　　& Facebook
　　2013年10月，Facebook 聘请了法国神经网络创新专家 Yann LeCun 来指导公司新的人工智能研究实验室。 Facebook 每天利用神经网络来翻译超过 40 种语言的大约 2 千万的用户帖子，同时，每天有8亿用户在阅读这些翻译的帖子（几乎有一半的用户不使用英语）。 Facebook 还将神经网络应用于照片搜索和整理中。目前，公司正在研究一项应用于视力障碍人群的功能：为没有标签的照片产生语音标记。
　　& 百度
　　2014 年 5 月，百度聘请前谷歌 Google Brain 项目创建者之一的 Andrew Ng 来领导它的研究实验室。作为中国领先的搜索引擎和网页服务网站，百度也在其语音识别、翻译、照片查询、自驾驶汽车等等领域中使用神经网络技术。在中国这样一个倡导“移动先行”战略而其主要语言汉语又较难输入进电子设备的社会中，语音识别是发展的关键所在。百度谈到，在过去的18个月里，使用语音接口的用户数量翻了三番。
　　像 IBM 和微软这样的企业也正在帮助企业客户在企业运营时中适应深度学习类应用（如语音识别界面和翻译服务）。而像亚马逊网页服务这样的云服务商则为想要发展自己软件的客户提供便宜的 GPU 驱动的深度学习运算服务。大量的开源软件（如 Caffe、谷歌 TensorFLOW、亚马逊 DSSTNE）本着开源的原则，已经加速了它们的创新过程，从而使更多的研究者可以不经过漫长的同行审阅同意就能立即发表他们的研究结果。
　　很多非常激动人心的深度学习应用都在医学领域。我们已经了解到，神经网络在图像识别方面贡献非凡。安德森&霍洛维茨基金（Andreessen Horowitz）基金的生物投资单元负责人，斯坦副教授 Vijay Pande 观察到：“放射科、皮肤科、眼科等很多科室的医生所做的大部分事情其实就是图像识别工作。”
　　& 深度学习与医学
　　初创公司 Enlitic 利用深度学习来分析CT和MRI等医学影像检查。公司总裁 Igor Barani 此前是加州大学旧金山分校的射线肿瘤学教授，他说道，Enlitic 在判断肺部结节是恶性还是良性方面比四个放射学专家做的还要出色。（这项工作还未得到同行审阅，该技术还未得到 FDA 的认可。）
　　默克制药公司（Merck）正在尝试使用深度学习来加速药物的发现，它在旧金山新创建了一个制药公司，名叫 Atomwise。在这里，神经网络可以检验出一个由数千分子构成的药物的3D图像，从而预测该药物是否适合抑制病原体的致病机制。很多这样的公司正在使用神经网络来试图改进人类已有的成果，还有一些公司则试图做人类还无法实现的工作。
　　27岁的计算生物学博士 Gabriel Otte 创建了他的公司 Freenome。该公司的目标是从血样中检测出癌症，他们可以检测出血液中细胞死亡时释放出的 DNA 片段。通过深度学习，他命令计算机寻找无细胞DNA和一些癌症之间的相关性。Otte 说道：“我们将看到还未被癌症学家发现的新的癌症特征。”
　　安德森&霍洛维茨基金考虑对 Freenome 增加投资时，负责人 Pande 给Otte 五个盲选样本，其中两个正常，三个为癌症样本，Otte 的判断全部正确，最终Pande决定对其进行投资。
　　一个放射学专家一生也许能看到几千张医学影像，但是一台计算机可以观察数百万张影像。所以 Pande 说：“也许图像问题交由计算机来解决更好的想法其实并不夸张。因为计算机可以处理完一个人一辈子也无法完成的庞大数据。”
　　技术的潜在优势不仅仅在于更好的精确性和更快的分析速度，还有自治化的服务。当技术变得越来越标准，每个病人最终都可以受益于此。
　　我们感受到的深度学习最深刻的影响恐怕是当它以我们从未想过的方式被嵌入到其他人工智能的工具箱中进行使用的时候。比如谷歌的 DeepMind 已经完成了惊人的工作：将深度学习和一个名叫增强学习的相关技术相结合，他们用着这两项技术创造出 AlphaGo，去年三月，它打败了围棋世界冠军，这被公众视为人工智能技术的一个里程碑。不同于在1997年打败了国际象棋冠军 Garry Kasparov 的IBM 深蓝（Deep Blue），AlphaGo 在编程中，并未使用决策树方法，或是评价所在位置的方程方法，或是 if-then 规则。DeepMind 的总裁 Demise Hassabis说：“AlphaGo是通过自我博弈和观察大型专业比赛来学习如何下围棋的。”（在训练中，AlphaGo 自我对战次数高达百万次）
　　一个游戏也许更像是一种人为设定，但是 Hassabis 认为，相同的技术可以应用在真实世界的问题中。今年 7 月，谷歌的报告显示，使用与 AlphaGo 相似的技方法，DeepMind 可以将谷歌数据中心的能耗效率提高 15%。Hassabis 说：“数据中心中大约有 120 个不同的变量，你可以调节风扇、打开窗户、关闭计算机系统电源来减少电力消耗。你可以从传感器、温度计等等中获取数据。这很像围棋游戏，通过反复试验和试错，你将学习到怎样做是对的。这个方法非常棒，每年可以节约几千万美元，同时也保护了环境。因为全世界的数据中心消耗了很多能源，我们希望在更大范围使用这个技术，甚至推广到国家电网系统中。”
　　聊天机器人都是非常不错的，但是它将变得更加酷炫。
　　推荐阅读：
　　涨姿势！如何评价Google神经机器翻译（GNMT）系统？
　　AI 界历史性时刻：美国五大科技巨头联合成立“AI 伙伴关系”组织
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
专注移动互联网领域的科技博客。雷者，万钧之势；锋者，锐利之...
19352文章数
知名IT评论人，曾就职于多家知名IT企业，现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域，静观科技变化。深入思考，简单陈述。
智能硬件领域第一自媒体。[转]关于深度学习，看这一篇就够了 - Crysaty - 博客园
关于深度学习，看这一篇就够了
原文地址：/XueXiSuanFa/13.html
来源：36氪& 作者：
[字体：大&中&小]
　　编者按：本文作者王川，投资人，中科大少年班校友，现居加州硅谷，个人微信号 氪经授权转载自其个人微信公众号 investguru。
　　2016 年一月底，人工智能的研究领域，发生了两件大事。
　　先是一月二十四号，MIT 的教授，人工智能研究的先驱者，Marvin Minsky 去世，享年89 岁。
　　三天之后，谷歌在自然杂志上正式公开发表论文，宣布其以深度学习技术为基础的电脑程序 AlphaGo， 在 2015年 十月，连续五局击败欧洲冠军、职业二段樊辉。
　　这是第一次机器击败职业围棋选手。距离 97年IBM 电脑击败国际象棋世界冠军，一晃近二十年了。
　　极具讽刺意义的是，Minsky 教授，一直不看好深度学习的概念。他曾在 1969年 出版了 Perceptron (感知器) 一书，指出了神经网络技术 (就是深度学习的前身) 的局限性。这本书直接导致了神经网络研究的将近二十年的长期低潮。
　　神经网络研究的历史，是怎样的?
　　深度学习有多深?学了究竟有几分?
　　人工智能研究的方向之一，是以所谓 “专家系统” 为代表的，用大量 “如果-就” (If - Then) 规则定义的，自上而下的思路。
　　人工神经网络 ( Artifical Neural Network)，标志着另外一种自下而上的思路。
　　神经网络没有一个严格的正式定义。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。
　　一个计算模型，要划分为神经网络，通常需要大量彼此连接的节点 (也称 ‘神经元’)，并且具备两个特性：
　　每个神经元，通过某种特定的输出函数 (也叫激励函数 activation function)，计算处理来自其它相邻神经元的加权输入值
　　神经元之间的信息传递的强度，用所谓加权值来定义，算法会不断自我学习，调整这个加权值
　　在此基础上，神经网络的计算模型，依靠大量的数据来训练，还需要：
　　成本函数 (cost function)：用来定量评估根据特定输入值， 计算出来的输出结果，离正确值有多远，结果有多靠谱
　　学习的算法 ( learning algorithm )：这是根据成本函数的结果， 自学， 纠错， 最快地找到神经元之间最优化的加权值
　　用小明、小红和隔壁老王们都可以听懂的语言来解释，神经网络算法的核心就是：计算、连接、评估、纠错、疯狂培训。
　　随着神经网络研究的不断变迁，其计算特点和传统的生物神经元的连接模型渐渐脱钩。
　　但是它保留的精髓是：非线性、分布式、并行计算、自适应、自组织。
　　神经网络作为一个计算模型的理论，1943年 最初由科学家 Warren McCulloch 和 Walter Pitts 提出。
　　康内尔大学教授 Frank Rosenblatt 1957年 提出的“感知器” (Perceptron)，是第一个用算法来精确定义神经网络，第一个具有自组织自学习能力的数学模型，是日后许多新的神经网络模型的始祖。
　　Rosenblatt 乐观地预测，感知器最终可以 “学习、做决定、翻译语言”。感知器的技术，六十年代一度走红，美国海军曾出资支持这个技术的研究，期望它 “以后可以自己走、说话、看、读、自我复制、甚至拥有自我意识”。
　　Rosenblatt 和 Minsky 实际上是间隔一级的高中校友。但是六十年代，两个人在感知器的问题上展开了长时间的激辩。Rosenblatt 认为感应器将无所不能，Minsky 则认为它应用有限。
　　1969 年，Marvin Minsky 和 Seymour Papert 出版了新书：“感知器：计算几何简介”。书中论证了感知器模型的两个关键问题：
　　第一，单层的神经网络无法解决不可线性分割的问题，典型例子如异或门，XOR Circuit ( 通俗地说，异或门就是：两个输入如果是异性恋，输出为一。两个输入如果是同性恋，输出为零 )
　　第二，更致命的问题是，当时的电脑完全没有能力完成神经网络模型所需要的超大的计算量。
　　此后的十几年，以神经网络为基础的人工智能研究进入低潮，相关项目长期无法得到政府经费支持，这段时间被称为业界的核冬天。
　　Rosenblatt 自己则没有见证日后神经网络研究的复兴。1971年 他 43 岁生日时，不幸在海上开船时因为事故而丧生。
　　1970年，当神经网络研究的第一个寒冬降临时。在英国的爱丁堡大学，一位二十三岁的年轻人，Geoffrey Hinton，刚刚获得心理学的学士学位。
　　Hinton 六十年代还是中学生时，就对脑科学着迷。当时一个同学给他介绍关于大脑记忆的理论是：
　　大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是像全息照片一样，分布式地，存在于一个巨大的神经元的网络里。
　　分布式表征 (Distributed Representation)，是神经网络研究的一个核心思想。
　　它的意思是，当你表达一个概念的时候，不是用单个神经元一对一地存储定义;概念和神经元是多对多的关系：一个概念可以用多个神经元共同定义表达，同时一个神经元也可以参与多个不同概念的表达。
　　举个最简单的例子。一辆 “大白卡车”，如果分布式地表达，一个神经元代表大小，一个神经元代表颜色，第三个神经元代表车的类别。三个神经元同时激活时，就可以准确描述我们要表达的物体。
　　分布式表征和传统的局部表征 (localized representation) 相比，存储效率高很多。线性增加的神经元数目，可以表达指数级增加的大量不同概念。
　　分布式表征的另一个优点是，即使局部出现硬件故障，信息的表达不会受到根本性的破坏。
　　这个理念让 Hinton 顿悟，使他四十多年来，一直在神经网络研究的领域里坚持下来没有退缩。
　　本科毕业后，Hinton 选择继续在爱丁堡大学读研，把人工智能作为自己的博士研究方向。
　　周围的一些朋友对此颇为不解。“你疯了吗? 为什么浪费时间在这些东西上? 这 (神经网络) 早就被证明是扯淡的东西了。”
　　Hinton 1978 年在爱丁堡获得博士学位后，来到美国继续他的研究工作。
　　神经网络当年被 Minsky 诟病的问题之一是巨大的计算量。
　　简单说，传统的感知器用所谓 “梯度下降”的算法纠错时，耗费的计算量和神经元数目的平方成正比。当神经元数目增多，庞大的计算量是当时的硬件无法胜任的。
　　1986年 七月，Hinton 和 David Rumelhart 合作在自然杂志上发表论文， “Learning Representations by Back-propagating errors”，第一次系统简洁地阐述反向传播算法在神经网络模型上的应用。
　　反向传播算法，把纠错的运算量下降到只和神经元数目本身成正比。
　　反向传播算法，通过在神经网络里增加一个所谓隐层 (hidden layer)，同时也解决了感知器无法解决异或门 (XOR gate) 的难题。
　　使用了反向传播算法的神经网络，在做诸如形状识别之类的简单工作时，效率比感知器大大提高。
　　八十年代末计算机的运行速度，也比二十年前高了几个数量级。
　　神经网络的研究开始复苏。
　　Yann Lecun (我给他取个中文名叫 “严乐春”吧) 1960年 出生于巴黎。1987年 在法国获得博士学位后，他曾追随 Hinton 教授到多伦多大学做了一年博士后的工作，随后搬到新泽西州的贝尔实验室继续研究工作。
　　在贝尔实验室，严乐春 1989年 发表了论文， “反向传播算法在手写邮政编码上的应用”。他用美国邮政系统提供的近万个手写数字的样本来培训神经网络系统，培训好的系统在独立的测试样本中， 错误率只有 5%。
　　严乐春进一步运用一种叫做“卷积神经网络” (Convoluted Neural Networks) 的技术，开发出商业软件用于读取银行支票上的手写数字，，这个支票识别系统在九十年代末占据了美国接近 20%的市场。
　　此时就在贝尔实验室，严乐春临近办公室的一个同事的工作，又把神经网络的研究带入第二个寒冬。
　　Vladmir Vapnik，1936年 出生于前苏联，90年 移民到美国，在贝尔实验室做研究。
　　早在 1963年，Vapnik 就提出了 支持向量机 (Support Vector Machine) 的算法。支持向量机，是一种精巧的分类算法。
　　除了基本的线性分类外，在数据样本线性不可分的时候，SVM 使用所谓 “核机制” (kernel trick) 的非线性映射算法，将线性不可分的样本转化到高维特征空间 (high-dimensional feature space)，使其线性可分。
　　SVM，作为一种分类算法，九十年代初开始，在图像和语音识别上找到了广泛的用途。
　　在贝尔实验室的走廊上，严乐春和 Vapnik 常常就 (深度) 神经网络和 SVM 两种技术的优缺点，展开热烈的讨论。
　　Vapnik 的观点是：SVM，非常精巧地在 “容量调节” (Capacity Control) 上 选择一个合适的平衡点，而这是神经网络不擅长的。
　　什么是 “容量调节”? 举个简单的例子：如果算法容量太大，就像一个记忆力极为精准的植物学家，当她看到一颗新的树的时候，由于这棵树的叶子和她以前看到的树的叶子数目不一样，所以她判断这不是树;如果算法容量太小，就像一个懒惰的植物学家，只要看到绿色的东西都把它叫做树。
　　严乐春的观点是：用有限的计算能力，解决高度复杂的问题，比“容量调节”更重要。支持向量机，虽然算法精巧，但本质就是一个双层神经网络系统。它的最大的局限性，在于其“核机制”的选择。当图像识别技术需要忽略一些噪音信号时，卷积神经网络的技术，计算效率就比 SVM 高的多。
　　在手写邮政编码的识别问题上，SVM 的技术不断进步，1998年 就把错误率降到低于 0.8%，2002年 最低达到了 0.56%，这远远超越同期传统神经网络算法的表现。
　　神经网络的计算，在实践中还有另外两个主要问题：
　　第一，算法经常停止于局部最优解，而不是全球最优解。这好比“只见树木，不见森林”。
　　第二，算法的培训，时间过长时，会出现过度拟合 (overfit)，把噪音当做有效信号。
随笔 - 128