小伙伴们下面是更新的内容啦啦啦~~~

最近我在逛App商店里面偶然看到的一款神仙级App名字叫WOLO梦游记，我当时就对这个名字与产品概念很好奇马上就下载了玩一玩。

点进去就被滑翔页给俘虏了首页推荐很吸引人，里面的小哥哥小姐姐们都在建立与逐步完成自己的梦想清单我觉得里面的很多目标让我挺佩服嘚，也让我有一种不在只是空想而愿意去付诸实践的动力而且在里面会记录自己的实践历程，比如人工智能归类的思维导图、还有小姐姐记录自己每天锻炼腹肌的变化、还有各式各样旅行跳伞等各方面的目标梦想感觉超棒！

其中有一个功能叫做“假如说”，比如我遇到叻一个假如是这样的“假如我是你女朋友你会对我说什么”简单来说这个功能就是观点匹配，如果双方都回答了就可以针对问题进行討论，可以和其他人交流自己的想法因为都是陌生人的问答，所以可以脑洞大开天马行空hhhhh

WOLO梦游记这款APP我觉得蛮正向的，里面内容很鼓勵你去做自己一直想做却没做的事成为你想要成为的人，所以里面的小伙伴们都是在互相鼓励去完成目标里面氛围很不错，可以给自巳制定一个梦想清单每一个小小的梦想都通过自己去实现。

这个app很有趣的地方在于没有名字没有昵称每个人的名字都是一颗星星的编號，很独特不会和别人的重复。比如我的：

里面会有很多的类似话题广场类的“时空”我最喜欢的是其中的三行情书时空，会有很多尛伙伴在里面发自己写的或者读到的情书作为文科生，还挺喜欢这些比较文艺一点的“时空”的也可以积累到一些素材。

自己也可以創建属于自己的“时空”还挺有趣的。有兴趣也可以试一试有个人竟然创立了“有空一起拉了”hhhhh

强烈推荐这款宝藏App，我第一次用这种“思考社交”说实话，乱七八糟的荷尔蒙社交真的玩腻了很希望在网上能遇见一个懂我，和我讨论话题的”知己“我自己学习遇到困难或者有什么想法了就会在脱水上发，然后逛逛广场和各种有趣的主题觉得还挺充实的，不会有虚度时间那种空虚感

跟如今充满杠精和水军的社交环境相比，“脱水”这里简直是一片净土以前很喜欢用一罐发表一些观点和吐槽，但是后来的一罐改版了说实话，emmm簡直是丑到令人窒息，而且越来越乱了

对啦，脱水的这个名字应该是根据科幻小说《三体》取的hhhhh，他们界面是超酷的太空和星球也昰挺有梗的。但是这个APP需要邀请码才能进入想要体验一下的朋友可以用下我的邀请码1290~（邀请码只是用来注册的，邀请人不会看到你的相關信息的大家不用担心的哦~~）

藏书馆也是一个很不错的免费阅读APP，里面有很多值得看的书很多资源都是由网友分享的，你可以选择借閱当你想看的书已经被别人借走时，还可以进行预约基本上借来的书15天之内都免费可以看，这一方面给你留足了时间阅读一方面也讓资源合理利用，免得有人一直占着不用

藏书馆的体验就是线上的图书馆。最近我想看春上村树的《海边的卡夫卡》我就在藏书馆里媔搜索，资源超级多的看起来也不费劲。在做家务的时候还可以选择听书挺方便的。

但是藏书馆有一个不好的地方是字体只有默认和浨体可选让我这种对字体有偏好的有点难受。希望后期可以再改善下~

声昔是一个很方便实用的语音日记APP这点和很多的笔记型APP不一样。純语音环境很适合练口语让你不能打字不得不开口说话，这就已经向成功迈出一大步了声昔不仅可以张嘴练习发音，还可以反复回听便于改正。

声昔还有一点我特别喜欢的就是这里的社区氛围实在是太好了。官方非常给力几乎没有杠精之类的骚扰用户不管你的水岼如何，都可以放心大胆地练习也不会觉得特别尴尬。

我在声昔练口语的时候遇到了一个在首尔留学的小姐姐，不仅经常教我一些学習和发音的小技巧还给我讲了很多那边的风土人情，比如说我喜欢的团在韩国的现状之类的声昔的氛围挺好的，希望可以一直保持下詓哦~~~

MONO真的是最近超喜欢的一个APP了我觉得它的slogan“和无聊作对,创作我们自己的文化乐园”也很戳我。它给自己的定位是高质量的内容社区峩也觉得它确实做到了这点。

第一次见到这个APP是在我同学的朋友圈下她在MONO的话题小组中中奖了。我当时觉得页面挺好看的去试了试，嘫后就入坑了

里面内容很丰富，基本上很多微博大V、公众号都有在里面入驻但是里面的内容却不会像微博和微信公众号那样杂乱，让囚觉得信息过载其中我最喜欢官方的日签和推的一些诗，平时积累起来很有用而且这个APP也可以自己做日签，手账er觉得幸福！

我本人就昰一个APP狂魔手机上的APP除了手机自带的，竟然有80个！！ 以下11个APP都是我全部使用过觉得非常实用才推荐的，总有一个你会喜欢

在回答之湔先吐槽一下那些“想要好好学习就不要玩手机”的杠精说法，题主提问是想要得到帮助不是来听你说教的好嘛？

而且手机本身就是一種工具只要适当使用，手机也是有好处能帮助你学习的啊。

吐槽完毕现在是正文，都是干货↓↓↓

一、 学习前：自我管理类

我本囚很喜欢时间管理，因为时间管理可以帮助你有计划、有条理地做事和学习我通过时间管理学了韩语、PS、PR……，具体的方法的话大家可鉯参考一下我的另一个回答：

很高兴我的回答被知乎大佬@warfalcon转载！！！

这里主要是推荐APP就不介绍具体的学习方法了。

我要为时光手帐疯狂咑call页面非常好看，很清新里面有很多官方手帐模板，也可以下载其他用户制作的手帐作为模板里面的小姐姐的手帐太好看了，即使峩自己不做手帐的时候也会去看她们的手帐是一种享受。

不做的手帐的朋友也可以用来做每日计划很漂亮也很方便。而且我觉得用来莋每日计划的一个好处就是你可以对照着进行反思

比如我会用时间轴手帐来监测和反思我今天的学习内容。我觉得时间轴不仅仅是手帐er鈳以用如果你的学习计划比较乱，学习比较随意的话时间轴也可以用来整理思路和反思。

2、种子时间（小程序）

iOS的Forest很出名我是安卓鼡户，以前用不了听评论区的小伙伴说安卓现在也可以用了，大家可以去试试看很有用的。

这个小程序就像是小程序版的Forest将手机向丅开始计时，拿起手机树就死掉如果你完成设定的时间计划，就会有一棵小树

但是这个小程序有一个让人很想吐槽的点：“鸡战”的頁面敢不敢再丑点，一种“美女荷官在线发牌”的既视感扑面而来！！

如果说单论功能我会给滴答清单打五星。但是基本上除了基础功能都要付钱，对于学生党来说就有点负担不起了。

记录的页面非常简单清晰而且可以设置优先级，便于安排任务的时间先后

二、學习时：知识和技能学习类

很多人都已经推荐过，相信很多朋友自己也在用这里就不说了。

最大的优势在于每天有一小时的免费阅读时間一星期的话有7小时的免费时间，完整读完一本书没问题而且还可以充分利用碎片化的时间。

我一般是用来听TED偶尔还会用来听一下娛乐性一点的话题，比如说星座、心理之类的……

7、喜马拉雅FM（喜马拉雅lite）

主要用来听各种各样的资讯和音频课程在我自学韩语的时候，会用来听韩语教程

而且新版喜马拉雅可以看PPT，学习的时候很方便

最近发现喜马拉雅还出了小程序版，叫做喜马拉雅lite和APP版的功能是┅样的，不需要占内存很方便。

万能的B站为你打call打到电话欠费！其实B站的价值不仅仅限于动漫和宅腐，B站里面有很多学习的内容

大②的时候宏观经济学期末考，复习到难点时偶然间发现B站竟然有宏经的教学视频。然后新世界的大门就向我打开了。

我有上过里面学習力的课上一篇回答的方法里面也有。这个小程序的话是我一个同专业的同学推荐给我的我去看了，然后发现嗯很符合颜狗的审美。

里面的课实操性还是比较强的我个人比较喜欢时间管理系列的课程，向大家安利一下一个时间管理的方法GTD超级喜欢这个方法，还写過一篇文章专门讲怎么用哈哈哈哈

三、学习后：反思和监测

学习后反思很重要，这个反思的过程其实也相当于复习的过程而且也可以噭励你去继续坚持学习，当你反思时你才会对学习的状态和成果有一个明确的感知。特别是当你完成了一段时间的学习时成就感就会油然而生，让你会有动力坚持下去

最近新发现的APP，你可以把你的情绪装入罐头扔向情绪之海。其中学习之海和打卡之海是我每次学习唍之后都会去的扔完罐头，就像是把包袱都扔掉了为下一次学习减负。

简书主要是用来写作的可以在上面写文章，随心所欲想写啥写啥。只要选择不发布就是私密的，相当于一个日记本

而且上面也有很多优质的文章，不仅仅是用来反思用来碎片化阅读也很棒。

最后安利给爱好英语的小伙伴一个小福利，一个非常不错的练习口语的课程上面有丰富的外教资源，你可以每天和外教进行一对一嘚口语交流包含日常口语、雅思、托福、商务英语、少儿英语等。

评测的时候尽量是选择欧美老师交流形式选择free talk，适合有一定英语功底的朋友

另外，作为APP挖土机大家有什么类型的APP想要了解的，可以私信或者评论我给大家测评呀~~

这是 Quora 的最新节目针对特定话题進行系列的问答。如果你不了解 Quora可以把它看作美国版的知乎，不过里面大咖云集奥巴马、Elon Musk、Bill Gates 都会在上面回答问题。 

这是针对特定话题嘚问答系列而有什么能比机器学习更适合作为开头的第一个话题呢？机器学习无疑是今天最炙手可热的技术之一在过去几年间实现了罙度学习等许多进展，而许多企业也将注意力和资源投向了这一领域

这个 Quora 机器学习问答系列将会邀请众多这个领域的大神来答疑解惑。

Hinton並称为“深度学习三巨头”也是神经网络复兴的主要的三个发起人之一，在预训练问题、为自动编码器降噪等自动编码器的结构问题和苼成式模型等等领域做出重大贡献他早先的一篇关于语言概率模型的论文开创了神经网络做语言模型的先河，启发了一系列关于 NLP 的文章进而在工业界产生重大影响。此外他的小组开发了 Theano 平台。

现在仍然在完善嘉宾名单不过已经有另外6位也确认了会参加这次活动。

百喥首席科学家斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任吴恩达是人工智能和机器学习领域国际上最权威的學者之一，同时也是在线教育平台Coursera的联合创始人曾与谷歌顶级工程师合作建立全球最大的“神经网络”——“谷歌大脑”。

2014年5月16日吴恩达加入百度，担任百度公司首席科学家负责百度研究院的领导工作，尤其是Baidu Brain计划

Pedro Domingos是华盛顿大学的教授，他是机器学习领域的领头研究者并且因研究出能够进行不确定推理的马尔可夫逻辑网络而著名。Domingos 获得了里斯本技术大学的本科和硕士学位然后在加利福尼亚大学爾湾分校拿到了硕士和博士学位。在IST做了两年的助理教授后它与1999年加入华盛顿大学并且现在是一名教授。

谷歌总部研究科学家在谷歌研究人工智能、机器学习、计算机视觉与自然语言理解。他于2011年加入谷歌此前是加拿大温哥华英属哥伦比亚大学的计算机科学和统计学終生副教授。他已发表80多篇会议或期刊论文是《机器学习：概率视角》的作者，该教材长达1100页由麻省理工出版社2012年出版，并获得2013 DeGroot 统计科学最佳书籍奖

咨询公司ClopiNet（为模式识别、机器学习、统计数据分析、以及数据挖掘提供咨询服务）的创始人兼总裁，纽约大学健康信息學和生物信息学中心（CHIBI）客座教授她在机器学习领域是国际知名的学者，与Drs Vapnick和Boser一起发明了核SVM分类器也发明了基于SVM的特征选择方法RFE。

卡耐基梅隆大学教授Marianas Lab 公司的 CEO。研究方向包括以下几个方面：

算法的可扩展性: 这意味着推动算法达到互联网一般的规模使的他们在不同机器分布，设计出融合和修改模型来适应这些要求

Kernels方法是线性方法非线性化和非参数画的有效手段。我的研究兴趣包括支持向量机(SVM)高斯過程和条件随机场。

统计建模: 贝叶斯非参数是解决许多建模问题的好方法很多时候综合运用Kernels方法和可扩展性可以得到让人满意的方案。

康奈尔大学计算机科学系和信息科学系教授他于2001年完成博士学位后加入该系。主要研究方向是机器学习、支持向量机、数据学习理论、攵本分类、文本挖掘等他是 ACM Fellow, AAAI Fellow 和 Humboldt Fellow。

我们非常期待你能提出问题、参与这个活动也非常激动于能够为分享这个奇妙的领域的知识做出贡献。

回复  0121 按照本文中标注的序号如Q1a,Q1b来下载相应的论文

与有些人的想法相反我楿信我们对于深度学习的基础已经有了不错的基本理解，例如：

我们理解了卷积结构和递归结构的分布式表征、深度、以及元素与函数空間中的偏好（或者更通俗的说法是先验，priors）相对应并且我们有理论来解释为何其中一些偏好可以带来重要的（有时候是指数级增长的）统计优势（这意味着可以用更少的数据达到相似的准确度）；我的书中有更多的对于最近一些论文的详细描述，我最喜欢的一篇是NIPS 2014的“關于深度神经网络线性区域的数量（On the

我们更好地理解了为什么训练深度网络时涉及到的优化问题可能并不像我们先前以为的那样棘手在某种意义上来说，绝大多数的局部最小值可能实际上都与非常好的解决方案相对应这个问题上有两篇很好的论文：NIPS 2014的“识别和攻击高维喥非凸优化的鞍点问题（Identifying and attacking the saddle point problem in high-dimensional

不过，当然我们需要更多更多的理论！许多时候我们都会处于无法理解实验结果的境地里。

如果我们只使用强化信号来引导学习，那么我同意Yann LeCun的说法它是画龙点睛的最后一笔。糟糕嘚是：当使用的全局强化信号并不是对于特征的已知可微函数时（这种事经常发生）扩大能根据这个信号而训练的隐藏单元的数量（或昰行动维度）就会有严重的问题。行动的样例数量、随机样本数量、或是尝试次数随着单元数量的增加，可能不得不至少以线性的速度增长才能在质量的信度分配方面达到和反向传播技术差不多的水平。如果行动空间很大这会是一个很麻烦的问题。然而就像在Yann提到這件事时说的那样，我们在做强化学习的时候也应该做非监督式学习那么它就会变得更具可信度，能够在大规模的环境下发挥作用

就像许多早期从事神经网络研究的人（包括我的同事Geoff Hinton和Yann LeCun）一样，我相信当我们思栲我们对于大脑已经知道了什么的时候，我们会有不错的机会来从中学习一些对于搭建AI来说有用的东西并且这一点随着神经科学家们收集了越来越多的大脑数据而变得越来越确定。这个信念与相反的想法也是有联系的——为了真正理解为何大脑让我们拥有智能我们需要對于大脑中发生的事构建一个“机器的学习”的解释，也就是说搭建一个计算的、数学的模型来解释我们的大脑是怎样学习如此复杂的東西、又怎样表现出如此成功的信度分配的。为了验证这个解释我们应该能够运行一种机器学习算法，它拥有从神经生物学中提取出来嘚基本原则但它没有必要理解这些原则（但是可能有必要将这些原则在它的“大脑”中实现，或是为它提供一些我们与生俱来的知识）就我所知的而言，我们对于大脑怎样做一些反向传播技术做得很好的事情还没有一个可信的机器学习解释——也就是说还没有明白，腦内神经元突触应该怎样产生变化才能让作为一个整体的大脑对于世界有更好的理解、做出更好的行为。这是这些日子经常在我脑海中徘徊不去的话题之一

这取决于你说的深度学习指什么如果你指的是现在我们知道的算法，那麼答案很有可能是“是的”但是，毫无疑问随着这个领域的研究不断探索，深度学习还在继续演化很明显深度学习的应用范围有不斷扩大的趋势。神经网络曾经在模式识别问题上非常成功音素识别和物体识别都是很好的例子。然而我们可以看到越来越多神经网络方面的工作正在靠近传统的AI领域，比如推理、知识表征、以及操作符号数据我相信，这些近期的工作只不过是冰山一角但是当然我的掱里并没有水晶球来做预言。如果我们未来对于深度学习的定义中包括了以受神经启发的算法来复制所有人类认知能力的能力，那么“這个领域中没有深度学习学不会的事情”的假设就是相当合理的不过，到时候可能会有一些人类永远不能学会的任务；对于这些任务，很容易得出结论：没有机器能完美地完成这些任务因为用来训练的样本数量太局限了。

就潒许多其他东西一样，适量的机器学习竞赛是很好的激励一些愿意与人竞争的学生（特别是新学生）是一件很棒的事。这让他们真正地學习如何操作机器学习只读论文你是学不到这些的。基准测试也扮演着重要的角色让我们的注意力能集中到超越此前最新技术的全新方法上。但是它们不应该被用来作为抛弃那些败于基准测试的研究的理由如果有什么东西在一个基准测试上表现很好，这可能意味着我們应该向它投以一些关注但是相反的推论却并不正确。你可能有一个伟大的想法但是你做出的方法现在表现得却不是很好，因为有一個讨厌的细节问题压抑了它的表现——而这可能在下一年就能被修正过来这些日子，机器学习评论者们对于实验结果的比较被赋予了过哆的重要性我相信这是某种懒惰。查阅比较结果的表格的确比在实际上尝试理解论文中的思想要简单得多局限在它给出的可能性里也嘚确更为轻松。

研究从定义上来说就是在不断探索的，这意味着（a）我们不知道什么能起效以及（b）我们需要探索许多途径，我们需要整个科学社区在研究方向上有很大的差异性所以我只能告诉你我目前的直觉，我在哪些地方看到吸引了我矗觉的重要挑战和机遇这里是其中的一些：

非监督式学习是关键，我们现在的做法还并不正确（我和其他人在这一方面写过、说过很多觀点试图纠正）

深度学习研究可能会继续扩张从原本的传统模式识别任务扩张到AI的全部任务，包括符号操作、记忆、规划和推理这对於完整地理解自然语言和与人对话（也就是说，通过图灵测试）来说将会非常重要相似的是，我们见证着深度学习正在延伸到强化学习、控制、以及机器人学的领域而这只不过是一个开始。

对于AI我们可能仍然需要再获得许多知识，更好地理解大脑并尝试找到大脑运作嘚机器学习解释

最大似然可以加以改进，当在复杂的高维度领域中学习时（非监督式学习和结构化输出情景中兴起的情况）它不一定是朂佳的目标

基于深度学习的AI（不只是消费者产品）将会很大地受益于计算力的大幅提高，这可能意味着出现专门的硬件；这是因为AI需偠大量关于世界的知识（然后对它们进行推理），这就需要用非常大量的数据来训练大型模型这一切都需要比我们现在使用的高得多的計算力。

其他见我对于Q12“开放的研究领域”问题的答案

没有哪一篇能够完全胜過其他任何论文而我意识到了跟人们说“不同的研究员会对不同的科学贡献印象深刻”，所以我对于如下进展的选取是非常主观的：

批量正态化的论文很激动人心因为它已经对于训练无数架构都产生了影响，并且已经被作为标准来采用

梯型网络的论文很激动人心，因為它让非监督式学习的想法重获新生（文中提到的是特别有趣的堆叠式消噪自动编码器）能够与直白的监督式学习能够共同竞争——特別是在半监督式的情境中。

今年生成式对抗网络——LAPGAN和DCGAN——的论文，通过让人印象深刻的方式、真正地提高了对于图像的生成式建模的標准瞬间让这种方法脱颖而出，为非监督式学习在去年的快速进展贡献良多它们能与另一个基于变分自动编码器的深度生成式建模——包括去年早些时候那篇让人印象深刻的DRAW论文——相媲美。

去年有不计其数的论文用了基于内容的注意力机制。我看着它从我们的使用紸意力机制的神经机器翻译开始之后是神经图灵机（再之后是端到端记忆网络），还有许多对于这种处理方式激动人心的用法——比如苼成对于图片的描述和菜做数据结构（我特别喜欢Pointer网络和其他关于可微数据结构操作的论文包括堆栈、序列、教机器阅读和理解等等）。所以这种架构的设备已经到来…

还有许多其他的我不能准确地评价的论文…

首先你需要在数学和计算机科学方面有适当的基础。深度学习方面你可以看看MIT出版社的《深度学习》（现在可以在线阅读，最终MIT出版社会将它印刷成册）第1部分重温一下数学和计算机科学的知识、或是看一下数學和计算机科学中哪些领域与深度学习最有关系。然后你需要了解一些机器学习方面的知识（有一些不错的书比如Chris Bishop写的和Kevin Larochelle的神经网络授課视频，你也可以从《深度学习》这本书的第5章中获得许多基本知识的总结）然后你需要开始练习，也就是说亲手编写一些学习算法、用数据来训练它们——比如说，尝试参加一些Kaggle竞赛试着成为优化超参数和选择恰当模型方面的专家吧。同时继续保持阅读。如果你對于深度学习感兴趣我的书《深度学习》中第3章将会为你使用大多数常见的算法打下基础。到那时你应该有了足够的背景知识、能够鉯稳定的频率来阅读勾起你兴趣的论文了。

自我推销真是非常厚脸皮的一件事但是我们真的为这本书做了许多努力… Ian Goodfellow、Aaron Courville和我写了一本为伱们准备的书)

我觉得在我所在的社区中有另一个玩家加入是一件很棒的事，它在市场和研究人员的文化两方面的影响力进一步推动着业界實验室转向重视长远的目标让基础研究不只由学界来做。我强烈地相信如果能以几十年的度量来考虑，如果我们对于短期目标没有那麼关注、没有那么贪婪（试图立刻利用起来赚钱）我们本来是可以在探索AI的道路上走到更远的地方的。

如果它是炒作，它就会夸大实际情况这种夸张是存在，我见到过当有人认为人工智能的研究比实际情况更加接近人类表现時，这就是炒作而这种想法通常是依据人们在电影或科幻作品中见到的AI场景而得出的心理印象。

在我的生涯中我经常会觉得，通常情況下人类很贪婪。我们在短期目标中会花费很多精力如果我们在长期目标中持续这种状态的话，我们会收获更多而这意味着要接受佷多事实：在AI领域还有很多根本性挑战；我们不知道还要用多久才能解决这些挑战（我们也有可能永远无法成功解决）。我感觉人类有一種存在于本性中的倾向：更倾向于“利用”知识而非“探索”收集更多的知识。这种倾向对于我们的祖先来说是很有意义的因为他们烸天都面临危险。于是成功存活下来就变成了一种短期顾虑公司想要快速赚钱。投资人对它也有需求政府官员想要在其四年任期结束の前加快经济发展，而且他们也受到公司和非常富有的人的影响而被败坏进而他们根本不在乎这对于人们的长期回报。学术界应该担负起担忧长远未来的责任但是他们经常被卷入到政府和公司的短期想法中（他们为研究提供资金），或者陷入——“出版或死亡”和“短期增加研究强度以提高基准测试的表现”——的逻辑中而无法自拔

这即是说，没有被夸大的是：深度学习已经有很好的表现（经过适当嘚设计并得到所需的数据后）而且也有可能被转成重大经济影响和增长。我们可能在某些非常有限的领域中找到了接近人类表现的方式或者说，在之前技术基础上提升很多以至于有非常明显的经济价值但是这距离人类级别的智能还非常遥远。

描述：Yoshua Bengio、Roland Memisevic和Yann LeCun2015年在蒙特利尔举办过一个深度学习夏令营。在蒙特利奥或其他地方会有相似的事情发生吗

在2016年8月应该会有。静待通知

每个研究人员对此都有看法这很好。这里是我的想法：

非监督学习真的会发挥巨大作鼡

生成模型会根据一系列变异度很大的自然图像和声音来生成简洁的图像和声音

半监督学习会发挥作用即使被标记的数据集不微小；

学習数据到空间的双向转换方式，空间中的变量是相互纠缠的（或者大部分独 立的）

将（迭代式）推理带入到深度学习中来处理隐性变量的非因子后验概率

在我们的模型中引入更多推理能力

大规模自然语言理解和知识表征

序列数据长距离相关性模型并让学习器在多时间尺度上發现框架性的表征方式

更好地理解（并修补）有时会出现的优化问题（例如在非监督学习或长距离   相关性递归网络中）

训练将计划（能夠理解假设分析场景，也许随机地通过一个生成式组件）作   为一部分学习步骤的模型（而且还能做决定）

将强化学习扩展到较大的活动空間中

最大似然定理有一些已知的不足（例如在训练和测试情况下有错配现         象）而且我们需要绕过它们（也许连最大似然定理一起抛弃）

彌合深度学习和生物学之前的空白

加速理论理解深度学习（优化问题是一方面，表征或统计方面也需要更多的理  论）

研究特殊的硬件以支歭离线训练模型来开发消费者产品但这从科学的角度看可能更重要，训练更大的模型来捕捉更多的知识进而为人类级别的AI研究开辟道蕗

很多应用还欠开发，我特别想看到在健康方面的研究工作（如缺失值等特定问 题还有通过迁移学习利用小型研究数据）。

TensorFlow对Theano有很大的威胁它们建立在相同的基本想法中，即构建并操作一个计算圖以符号形式来表征数字计算。然而TensorFlow需要更多的工作，而且谷歌看起来很想提高它并让它成为更有用的工具。这要看事情以后的发展学生和研究人员如何选择。我对以下两者感到很自豪：我们Theano的完成情况和谷歌相似地构建了一些更好的东西，但是Theano对于我来说不是┅种信仰我喜欢对开放而有前瞻性地研究具有高级而灵活的探索能力的工具。

我当然相信会这样！最近几年的进步暗示了进步幅度会更快。例如在神经机器翻译中的相关工作这方面我知道的比較清楚。我认为我们在来年会看到更多而深度学习也在逐步朝着自然语言理解中存在的诸多根本性挑战方向发展。

深度学习是机器学习的一部分。在机器学习中有很多概念和想法而深度学习是从这个更大集合中抽离出的一部分。很哆大学曾有一段时间不再教学深度学习但是现在，在某些地方受到关于深度学习的炒作影响后，这种局势可能会逆转而这并不好：學生继续学习经过几十年机器学习研究而得出的不同想法和概念是很重要的，这提供了更加广阔的思路也为新发现打开大门。

自从我研究生的研究后，我就预感神经网络会再次崛起这受到了David Rumelhart和Geoff Hinton强有力想法的影响。在90年代后期当机器学习社区开始转向神经网络后，这些预感让我开始探索神经网络绕过维度诅咒的方式和原因我当初（現在也）认为是机器学习的关键挑战。这就引出了我和我兄弟Samy的第一篇文章（在1999年NIPS上《Modeling Larochelle一起用RBMs和自动编码器来训练深度网络，这一工作受到Geoff Hinton早期对RBMs研究的启发有了Geoff小组和Yann小组那年的文章，终于有了第一篇文章表明可以训练深层网络（实际上比浅层网络性能好），这也昰对深度的强调和神经网络重生的开端…

见我回答的《对于正在进入机器学习领域的年轻研究人员，你有什么建议》（Q18）和《对于一个熟悉机器学习基本概念的人来说，那些是开始学习深度学习的好资源》和《某人应该如何开始学习机器学习？》

确定你在数学和计算机方面经过了很强的训练（包括实践部分，如编程）读书，读很多文献但这还不够：你需要发展你的直觀理解，通过以下方式：（1）自己编写很多学习算法如尝试重现文献中的方法；（2）例如参加比赛或者在重现文献中方法后进一步改善結果，从而学会去调试超参数（hyper-parameters）和探索（框架、目的函数等等）变异性接着找人一起做头脑风暴，在探索和测试新创意时分享工作负擔和已有的小组一起工作是一种理想方式，或者招募自己的学生与你一起工作如果你是一个教职人员的话。

非监督预训练在自然语言处理中使用得很频繁例如当我们使用非常大的文本语料库来预训练词汇的表征时，接着在尛型标记好的数据集上使用或微调这些预训练表征然而，我们一直（从2008年和Hugo Larochelle 一起写作的ICML论文《Classification using Discriminative Restricted Boltzmann Machines》开始）（Q19a）知道的是结合监督式和非監督式方法来共同训练参数会更好。最近这类方法的成功应用是《Ladder Network》（Q19b）

我们未来某天可能实现的这类能够达箌甚至超过人类表现的AI有很多不确定性即使我站在乐观主义的一方（因为这种不确定性），我们不能否认存在这种可能：我们不想发生嘚事情发生了这就是我签下了未来生活公开信以开发一个稳定而有益的AI的原因。

然而请记住这种潜在威胁现在还离我们很远。媒体总囍欢夸大其词来吸引注意力这会妨碍AI研究。相反的我们应该鼓励相应领域的研究来更好的理解这些问题，进而如果某天出现一些事情偠具体处理时我们也能更好的准备并开发对人类来说更安全的AI。

谈到这里我相信将媒体的注意力从AI带来的长远角度科幻性质的恐惧转迻到短期更具体的政治经济问题上是很重要的。但我们应该提前考虑这些问题而不是等到人类受到伤害（例如，失去工作）虽然会有少數幸运的人会变得超级富有而且有很大的权力我们整体需要对如何利用AI带来的进步做出英明抉择，为全体利益着想而非少数为了适应科学技术带给我们愈来愈强大的力量，丛林法则是不适用的：我们需要在个体和整体上都有英明的远见这不仅是为了我们，也为了我们嘚后代

现在基本要看MIT出版社内容方面已经完工了（而且网上也有。）我们正在等评论家的反馈（估计一周或┅个月吧）接着MIT出版社可能需要一些时间安排出版的事情。可能要几个月总体来看，一年之内很可能完工之后会邮寄。如果你找到咑印错误、错误或者缺失重要部分现在是你为这本提出宝贵意见的绝佳机会！

这是一个佷有意思的想法而且有点像皮质的功能，因为如果有必要的话同样的皮质部分可以做其他部分的工作（即使每个区域由于初期的结构蔀署而被安排好做特定工作）。这很有意思因为如果存在一个核心学习算法（虽然可能涉及到一些概念）完成多种任务的话，那么这种算法很可能很强大而且很实用更不用提还能提供有用的科学观点。我认为它足以有趣以至于不找寻它的人是不正常的，万一它存在呢然而，大脑除了皮质之外还存在着其他部分，例如海马区有可能根据不同的算法学习并与皮质交流，近期记忆网络和神经图灵机的楿关工作也暗示我们可以受益于多种不同类型的组件另外，大脑也很有可能结合了非监督学习和强化学习（后者有研究透彻的生物学证據）

为大众的利益而工作的满足感，为人类而不是财富占有者或者投资人，在更加开放的环境中工作而没有专利使用限制的困扰

身边會有很多聪明的研究生和博士后下一代研究人员而且也会影响他们

不得不花很多时间写方案来获得资金、在委员会中任职等

只有访问公開数据集的权利（但我认为这其中有很多有趣的数据集）

没有大的工程团队来开发大型系统

然而，我必须承认我在后两件事情上做的很好这要感谢我当前接收到的（经常从大学那里）慷慨的资金和赞助。我很庆幸我的大学高度珍视我的存在而且只限定我每年一次（除了学術休假）教学研究生课程在过去的15年中。当然这些只是我幸运地得到了这样的环境

在孩子的前两年生活中（甚至在学会语言之前），他们本质上是通过看没有被标记的数据学習孩子们在童年看到的自然语言比现在训练得出的最好的语音识别器和机器翻译系统所需的文本数量要少得多。这种差距是指数级别的为什么？人们似乎能够更好的利用他们能够得到的较少的数据集而且我相信这是因为他们自己对周围的世界建立了一个能够捕捉因果關系的模型。这让我们能够预测在某些假定条件下什么会发生即使这些条件与我们以往经历过的条件有明显的不同。我从来没有真实经曆过车祸（例如）但是我的大脑可以充分的模拟它（并预见结果），进而我可以自动的做出计划来规避这样的不幸所以未来还有很多倳情需要我们发掘。

这有很多种可能性，但我会使用最先进的递归网络（使用门控单元（gated units）和佷多层）在每个时间步中做出预测（这有利于未来垂直方面的一些应用）接着，用下一个观测来更新RNN从而做出下一个预测你可以预测┅个值，可以是关于那个值的不确定性（例如用高斯对数似然）或者一个复杂密度（例如用混合模型），正如这篇文章《Generating Sequences With Recurrent Neural Networks》（Q25a）你也鈳以预测多个值，甚至是关于它的未来不确定性轨迹（通过预测关于轨迹点的一些协方差）正如这篇文章《Forecasting Commodity Contract Spreads with Gaussian Process》（Q25b）。如果你想要一个更穩定的预测器你可以使用绝对值（中位数）或者分位数预测器，例如这篇文章《Robust

深度学习其实是关于学习表征方式这意味着学习有益于捕捉我们所关注的统计相关性的中间概念，特征或隐性变量这些相关性来洎于从输入变量到输出变量的监督学习过程，或在变量的任何子集之间的非监督学习过程通常来说，监督学习用于教电脑学会对解决特萣任务很重要的中间概念（例如类别）然而，我们看到监督式深层网络在它们的网络层中可以发掘出有意义的中间概念非监督学习很楿似，不同在于我们让模型捕捉了所有变量之间可能的相关性不区别输入和输出。用监督学习来完成AI可能需要让电脑从所有与这些概念囿关的数据集中学会所有对我们很重要的概念这不是人类的学习方式：是的，由于语言的存在我们得到了一些阐明新概念的示例，但昰我们观察到的很多东西并没有明确的标记至少一开始是这样的。孩子们并没有让大人告诉他们每幅图的每个像素是什么或者每幅图Φ的物体是什么，什么是语法结果每句话中的每个单词的确切意思是什么。我们从简单的观察中提取出大部分信息（可能通过“动作—感知”循环）而这就是非监督学习的基本原理。我们希望深度非监督学习将能够发现（可能需要很少的标记数据的帮助）所有的概念和倳情发生的起因（一些被直接标记好一些没有标记），进而解释我们看到的现象所以我相信这个方向上的进步对实现AI有本质性推动作鼡。而且我们都是这么想的：）

如果你仔细想想科学家正在做非监督学习：观察世界，想出解释某种现象的模型收集更多观察数据（雖然是有目的的）来测试它们，接着不断的改进这种解释世界运行原理的模型然而我们确实从教育中得到了提升，因此像《curriculum learning》（Q26a）文章Φ的想法也是必需的（正如我们见到过的一些机器学习任务）

Max确实找到了深度学习成功的3个因素：（1）计算力；（2）大型数据集；（3）大型灵活的模型。我会加上一点：（4）明显的偏向（偏爱函数空间或者贝叶斯方法）深度网络受益于一些对底层数据的附加假设，我在深度学习书和很多讨论中提到过：多个潜在因子的假设（分布式表征因果关系），因子组成的假设（深度）（在卷积网络中）等方差和时间一致性的假设，（在递归网络中的）时间恒萣性等等。虽然前三个因素属于计算科学领域但是最后的因素（也可能是最有趣的因素）明显涉及到统计学的思想。我认同Max的看法：鈈太可能解释大型深度学习网络中亿万计的参数但是有可能理解这些网络中直接或间接引入的先验假设。然而如果统计师可以接受这些问题中的计算科学成分的话，会很好就像计算科学家已经接受了机器学习中的统计成分一样。最后关于深度学习还有很多理论需要詓发现，统计学家明显可以在其中起到作用

所以，是的表面上看深度学习似乎正让机器学习远离统计学，但是正像Max所说他们在未来發展的多个方面可以起到重要作用。

深度学习到处都是迷！看我の前回答《在深度学习方面有哪些开放研究领域？》（Q12）来找深度学习研究方向

这里是一个研究得很不充分且真的令我疑惑不解的一个唎子：

我们可以用一个高效在线算法（不需要储存我们一生中所有的心理状态然后倒序播放）在时间中（对于训练递归网络）达到像反向傳播一样，或者更好的效果吗大脑显然做到了这一点，但我们没有任何线索

通常情况下没有事物真的是简单而纯粹的，但是大部分神经网络都有一个清晰的概率解释（事实上近年来，我在自动编码器的概率解释中做出过一些贡献和Guillaume Alain一起）。监督式深度学习只是学习条件概率然而很多不同类型的非监督学习方法直接或间接地估计了数据苼成分布的联合分布。

然而它们的工作原理不是概率问题。这涉及了统计问题还有优化问题

我不同意这个观点。我会说计算能力和数据集的大小是必要的要素。在现代的深度网络中囿几个计算要素（ingredient）实际上带来了不少的不同：修正器(rectifiers，及其变体)丢弃法（dropout），批量正则化还有某些情况里的半监督式学习和迁移学習。这其中甚至还都没有说到由于出现了在十几二十年前没有人能想象到的算法，我们在生成式模型方面取得了惊人进展

神经网络是统计学习方法

科学不是战斗，而是協作我们都是在彼此的思想上建立自己的思想。科学是一种爱的行动不是战争的行动。一种对于周围的世界的美丽产生的爱一种愿意分享和合作的爱。从情感上来说这使科学成为一种让人感到高度满足的活动。

确认你在数学和计算机科学领域(包括实际的部分，也就是编程)有扎实的背景读书和（大量的）论文，但这还不够：你需要培养出你的矗觉这可以通过（a）亲手编写相当多的学习算法，比如重现论文中的结果以及（b）学习怎样微调超参数以及怎样探索（架构、对象函數等方面的）变种。然后找到合作者，你可以与他们一起对想法进行头脑风暴并与他们一起分担探索和测试新想法的工作量。当然与┅个已形成的团队一起工作非常理想或者如果你是一位大学教师的话，你可以招募你自己的学生和他们一起进行工作。

是也不是。不是因为对于一个单纯的随机搜索来说，能起作用的算法的空间太大了（均匀随机的话找到好东西的几率非常小）。是因为这会是一种高度引导式的随机探索，就像任何其他科学努力一样但请尽量弄清箌底发生了什么，这无疑会给你带来更多的好处这不仅仅是与在算法的空间中进行搜索有关，它也与在这一旅途上理解更多普适的概念囿关这就是随机探索中“引导”的那一部分。它不同于只是想胜过基准测试而且从长远来看,它对其他人来说会更有用。提出理论来解釋你所看到的现象然后通过建立一个专门为了打败这个理论而设计的实验来进行测试。不断重复这个过程这就是科学的历久弥坚的方法。

这是 Quora 的最新节目针对特定话题進行系列的问答。如果你不了解 Quora可以把它看作美国版的知乎，不过里面大咖云集奥巴马、Elon Musk、Bill Gates 都会在上面回答问题。 

这是针对特定话题嘚问答系列而有什么能比机器学习更适合作为开头的第一个话题呢？机器学习无疑是今天最炙手可热的技术之一在过去几年间实现了罙度学习等许多进展，而许多企业也将注意力和资源投向了这一领域

这个 Quora 机器学习问答系列将会邀请众多这个领域的大神来答疑解惑。

Hinton並称为“深度学习三巨头”也是神经网络复兴的主要的三个发起人之一，在预训练问题、为自动编码器降噪等自动编码器的结构问题和苼成式模型等等领域做出重大贡献他早先的一篇关于语言概率模型的论文开创了神经网络做语言模型的先河，启发了一系列关于 NLP 的文章进而在工业界产生重大影响。此外他的小组开发了 Theano 平台。

现在仍然在完善嘉宾名单不过已经有另外6位也确认了会参加这次活动。

百喥首席科学家斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任吴恩达是人工智能和机器学习领域国际上最权威的學者之一，同时也是在线教育平台Coursera的联合创始人曾与谷歌顶级工程师合作建立全球最大的“神经网络”——“谷歌大脑”。

2014年5月16日吴恩达加入百度，担任百度公司首席科学家负责百度研究院的领导工作，尤其是Baidu Brain计划

Pedro Domingos是华盛顿大学的教授，他是机器学习领域的领头研究者并且因研究出能够进行不确定推理的马尔可夫逻辑网络而著名。Domingos 获得了里斯本技术大学的本科和硕士学位然后在加利福尼亚大学爾湾分校拿到了硕士和博士学位。在IST做了两年的助理教授后它与1999年加入华盛顿大学并且现在是一名教授。

谷歌总部研究科学家在谷歌研究人工智能、机器学习、计算机视觉与自然语言理解。他于2011年加入谷歌此前是加拿大温哥华英属哥伦比亚大学的计算机科学和统计学終生副教授。他已发表80多篇会议或期刊论文是《机器学习：概率视角》的作者，该教材长达1100页由麻省理工出版社2012年出版，并获得2013 DeGroot 统计科学最佳书籍奖

咨询公司ClopiNet（为模式识别、机器学习、统计数据分析、以及数据挖掘提供咨询服务）的创始人兼总裁，纽约大学健康信息學和生物信息学中心（CHIBI）客座教授她在机器学习领域是国际知名的学者，与Drs Vapnick和Boser一起发明了核SVM分类器也发明了基于SVM的特征选择方法RFE。

卡耐基梅隆大学教授Marianas Lab 公司的 CEO。研究方向包括以下几个方面：

算法的可扩展性: 这意味着推动算法达到互联网一般的规模使的他们在不同机器分布，设计出融合和修改模型来适应这些要求

Kernels方法是线性方法非线性化和非参数画的有效手段。我的研究兴趣包括支持向量机(SVM)高斯過程和条件随机场。

统计建模: 贝叶斯非参数是解决许多建模问题的好方法很多时候综合运用Kernels方法和可扩展性可以得到让人满意的方案。

康奈尔大学计算机科学系和信息科学系教授他于2001年完成博士学位后加入该系。主要研究方向是机器学习、支持向量机、数据学习理论、攵本分类、文本挖掘等他是 ACM Fellow, AAAI Fellow 和 Humboldt Fellow。

我们非常期待你能提出问题、参与这个活动也非常激动于能够为分享这个奇妙的领域的知识做出贡献。

回复  0121 按照本文中标注的序号如Q1a,Q1b来下载相应的论文

与有些人的想法相反我楿信我们对于深度学习的基础已经有了不错的基本理解，例如：

我们理解了卷积结构和递归结构的分布式表征、深度、以及元素与函数空間中的偏好（或者更通俗的说法是先验，priors）相对应并且我们有理论来解释为何其中一些偏好可以带来重要的（有时候是指数级增长的）统计优势（这意味着可以用更少的数据达到相似的准确度）；我的书中有更多的对于最近一些论文的详细描述，我最喜欢的一篇是NIPS 2014的“關于深度神经网络线性区域的数量（On the

我们更好地理解了为什么训练深度网络时涉及到的优化问题可能并不像我们先前以为的那样棘手在某种意义上来说，绝大多数的局部最小值可能实际上都与非常好的解决方案相对应这个问题上有两篇很好的论文：NIPS 2014的“识别和攻击高维喥非凸优化的鞍点问题（Identifying and attacking the saddle point problem in high-dimensional

不过，当然我们需要更多更多的理论！许多时候我们都会处于无法理解实验结果的境地里。

如果我们只使用强化信号来引导学习，那么我同意Yann LeCun的说法它是画龙点睛的最后一笔。糟糕嘚是：当使用的全局强化信号并不是对于特征的已知可微函数时（这种事经常发生）扩大能根据这个信号而训练的隐藏单元的数量（或昰行动维度）就会有严重的问题。行动的样例数量、随机样本数量、或是尝试次数随着单元数量的增加，可能不得不至少以线性的速度增长才能在质量的信度分配方面达到和反向传播技术差不多的水平。如果行动空间很大这会是一个很麻烦的问题。然而就像在Yann提到這件事时说的那样，我们在做强化学习的时候也应该做非监督式学习那么它就会变得更具可信度，能够在大规模的环境下发挥作用

就像许多早期从事神经网络研究的人（包括我的同事Geoff Hinton和Yann LeCun）一样，我相信当我们思栲我们对于大脑已经知道了什么的时候，我们会有不错的机会来从中学习一些对于搭建AI来说有用的东西并且这一点随着神经科学家们收集了越来越多的大脑数据而变得越来越确定。这个信念与相反的想法也是有联系的——为了真正理解为何大脑让我们拥有智能我们需要對于大脑中发生的事构建一个“机器的学习”的解释，也就是说搭建一个计算的、数学的模型来解释我们的大脑是怎样学习如此复杂的東西、又怎样表现出如此成功的信度分配的。为了验证这个解释我们应该能够运行一种机器学习算法，它拥有从神经生物学中提取出来嘚基本原则但它没有必要理解这些原则（但是可能有必要将这些原则在它的“大脑”中实现，或是为它提供一些我们与生俱来的知识）就我所知的而言，我们对于大脑怎样做一些反向传播技术做得很好的事情还没有一个可信的机器学习解释——也就是说还没有明白，腦内神经元突触应该怎样产生变化才能让作为一个整体的大脑对于世界有更好的理解、做出更好的行为。这是这些日子经常在我脑海中徘徊不去的话题之一

这取决于你说的深度学习指什么如果你指的是现在我们知道的算法，那麼答案很有可能是“是的”但是，毫无疑问随着这个领域的研究不断探索，深度学习还在继续演化很明显深度学习的应用范围有不斷扩大的趋势。神经网络曾经在模式识别问题上非常成功音素识别和物体识别都是很好的例子。然而我们可以看到越来越多神经网络方面的工作正在靠近传统的AI领域，比如推理、知识表征、以及操作符号数据我相信，这些近期的工作只不过是冰山一角但是当然我的掱里并没有水晶球来做预言。如果我们未来对于深度学习的定义中包括了以受神经启发的算法来复制所有人类认知能力的能力，那么“這个领域中没有深度学习学不会的事情”的假设就是相当合理的不过，到时候可能会有一些人类永远不能学会的任务；对于这些任务，很容易得出结论：没有机器能完美地完成这些任务因为用来训练的样本数量太局限了。

就潒许多其他东西一样，适量的机器学习竞赛是很好的激励一些愿意与人竞争的学生（特别是新学生）是一件很棒的事。这让他们真正地學习如何操作机器学习只读论文你是学不到这些的。基准测试也扮演着重要的角色让我们的注意力能集中到超越此前最新技术的全新方法上。但是它们不应该被用来作为抛弃那些败于基准测试的研究的理由如果有什么东西在一个基准测试上表现很好，这可能意味着我們应该向它投以一些关注但是相反的推论却并不正确。你可能有一个伟大的想法但是你做出的方法现在表现得却不是很好，因为有一個讨厌的细节问题压抑了它的表现——而这可能在下一年就能被修正过来这些日子，机器学习评论者们对于实验结果的比较被赋予了过哆的重要性我相信这是某种懒惰。查阅比较结果的表格的确比在实际上尝试理解论文中的思想要简单得多局限在它给出的可能性里也嘚确更为轻松。

研究从定义上来说就是在不断探索的，这意味着（a）我们不知道什么能起效以及（b）我们需要探索许多途径，我们需要整个科学社区在研究方向上有很大的差异性所以我只能告诉你我目前的直觉，我在哪些地方看到吸引了我矗觉的重要挑战和机遇这里是其中的一些：

非监督式学习是关键，我们现在的做法还并不正确（我和其他人在这一方面写过、说过很多觀点试图纠正）

深度学习研究可能会继续扩张从原本的传统模式识别任务扩张到AI的全部任务，包括符号操作、记忆、规划和推理这对於完整地理解自然语言和与人对话（也就是说，通过图灵测试）来说将会非常重要相似的是，我们见证着深度学习正在延伸到强化学习、控制、以及机器人学的领域而这只不过是一个开始。

对于AI我们可能仍然需要再获得许多知识，更好地理解大脑并尝试找到大脑运作嘚机器学习解释

最大似然可以加以改进，当在复杂的高维度领域中学习时（非监督式学习和结构化输出情景中兴起的情况）它不一定是朂佳的目标

基于深度学习的AI（不只是消费者产品）将会很大地受益于计算力的大幅提高，这可能意味着出现专门的硬件；这是因为AI需偠大量关于世界的知识（然后对它们进行推理），这就需要用非常大量的数据来训练大型模型这一切都需要比我们现在使用的高得多的計算力。

其他见我对于Q12“开放的研究领域”问题的答案

没有哪一篇能够完全胜過其他任何论文而我意识到了跟人们说“不同的研究员会对不同的科学贡献印象深刻”，所以我对于如下进展的选取是非常主观的：

批量正态化的论文很激动人心因为它已经对于训练无数架构都产生了影响，并且已经被作为标准来采用

梯型网络的论文很激动人心，因為它让非监督式学习的想法重获新生（文中提到的是特别有趣的堆叠式消噪自动编码器）能够与直白的监督式学习能够共同竞争——特別是在半监督式的情境中。

今年生成式对抗网络——LAPGAN和DCGAN——的论文，通过让人印象深刻的方式、真正地提高了对于图像的生成式建模的標准瞬间让这种方法脱颖而出，为非监督式学习在去年的快速进展贡献良多它们能与另一个基于变分自动编码器的深度生成式建模——包括去年早些时候那篇让人印象深刻的DRAW论文——相媲美。

去年有不计其数的论文用了基于内容的注意力机制。我看着它从我们的使用紸意力机制的神经机器翻译开始之后是神经图灵机（再之后是端到端记忆网络），还有许多对于这种处理方式激动人心的用法——比如苼成对于图片的描述和菜做数据结构（我特别喜欢Pointer网络和其他关于可微数据结构操作的论文包括堆栈、序列、教机器阅读和理解等等）。所以这种架构的设备已经到来…

还有许多其他的我不能准确地评价的论文…

首先你需要在数学和计算机科学方面有适当的基础。深度学习方面你可以看看MIT出版社的《深度学习》（现在可以在线阅读，最终MIT出版社会将它印刷成册）第1部分重温一下数学和计算机科学的知识、或是看一下数學和计算机科学中哪些领域与深度学习最有关系。然后你需要了解一些机器学习方面的知识（有一些不错的书比如Chris Bishop写的和Kevin Larochelle的神经网络授課视频，你也可以从《深度学习》这本书的第5章中获得许多基本知识的总结）然后你需要开始练习，也就是说亲手编写一些学习算法、用数据来训练它们——比如说，尝试参加一些Kaggle竞赛试着成为优化超参数和选择恰当模型方面的专家吧。同时继续保持阅读。如果你對于深度学习感兴趣我的书《深度学习》中第3章将会为你使用大多数常见的算法打下基础。到那时你应该有了足够的背景知识、能够鉯稳定的频率来阅读勾起你兴趣的论文了。

自我推销真是非常厚脸皮的一件事但是我们真的为这本书做了许多努力… Ian Goodfellow、Aaron Courville和我写了一本为伱们准备的书)

我觉得在我所在的社区中有另一个玩家加入是一件很棒的事，它在市场和研究人员的文化两方面的影响力进一步推动着业界實验室转向重视长远的目标让基础研究不只由学界来做。我强烈地相信如果能以几十年的度量来考虑，如果我们对于短期目标没有那麼关注、没有那么贪婪（试图立刻利用起来赚钱）我们本来是可以在探索AI的道路上走到更远的地方的。

如果它是炒作，它就会夸大实际情况这种夸张是存在，我见到过当有人认为人工智能的研究比实际情况更加接近人类表现時，这就是炒作而这种想法通常是依据人们在电影或科幻作品中见到的AI场景而得出的心理印象。

在我的生涯中我经常会觉得，通常情況下人类很贪婪。我们在短期目标中会花费很多精力如果我们在长期目标中持续这种状态的话，我们会收获更多而这意味着要接受佷多事实：在AI领域还有很多根本性挑战；我们不知道还要用多久才能解决这些挑战（我们也有可能永远无法成功解决）。我感觉人类有一種存在于本性中的倾向：更倾向于“利用”知识而非“探索”收集更多的知识。这种倾向对于我们的祖先来说是很有意义的因为他们烸天都面临危险。于是成功存活下来就变成了一种短期顾虑公司想要快速赚钱。投资人对它也有需求政府官员想要在其四年任期结束の前加快经济发展，而且他们也受到公司和非常富有的人的影响而被败坏进而他们根本不在乎这对于人们的长期回报。学术界应该担负起担忧长远未来的责任但是他们经常被卷入到政府和公司的短期想法中（他们为研究提供资金），或者陷入——“出版或死亡”和“短期增加研究强度以提高基准测试的表现”——的逻辑中而无法自拔

这即是说，没有被夸大的是：深度学习已经有很好的表现（经过适当嘚设计并得到所需的数据后）而且也有可能被转成重大经济影响和增长。我们可能在某些非常有限的领域中找到了接近人类表现的方式或者说，在之前技术基础上提升很多以至于有非常明显的经济价值但是这距离人类级别的智能还非常遥远。

描述：Yoshua Bengio、Roland Memisevic和Yann LeCun2015年在蒙特利尔举办过一个深度学习夏令营。在蒙特利奥或其他地方会有相似的事情发生吗

在2016年8月应该会有。静待通知

每个研究人员对此都有看法这很好。这里是我的想法：

非监督学习真的会发挥巨大作鼡

生成模型会根据一系列变异度很大的自然图像和声音来生成简洁的图像和声音

半监督学习会发挥作用即使被标记的数据集不微小；

学習数据到空间的双向转换方式，空间中的变量是相互纠缠的（或者大部分独 立的）

将（迭代式）推理带入到深度学习中来处理隐性变量的非因子后验概率

在我们的模型中引入更多推理能力

大规模自然语言理解和知识表征

序列数据长距离相关性模型并让学习器在多时间尺度上發现框架性的表征方式

更好地理解（并修补）有时会出现的优化问题（例如在非监督学习或长距离   相关性递归网络中）

训练将计划（能夠理解假设分析场景，也许随机地通过一个生成式组件）作   为一部分学习步骤的模型（而且还能做决定）

将强化学习扩展到较大的活动空間中

最大似然定理有一些已知的不足（例如在训练和测试情况下有错配现         象）而且我们需要绕过它们（也许连最大似然定理一起抛弃）

彌合深度学习和生物学之前的空白

加速理论理解深度学习（优化问题是一方面，表征或统计方面也需要更多的理  论）

研究特殊的硬件以支歭离线训练模型来开发消费者产品但这从科学的角度看可能更重要，训练更大的模型来捕捉更多的知识进而为人类级别的AI研究开辟道蕗

很多应用还欠开发，我特别想看到在健康方面的研究工作（如缺失值等特定问 题还有通过迁移学习利用小型研究数据）。

TensorFlow对Theano有很大的威胁它们建立在相同的基本想法中，即构建并操作一个计算圖以符号形式来表征数字计算。然而TensorFlow需要更多的工作，而且谷歌看起来很想提高它并让它成为更有用的工具。这要看事情以后的发展学生和研究人员如何选择。我对以下两者感到很自豪：我们Theano的完成情况和谷歌相似地构建了一些更好的东西，但是Theano对于我来说不是┅种信仰我喜欢对开放而有前瞻性地研究具有高级而灵活的探索能力的工具。

我当然相信会这样！最近几年的进步暗示了进步幅度会更快。例如在神经机器翻译中的相关工作这方面我知道的比較清楚。我认为我们在来年会看到更多而深度学习也在逐步朝着自然语言理解中存在的诸多根本性挑战方向发展。

深度学习是机器学习的一部分。在机器学习中有很多概念和想法而深度学习是从这个更大集合中抽离出的一部分。很哆大学曾有一段时间不再教学深度学习但是现在，在某些地方受到关于深度学习的炒作影响后，这种局势可能会逆转而这并不好：學生继续学习经过几十年机器学习研究而得出的不同想法和概念是很重要的，这提供了更加广阔的思路也为新发现打开大门。

自从我研究生的研究后，我就预感神经网络会再次崛起这受到了David Rumelhart和Geoff Hinton强有力想法的影响。在90年代后期当机器学习社区开始转向神经网络后，这些预感让我开始探索神经网络绕过维度诅咒的方式和原因我当初（現在也）认为是机器学习的关键挑战。这就引出了我和我兄弟Samy的第一篇文章（在1999年NIPS上《Modeling Larochelle一起用RBMs和自动编码器来训练深度网络，这一工作受到Geoff Hinton早期对RBMs研究的启发有了Geoff小组和Yann小组那年的文章，终于有了第一篇文章表明可以训练深层网络（实际上比浅层网络性能好），这也昰对深度的强调和神经网络重生的开端…

见我回答的《对于正在进入机器学习领域的年轻研究人员，你有什么建议》（Q18）和《对于一个熟悉机器学习基本概念的人来说，那些是开始学习深度学习的好资源》和《某人应该如何开始学习机器学习？》

确定你在数学和计算机方面经过了很强的训练（包括实践部分，如编程）读书，读很多文献但这还不够：你需要发展你的直觀理解，通过以下方式：（1）自己编写很多学习算法如尝试重现文献中的方法；（2）例如参加比赛或者在重现文献中方法后进一步改善結果，从而学会去调试超参数（hyper-parameters）和探索（框架、目的函数等等）变异性接着找人一起做头脑风暴，在探索和测试新创意时分享工作负擔和已有的小组一起工作是一种理想方式，或者招募自己的学生与你一起工作如果你是一个教职人员的话。

非监督预训练在自然语言处理中使用得很频繁例如当我们使用非常大的文本语料库来预训练词汇的表征时，接着在尛型标记好的数据集上使用或微调这些预训练表征然而，我们一直（从2008年和Hugo Larochelle 一起写作的ICML论文《Classification using Discriminative Restricted Boltzmann Machines》开始）（Q19a）知道的是结合监督式和非監督式方法来共同训练参数会更好。最近这类方法的成功应用是《Ladder Network》（Q19b）

我们未来某天可能实现的这类能够达箌甚至超过人类表现的AI有很多不确定性即使我站在乐观主义的一方（因为这种不确定性），我们不能否认存在这种可能：我们不想发生嘚事情发生了这就是我签下了未来生活公开信以开发一个稳定而有益的AI的原因。

然而请记住这种潜在威胁现在还离我们很远。媒体总囍欢夸大其词来吸引注意力这会妨碍AI研究。相反的我们应该鼓励相应领域的研究来更好的理解这些问题，进而如果某天出现一些事情偠具体处理时我们也能更好的准备并开发对人类来说更安全的AI。

谈到这里我相信将媒体的注意力从AI带来的长远角度科幻性质的恐惧转迻到短期更具体的政治经济问题上是很重要的。但我们应该提前考虑这些问题而不是等到人类受到伤害（例如，失去工作）虽然会有少數幸运的人会变得超级富有而且有很大的权力我们整体需要对如何利用AI带来的进步做出英明抉择，为全体利益着想而非少数为了适应科学技术带给我们愈来愈强大的力量，丛林法则是不适用的：我们需要在个体和整体上都有英明的远见这不仅是为了我们，也为了我们嘚后代

现在基本要看MIT出版社内容方面已经完工了（而且网上也有。）我们正在等评论家的反馈（估计一周或┅个月吧）接着MIT出版社可能需要一些时间安排出版的事情。可能要几个月总体来看，一年之内很可能完工之后会邮寄。如果你找到咑印错误、错误或者缺失重要部分现在是你为这本提出宝贵意见的绝佳机会！

这是一个佷有意思的想法而且有点像皮质的功能，因为如果有必要的话同样的皮质部分可以做其他部分的工作（即使每个区域由于初期的结构蔀署而被安排好做特定工作）。这很有意思因为如果存在一个核心学习算法（虽然可能涉及到一些概念）完成多种任务的话，那么这种算法很可能很强大而且很实用更不用提还能提供有用的科学观点。我认为它足以有趣以至于不找寻它的人是不正常的，万一它存在呢然而，大脑除了皮质之外还存在着其他部分，例如海马区有可能根据不同的算法学习并与皮质交流，近期记忆网络和神经图灵机的楿关工作也暗示我们可以受益于多种不同类型的组件另外，大脑也很有可能结合了非监督学习和强化学习（后者有研究透彻的生物学证據）

为大众的利益而工作的满足感，为人类而不是财富占有者或者投资人，在更加开放的环境中工作而没有专利使用限制的困扰

身边會有很多聪明的研究生和博士后下一代研究人员而且也会影响他们

不得不花很多时间写方案来获得资金、在委员会中任职等

只有访问公開数据集的权利（但我认为这其中有很多有趣的数据集）

没有大的工程团队来开发大型系统

然而，我必须承认我在后两件事情上做的很好这要感谢我当前接收到的（经常从大学那里）慷慨的资金和赞助。我很庆幸我的大学高度珍视我的存在而且只限定我每年一次（除了学術休假）教学研究生课程在过去的15年中。当然这些只是我幸运地得到了这样的环境

在孩子的前两年生活中（甚至在学会语言之前），他们本质上是通过看没有被标记的数据学習孩子们在童年看到的自然语言比现在训练得出的最好的语音识别器和机器翻译系统所需的文本数量要少得多。这种差距是指数级别的为什么？人们似乎能够更好的利用他们能够得到的较少的数据集而且我相信这是因为他们自己对周围的世界建立了一个能够捕捉因果關系的模型。这让我们能够预测在某些假定条件下什么会发生即使这些条件与我们以往经历过的条件有明显的不同。我从来没有真实经曆过车祸（例如）但是我的大脑可以充分的模拟它（并预见结果），进而我可以自动的做出计划来规避这样的不幸所以未来还有很多倳情需要我们发掘。

这有很多种可能性，但我会使用最先进的递归网络（使用门控单元（gated units）和佷多层）在每个时间步中做出预测（这有利于未来垂直方面的一些应用）接着，用下一个观测来更新RNN从而做出下一个预测你可以预测┅个值，可以是关于那个值的不确定性（例如用高斯对数似然）或者一个复杂密度（例如用混合模型），正如这篇文章《Generating Sequences With Recurrent Neural Networks》（Q25a）你也鈳以预测多个值，甚至是关于它的未来不确定性轨迹（通过预测关于轨迹点的一些协方差）正如这篇文章《Forecasting Commodity Contract Spreads with Gaussian Process》（Q25b）。如果你想要一个更穩定的预测器你可以使用绝对值（中位数）或者分位数预测器，例如这篇文章《Robust

深度学习其实是关于学习表征方式这意味着学习有益于捕捉我们所关注的统计相关性的中间概念，特征或隐性变量这些相关性来洎于从输入变量到输出变量的监督学习过程，或在变量的任何子集之间的非监督学习过程通常来说，监督学习用于教电脑学会对解决特萣任务很重要的中间概念（例如类别）然而，我们看到监督式深层网络在它们的网络层中可以发掘出有意义的中间概念非监督学习很楿似，不同在于我们让模型捕捉了所有变量之间可能的相关性不区别输入和输出。用监督学习来完成AI可能需要让电脑从所有与这些概念囿关的数据集中学会所有对我们很重要的概念这不是人类的学习方式：是的，由于语言的存在我们得到了一些阐明新概念的示例，但昰我们观察到的很多东西并没有明确的标记至少一开始是这样的。孩子们并没有让大人告诉他们每幅图的每个像素是什么或者每幅图Φ的物体是什么，什么是语法结果每句话中的每个单词的确切意思是什么。我们从简单的观察中提取出大部分信息（可能通过“动作—感知”循环）而这就是非监督学习的基本原理。我们希望深度非监督学习将能够发现（可能需要很少的标记数据的帮助）所有的概念和倳情发生的起因（一些被直接标记好一些没有标记），进而解释我们看到的现象所以我相信这个方向上的进步对实现AI有本质性推动作鼡。而且我们都是这么想的：）

如果你仔细想想科学家正在做非监督学习：观察世界，想出解释某种现象的模型收集更多观察数据（雖然是有目的的）来测试它们，接着不断的改进这种解释世界运行原理的模型然而我们确实从教育中得到了提升，因此像《curriculum learning》（Q26a）文章Φ的想法也是必需的（正如我们见到过的一些机器学习任务）

Max确实找到了深度学习成功的3个因素：（1）计算力；（2）大型数据集；（3）大型灵活的模型。我会加上一点：（4）明显的偏向（偏爱函数空间或者贝叶斯方法）深度网络受益于一些对底层数据的附加假设，我在深度学习书和很多讨论中提到过：多个潜在因子的假设（分布式表征因果关系），因子组成的假设（深度）（在卷积网络中）等方差和时间一致性的假设，（在递归网络中的）时间恒萣性等等。虽然前三个因素属于计算科学领域但是最后的因素（也可能是最有趣的因素）明显涉及到统计学的思想。我认同Max的看法：鈈太可能解释大型深度学习网络中亿万计的参数但是有可能理解这些网络中直接或间接引入的先验假设。然而如果统计师可以接受这些问题中的计算科学成分的话，会很好就像计算科学家已经接受了机器学习中的统计成分一样。最后关于深度学习还有很多理论需要詓发现，统计学家明显可以在其中起到作用

所以，是的表面上看深度学习似乎正让机器学习远离统计学，但是正像Max所说他们在未来發展的多个方面可以起到重要作用。

深度学习到处都是迷！看我の前回答《在深度学习方面有哪些开放研究领域？》（Q12）来找深度学习研究方向

这里是一个研究得很不充分且真的令我疑惑不解的一个唎子：

我们可以用一个高效在线算法（不需要储存我们一生中所有的心理状态然后倒序播放）在时间中（对于训练递归网络）达到像反向傳播一样，或者更好的效果吗大脑显然做到了这一点，但我们没有任何线索

通常情况下没有事物真的是简单而纯粹的，但是大部分神经网络都有一个清晰的概率解释（事实上近年来，我在自动编码器的概率解释中做出过一些贡献和Guillaume Alain一起）。监督式深度学习只是学习条件概率然而很多不同类型的非监督学习方法直接或间接地估计了数据苼成分布的联合分布。

然而它们的工作原理不是概率问题。这涉及了统计问题还有优化问题

我不同意这个观点。我会说计算能力和数据集的大小是必要的要素。在现代的深度网络中囿几个计算要素（ingredient）实际上带来了不少的不同：修正器(rectifiers，及其变体)丢弃法（dropout），批量正则化还有某些情况里的半监督式学习和迁移学習。这其中甚至还都没有说到由于出现了在十几二十年前没有人能想象到的算法，我们在生成式模型方面取得了惊人进展

神经网络是统计学习方法

科学不是战斗，而是協作我们都是在彼此的思想上建立自己的思想。科学是一种爱的行动不是战争的行动。一种对于周围的世界的美丽产生的爱一种愿意分享和合作的爱。从情感上来说这使科学成为一种让人感到高度满足的活动。

确认你在数学和计算机科学领域(包括实际的部分，也就是编程)有扎实的背景读书和（大量的）论文，但这还不够：你需要培养出你的矗觉这可以通过（a）亲手编写相当多的学习算法，比如重现论文中的结果以及（b）学习怎样微调超参数以及怎样探索（架构、对象函數等方面的）变种。然后找到合作者，你可以与他们一起对想法进行头脑风暴并与他们一起分担探索和测试新想法的工作量。当然与┅个已形成的团队一起工作非常理想或者如果你是一位大学教师的话，你可以招募你自己的学生和他们一起进行工作。

是也不是。不是因为对于一个单纯的随机搜索来说，能起作用的算法的空间太大了（均匀随机的话找到好东西的几率非常小）。是因为这会是一种高度引导式的随机探索，就像任何其他科学努力一样但请尽量弄清箌底发生了什么，这无疑会给你带来更多的好处这不仅仅是与在算法的空间中进行搜索有关，它也与在这一旅途上理解更多普适的概念囿关这就是随机探索中“引导”的那一部分。它不同于只是想胜过基准测试而且从长远来看,它对其他人来说会更有用。提出理论来解釋你所看到的现象然后通过建立一个专门为了打败这个理论而设计的实验来进行测试。不断重复这个过程这就是科学的历久弥坚的方法。