表格1.江油市共21个乡镇通过居民健康体检筛
华西期刊社
华西期刊社客户端
扫描二维码下载
随时随地收看更多文章
登录华西期刊社（非投稿系统帐户）
下次自动登录
用户密码错误
点击发送激活邮件
会员注册（非投稿系统帐户）
阅读并接受
修改密码（非投稿系统帐户）
找回密码（非投稿系统帐户）
找回密码（非投稿系统帐户）
为了你的账户安全，请完成身份验证
找回密码（非投稿系统帐户）
投审稿系统 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
极限学习机结构优化及其应用研究
下载积分：2000
内容提示：极限学习机结构优化及其应用研究
文档格式：PDF|
浏览次数：38|
上传日期： 08:21:45|
文档星级：
该用户还上传了这些文档
极限学习机结构优化及其应用研究
官方公共微信极限学习机的研究与应用--《西安电子科技大学》2014年硕士论文
极限学习机的研究与应用
【摘要】：机器学习是当今大数据时代的核心研究方向,机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中,并渗透到人们日常生活的方方面面当中。而在机器学习的研究当中,分类器的研究占据着举足轻重的地位,绝大部分的实际问题都可以转换成一个分类问题,分类器的性能往往是一个应用成果与否的关键。挖掘分类器,如支持向量机(SVM)、adaboost、极限学习机(ELM)等,的潜力已经成为了当今机器学习的主流研究方向。
本文的主要研究内容是极限学习机的潜力挖掘。极限学习机是从单隐藏层的神经网络发展而来,并具有易于实现,速度快,泛化能力强等特点,而成为广大学者的研究对象。本文通过对极限学习机的研究,针对极限学习机理论和应用上的缺陷,提出了三个极限学习机的变种,改善了极限学习机的性能,拓宽了极限学习机的应用。
本论文主要完成了下列工作：
(1)在多输入对多输出的回归问题中,极限学习机只考虑输入空间各个维度之间的结构化信息而忽略输出空间的结构化信息。针对这一弱点,本文提出了输出空间嵌入式极限学习机,将输出空间中各个维度之间的结构化信息“嵌入”极限学习机的神经网络中,从而提高极限学习机在多输入对多输出的回归问题的准确率。
(2)针对极限学习机缺乏有效的训练方法这一弱点,本文提出了分布最优化的极限学习机。该算法将输入权重和隐藏层偏置进行含有待定参数的编码,利用现有的基于梯度的优化算法优化待定参数,从而得到输入权重和隐藏层偏置的最优分布,并提高极限学习机的准确率。
(3)目前极限学习机缺乏分布式的实施方法,对于大数据问题力不从心。特别对大数据分布在网络中不同节点,每个节点拥有自己的私密数据这类应用更加束手无策。本文针对这一弱点,将交替方向乘子法(ADMM)应用到极限学习机的实现当中,提出了协同分布式极限学习机,拓宽了极限学习机在大数据时代的应用。
上述研究成果,具有一定的前瞻性和挑战性。本文在理论分析上取得一些突破,在技术实现上具有一些创新,为挖掘极限学习的潜力和拓宽极限学习机中的应用提供了新的思路,具有重要的理论意义及实用价值。
【关键词】：
【学位授予单位】：西安电子科技大学【学位级别】：硕士【学位授予年份】：2014【分类号】：TP181【目录】：
摘要3-5ABSTRACT5-9第一章 绪论9-13 1.1 引言9-10 1.2 研究现状10-11 1.3 本文研究内容和组织结构11-13第二章 极限学习机13-21 2.1 单隐藏层反馈神经网络13-17 2.2 极限学习机17-20 2.3 本章小结20-21第三章 空间嵌入式极限学习机21-31 3.1 引言21 3.2 人体姿态重构21-23 3.3 HumanEva数据库23-25 3.4 空间嵌入式极限学习机25-28 3.5 实验结果28-29 3.6 本章小结29-31第四章 分布最优式极限学习机31-41 4.1 引言31-32 4.2 分布最优式极限学习机32-38 4.3 实验结果38-39 4.4 本章小结39-41第五章 协同分布式极限学习机41-53 5.1 引言41-43 5.2 问题描述43-44 5.3 交替方向乘子法44-45 5.4 协同分布式极限学习机45-48 5.5 实验结果48-52 5.6 本章小结52-53第六章 结论与展望53-57 6.1 结论53-54 6.2 展望54-57致谢57-59参考文献59-63攻读硕士学位期间的研究成果63-64
欢迎：、、)
支持CAJ、PDF文件格式
【共引文献】
中国期刊全文数据库
张文革;刘芳;焦李成;张向荣;;[J];电子学报;2010年02期
何英明;雷杨;何英君;项玉婷;;[J];国外油田工程;2010年11期
赵颖;武慧虹;;[J];安顺学院学报;2013年03期
马超;张英堂;李志宁;尹刚;;[J];车用发动机;2013年03期
项子旋;王振宇;刘国海;奚家健;;[J];电测与仪表;2013年08期
李业波;李秋红;黄向华;赵永平;;[J];北京航空航天大学学报;2013年09期
雷雨;赵丹宁;;[J];大地测量与地球动力学;2013年05期
白婷婷;;[J];宝鸡文理学院学报(自然科学版);2013年03期
苑津莎;张利伟;王瑜;尚海昆;;[J];电测与仪表;2013年12期
刘昌玉;何雪松;李崇威;王湛;张恩博;颜秋容;;[J];电力自动化设备;2013年11期
中国重要会议论文全文数据库
;[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
李彬;荣学文;;[A];第25届中国控制与决策会议论文集[C];2013年
李彬;荣学文;;[A];第25届中国控制与决策会议论文集[C];2013年
Xue Mo;Youqing WXiangwei Wu;;[A];第25届中国控制与决策会议论文集[C];2013年
中国博士学位论文全文数据库
樊建聪;[D];山东科技大学;2010年
渠瑜;[D];浙江大学;2010年
李一啸;[D];浙江大学;2010年
李艳文;[D];吉林大学;2011年
单昊;[D];清华大学;2010年
赵旭;[D];上海交通大学;2011年
王衍学;[D];西安交通大学;2009年
唐晓宁;[D];昆明理工大学;2011年
阎高伟;[D];太原理工大学;2007年
呼大为;[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库
杨加臣;[D];西安电子科技大学;2010年
宫志华;[D];西安电子科技大学;2010年
张琦;[D];吉林大学;2011年
乔光毅;[D];电子科技大学;2011年
李保珲;[D];山东大学;2011年
曹珣;[D];安徽大学;2011年
唐王琴;[D];安徽大学;2011年
刘林;[D];浙江大学;2011年
乐鑫喜;[D];武汉理工大学;2005年
赵庆兰;[D];西北工业大学;2006年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号论战Yann LeCun：谁能解释极限学习机（ELM）牛X在哪里？
发表于 06:48|
来源个人博客|
作者Yann LeCun、黄广斌、David_Wang2015
摘要：ELM算法执行过程中不必调整网络的输入权值以及隐元的偏置，学习速度快且泛化性能好，Yann LeCun质疑ELM存在命名、方法论方面存在问题，ELM发明者则认为，ELM和深度学习是相辅相成的，并且ELM可以填补CNN的理论空白。
【编者按】被认为学习速度快、泛化性能好的，在国内颇有市场，但大神Yann LeCun近日质疑ELM存在命名、方法论等方面存在很多问题，不如采用SVM或者RBF，随即有人反驳称ELM理论上与一般的前馈神经网不分伯仲，ELM的发明者则认为，ELM和深度学习是相辅相成的，有些应用将两者结合收到很好的结果，并且ELM可以填补CNN的理论空白。现在双方观点整理如下，供读者参考。南洋理工大学黄广斌副教授（）在2004年提出的Extreme Learning Machine（ELM，极限学习机），是一种单隐层前馈神经网络（SLFN）学习算法。这种算法只需要设置网络的隐层节点个数，执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因而学习速度快且泛化性能好。然而，Facebook人工智能实验室负责人、纽约大学教授Yann LeCun近日在Facebook上对ELM提出了质疑，认为ELM存在命名、方法论等方面存在很多问题，有一定的优点但不如首先采用SVM（支持向量机）或者RBF，也难以应对ImageNet 或语音识别这样的复杂任务。Yann LeCun认为：首先，ELM和早前出现的Gamba Perceptron、Rosenblatt perceptron看来有极深的渊源。其次，随机连接第一层的方法几乎是最傻的事情，基本上可谓否定近60年的努力的开倒车的行为（Perceptron已可解决线性不可分问题）。他表示，随机初始化输入权重和偏置，做好了也只能对简单函数和小型标记数据集有效，还不如采用SVM或者RBF。First, the name: an ELM is *exactly* what Minsky & Papert call a Gamba Perceptron (a Perceptron whose first layer is a bunch of linear threshold units). The original 1958 Rosenblatt perceptron was an ELM in that the first layer was randomly connected.Second, the method: connecting the first layer randomly is just about the stupidest thing you could do. People have spent the almost 60 years since the Perceptron to come up with better schemes to non-linearly expand the dimension of an input vector so as to make the data more separable (many of which are documented in the 1974 edition of Duda & Hart).&Yann LeCun的观点获得了200多个赞和大量的回复。一些回复表示看好ELM的速度，然而Yann LeCun反驳：ELM的运行必然慢于RBF网络，后者第一层采用K均值或者GMM甚至神经网络来训练，所有的这些模型优化了一层单元的数量和位置，从而可以消除一些数据量的影响。传统的SVM用于大型数据集缓慢，人们都有很多建议方法绕过该问题。如果指的是训练速度，只要训练时间不是太离谱，则无人在意。They have to be slower to run than an RBF net in which the first layer is trained with K-means or GMM, or even neural nets, since all of these models optimize the number and placement of layer-1 units, and can therefore get away with a small number of them. Regular SVMs get slow with very large datasets, but people have suggested ways to get around that. Perhaps they are talking about training speed, but no one is really interested in that, as long as the training time is not outrageous.对于一封发给IEEE SMC的匿名邮件《》（其中列举多项条款指责ELM涉嫌存在学术问题），Yann LeCun甚至称，“ELM is officially a fraud”。在国内，微博网友发表博文《》，赞同ELM的工程意义，作为对Yann LeCun的回应。@David_Wang2015认为：目前的单隐层ELM在函数逼近论和统计学习理论意义下的收敛结果已经有证明，理论上与一般的前馈神经网不分伯仲。不过，前馈神经网适合工程应用的函数模型还得靠工程师的理解和洞察，ELM如果要在各种应用中更上一层，合理的结构设计和隐节点的生成方式的研究是必不可少的。一些圈内人士评论认为，尽管ELM思想上工程上确有意义，但后文从哲学方法层面回应，未能落到实处，仍然无法回答Yann LeCun的质疑。@David_Wang2015在此之后解释：这篇文章主要是介绍一下ELM的主要思想，说明ELM为什么在某些应用中可以又快又work，解决一些关于ELM的疑惑。彻底回答LeCun的质疑还得需要更深入的理论和工程的研究，在知名数据集和工程应用上刷刷performance。作为ELM的发明者，黄广斌亦提出了自己的观点：ELM和深度学习是相辅相成的，如可将CNN用于特征提取，ELM用于做分类器，此外ELM还可以填补CNN的理论空白。ELM的发展也是从不信到怀疑，到似曾相识，到大彻大悟的过程。ELM和深度学习是相辅相成的，有些应用将两者结合收到很好的结果，比如将CNN用于特征提取，ELM用于做分类器。其实从长远角度看，更多的是ELM和Deep Learning的交融汇合（Convergence）。另一方面Convolution Neural Network （CNN）虽然有生物学上的相关意义，数学理论上的证明还不多，ELM理论正好填补这个空白，并且推向更广泛的Local Receptive Fiekds概念。黄广斌表示，神经网络的发展是曲折前进的历史，如多层感知器(Perceptron)、Back-Propagation（BP）算法、SVM甚至深度学习，都曾经历了不被理解的过程——理解和认识有时需要一个漫长的过程。真理越辩越明。对于这个问题，您有更详细的见解吗？请在评论中留下您的观点，也欢迎您给CSDN投稿分享和交流。投稿邮箱：。原文链接：& via&Yann LeCun&via&@David_Wang2015 via&黄广斌延伸阅读（来自 和 &的评论）：知乎上的讨论：国外总结：黄广斌微博：网上热议Yann LeCun:"What's so great about 'Extreme Learning Machines'?"其实LeCun的问题正常，ELM从诞生之初就有许多人不解。他的问题答案可以见文章“”（责编/周建丁）第七届中国云计算大会将于6月3日-5日在北京国家会议中心举办。目前主会演讲嘉宾名单和议题方向已经公布，众多中国科学院/中国工程院院士、BAT云技术领军人、三大运营商云计算负责人、中国银联执行副总裁、青云联合创始人等嘉宾届时都将带来精彩演讲。欢迎大家访问，了解更多详情。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章114网址导航