豆丁微信公众号
君，已阅读到文档的结尾了呢~~
广告剩余8秒
文档加载中
RBM算法理解
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
RBM算法理解
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口【图文】RBM简介_百度文库
赠送免券下载特权
10W篇文档免费专享
部分付费文档8折起
每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
阅读已结束，下载本文到电脑
想免费下载本文？
登录百度文库，专享文档复制特权，积分每天免费拿！
你可能喜欢AutoEncoder训练 - 简书
AutoEncoder训练
AutoEncoder是多层神经网络，其中输入层和输出层表示相同的含义，具有相同的节点数。AutoEncode学习的是一个输入输出相同的“恒等函数”。不过输入和输出相同，使得这个网络的输出没有任何意义。AutoEncoder的意义在于学习的（通常是节点数更少的）中间coder层（最中间的那一层），这一层是输入向量的良好表示。这个过程起到了“降维”的作用。当AutoEncoder只有一个隐含层的时候，其原理相当于主成分分析（PCA），当AutoEncoder有多个隐含层的时候，每两层之间可以用RBM来pre-training，最后由BP来调整最终权值。网络权重更新公式很容易用求偏导数的方法推导出来，算法是梯度下降法。（RBM：层内无连接，层间全连接，二分图）Denoising AutoEncoder是AutoEncoder的一个变种，与AutoEncoder不同的是，Denoising AutoEncoder在输入的过程中加入了噪声信息，从而让AutoEncoder能够学习这种噪声。Denoising AutoEncoder与RBM非常像：（1）参数一样：隐含层偏置、显示层偏置、网络权重（2）作用一样：都是输入的另一种（压缩）表示（3）过程类似：都有reconstruct，并且都是reconstruct与input的差别，越小越好Denoising AutoEncoder与RBM的区别：背后原理就不说了（RBM是能量函数），区别在于训练准则。RBM是隐含层“产生”显示层的概率（通常用log表示），Denoising AutoEncoder是输入分布与reconstruct分布的KL距离。所用的训练方法，前者是CD-k，后者是梯度下降。RBM固定只有两层；AutoEncoder，可以有多层，并且这些多层网络可以由标准的bp算法来更新网络权重和偏置，与标准神经网络不同的是，AutoEncoder的输入层和最终的输出层是“同一层”，不仅仅是节点数目、输出相同，而是完完全全的“同一层”，这也会影响到这一层相关的权值更新方式。总之，输入与输出是同一层，在此基础上，再由输入与输出的差别构造准则函数，再求各个参数的偏导数，再用bp方式更新各个权重。【AutoEncoder工程代码】：相关Matlab工程代码主页：论文：Science – 2006 Science_Reducing the Dimensionality of Data with Neural Networks(如下所有文件，放到同一个目录下)1). 下载手写体数据MNIST:, 并在Linux或Windows下进行解压；（60,000 个训练集 和, 10,000 个测试集，数字手写体0-9 10类）train-images-idx3-ubyte.gz: training set images (9912422 bytes)train-labels-idx1-ubyte.gz: training set labels (28881 bytes)t10k-images-idx3-ubyte.gz: test set images (1648877 bytes)t10k-labels-idx1-ubyte.gz: test set labels (4542 bytes)2). 下载共轭梯度代码：3). 下载AutoEncoder代码，包括如下13个Matlab文件：mnistdeepauto.m //训练AutoEncoder的主文件；mnistclassify.m //用于训练分类器的主文件；converter.m //转换MNIST文件为Matlab数据格式；rbm.m //训练RBM二进制隐层和二进制可视单元；rbmhidlinear.m //训练RBM高斯隐层和二进制可视单元；backprop.m //进行fine-tuning的反向传播代码；backpropclassify.m //利用“Encoder”网络进行分类的反向传播；CG_MNIST.m //Conjugate Gradient optimization for fine-tuning an autoencoderCG_CLASSIFY_INIT.m //Conjugate Gradient optimization for classification (training top-layer weights while holding low-level weights fixed)CG_CLASSIFY.m //Conjugate Gradient optimization for classification (training all weights)makebatches.m //Creates minibatches for RBM trainingmnistdisp.m //显示fine-tuning阶段的进度；README.txt //说明文件4). 在Matlab中执行mnistdeepauto.m文件训练autoencoder；我们看一下此文件中大致做了一些什么操作：maxepoch=10; //RBM学习时的迭代次数numhid=1000; numpen=500; numpen2=250; numopen=30; //设置各个隐藏层的神经元的个数；这个程序所采用的网络共有四层。【 30】 \\作者提供的二进制数据需要将原始数据文件转换成Matlab数据格式 \\把大的数据块拆成每块100个样本的小块 batchdata [样本数，维数，分块数]//开始四层RBM训练 \\迭代学习，分别学习到4个RBM模型，mnisthp.mat, mnisthp2.mat, mnistpo.mat, mnistvh.mat记录了RBM学习到的模型(3个参数：权重矩阵W，前向偏移量b，后向偏移量c)这里有一个问题，就是W，叫做链接权重矩阵可能更合适一点，如果叫做转移矩阵的话，一个问题就是，为什么P(v=1|h)=sigmod(c+Wv), 而P(h=1|v)=sigmod(b+W’h)，这里W是用的转置而不是W的逆？因为直观上会有一个问题就是说 y=Wx的话，那么就应该有x=inv(W)y，但是这里确只是用一个转置，而且正交矩阵才具有此性质，W’=inv(W). 而其实 这个是RBM 能量函数的性质，在RBM能量函数中 v和h 有种伪对阵性，上述两式是在能量函数基础上计算条件概率得到的。 \\反向传播的训练速度好慢啊。==b，迭代200次估计需要1天多，我们直接迭代1次跑个demo，最终反向传播之后可以学习到 w1,w2,w3,w4四个编码权重矩阵及w5,w6,w7,w8四个解码权重矩阵。5). 若执行mnistclassify.m可训练MNIST分类器6). 代码中有很多参数可以进行调节You can also set various parameters in the code, such as maximum number of epochs, learning rates, network architecture, etc.Q：DAE 比DBN 好？【参考】：1.2.3.4. DeepLearning 工具包汇总5. DeepLearning 工具包Matlab代码集合：，是丹麦工业大学以为硕士期间的工作6. DeepLearning 工具包C, C++, Java, phython, scala代码集合,7. RBM详解：【备注源码注释】：
北大人工智能公开课 深度学习各个方向资料参考 http://www.eecs.wsu.edu/~sji/classes/DL16/ C语言卷积网络实现包darknet DL不仅学习表示（representation），也学习映射（mapping）. A curated li...
查看原文 1 简介 Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每...
第二个Topic讲深度学习，承接前面的《浅谈机器学习基础》。 深度学习简介 前面也提到过，机器学习的本质就是寻找最优模型，比如讲语音识别，就是将一段语音通过若干模型精准的转化为对应的文字，图像识别转化为识别结果，围棋程序转化为下一步走子，智能对话系统转化为对用户的回答。 而...
文章作者：Tyan博客：noahsnail.com | CSDN | 简书 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translatio...
一、简介 特征与模型结构 无监督特征学习
自动抽象概念，不再设定框框 分层
对输入信息进行分级表达（风险：信息逐层丢失） 如图分层可以拟合复杂函数 分层特征表达 分层 example - 稀疏编码 从一些照片中，提取出400个小碎片，每个照片碎片的尺寸均为 16...
今天的心情不知道怎么形容，想买车的愿望很强烈，却有一种莫名的压力。 每天都在忙，忙啥呢？连买车的钱都没有，其实不是没有，而是被我扔掉了，回想这几年的经历，让我后悔不已。 认识康春梅是个错误，她介绍了一个网络理财，我投了一千五，本想以此来实现我的发财梦，结果破灭了，还赔了几百...
我前世是你湖底的一条鱼 今生被你遗忘在沙漠里 不管我怎么挣扎 都无法回到你的心里 我每天汲取着晨露 吮吸着空气 我想活下去 回到你的心里自由的游弋 可是 我渐渐习惯了沙漠的生活 变成了浑身是刺的仙人掌 没人理解我的伤 没人指责我的善良 没人走近我的身旁 我孤独的生长 恰巧 ...
文 | 彭萦孙圈圈 一 讲故事是一项被严重低估的能力 如果你是一个律师，你的当事人是一个有很多案底的惯偷，并且警察当场在他身上搜出了失主的钱包，然而他声称自己的钱包也长这样，所以他是误拿。 你会怎么帮你的当事人辩护呢？是不是很难？ 然而Boston Legal里面，Sall...
孩子的成长需要健康的身体，和心里成长，更重要的是环境。环境有社会环境，成长环境，学校环境，家庭环境，这些因素同样对孩子的发展起着决定性作用。 例如孟母三迁的故事，就是孟母为了给孟子找到适合他成长的环境而三次迁居。所以我们要为孩子的成长找到适合他们的环境。
小狗钱钱的人生整理术 1. 时机
总是听到很多人说，我想做什么，可是我不敢做，因为我已经不年轻了；法律上青年的定义是：24周岁，所以，大部分90后已经是中年了。说起90后，人们一想起就是，个性，非主流，叛逆不羁，但是人们口中的90后，现在却已经沦为中年了，一听到这个词...【图文】RBM算法_百度文库
赠送免券下载特权
10W篇文档免费专享
部分付费文档8折起
每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
阅读已结束，下载本文到电脑
想免费下载本文？
登录百度文库，专享文档复制特权，积分每天免费拿！
你可能喜欢RBM网络的训练为什么不能用EM算法来做呢？ - 知乎13被浏览<strong class="NumberBoard-itemValue" title="分享邀请回答11 条评论分享收藏感谢收起1添加评论分享收藏感谢收起写回答