游戏目录下有Alpha0.1.如何复制exe文件到安装目录怎么解决

版权声明:本文为博主原创文章,未经允许不得转载。 /wem/article/details/

本文先简单介绍递归神经网络,和LSTM,最后po出用c++代码实现的LSTM。其实我也是在学习中,但是听说最好的学习方法就是学会了再试图给别人讲一遍,所以,here we are

我们先举一个晚餐吃什么的例子,看图,由于你是一个强迫症,也就是晚餐吃什么是由昨天吃什么决定的,并且三天一个循环。

像图中说的如果昨天吃了pizza今天就必须吃sushi,昨天吃了sushi今天就必须吃waffles。

现在有一种情况,就是你忘记了昨天吃的什么,那么你要怎么推测出今天吃什么呐,那你就需要知道前天,或者更早之前吃了什么,然后一步步的推测,推测出今天吃什么。如下图

其实这就是一个简单的RNN实现,通过循环,或者说是递归的效果,推测出今天吃什么。

上面是一个RNN运行的简单例子,接下来我们来看一下另一个例子,写一本童书。

这个书的词汇量很小,我们给他排个序,然后放到矢量中,就变成下图。图中的关联就是通过之前的训练得到的。也就是如果现在收到的字是Jane那他很大程度上下一个字会是saw或者是句号。

同样,我们通过记忆看前一次预测也能增加接下来预测的概率,如图。

于是这样我们就可以构建一个简单的RNN模型。如图,通过记忆加上新的预测通过一个神经网络和激活函数得到新的预测。

如果用RNN,大家可能会看出来一些错误,如下图,这是因为这个模型只有很短期的记忆只能参考上一步,不能参考之前的信息。为了让模型能够参考更长远的记忆我们加入更多内容,这就是RNN上图。但是这样呐我们能很明显的看见他的记忆是冗余的,也就是说人的记忆是随着时间的迁移会遗忘,选择,忽略的。这已经是LSTM的出现了,LSTM就是在RNN的基础上加了这三个门,对记忆做进一步处理。

现在先加入一个遗忘门,如图,

加入一个选择门,在输出结果之前做一下选择保留部分结果。这个门会决定哪些结果该留在模型中,哪些作为最终的输出。

看上图我们可以看出,每次新的预测数据会和经过遗忘的记忆结合,然后再通过选择才会输出最终结果,怎么预测,怎么遗忘,怎么选择都是有单独的配一个神经网络来学习的。

然后再加入忽视门,忽视门主要是对新的记忆进行一些忽视,先把近期不是特别相关的结果忽视掉,以免对后面产生影响。如图

到目前为止就是LSTM的完整模型了。现在我们通过之前的简单例子来看看LSTM的运行机制。

我们先假设LSTM已经训练完毕了,也就是说其中模型都已经确定了。

我们当前的信息是Doug,之前的记忆信息有Jane saw Spot。我们现在来预测新的信息。

第一步预测,因为前一个是Doug所以接下来saw的几率很高用白色表示,Doug的概率很低用黑色表示,我们先不考虑忽视路径,于是这个结构会通过反馈回忆跟遗忘门做乘积,我们假设没有回忆,接下来就进入了筛选门,很简单的就把saw筛选出来了。

接着我们要利用这个结果开始循环预测下一个结果,在新循环中saw是新信息,同时也是旧预测。如图因为saw信息预测出下一个信息是Doug,Jane,Spot,如图

同样先跳过忽视门,到了遗忘门,有了之前的记忆,由于上一次预测结果已经是saw了,所以遗忘掉saw保留了非Doug,所以通过遗忘门后只剩下Jane,Spot了,最后通过筛选门得到Jane,Spot的概率,概率大的那个作为输出。

这个循环通过遗忘门成功避免了Doug saw Doug的错误。

接下来是我自己修改的LSTM c++源程序。我主要是通过看这两幅图来纠正的。

//激活函数的导数,y为激活函数值
x是x时间轴的数据,二维数据,由timestep结合数据多少来定大小
 // 训练一次就会清空一次这些 vector
 //在0时刻是没有之前的隐含层的,所以初始化一个全为0的
 //隐藏层传播到输出层
 //保存隐藏层,以便下次计算
 //保存标准误差关于输出层的偏导 t 是实际值
 //隐含层偏差,通过当前之后一个时间点的隐含层误差和当前输出层的误差计算
 //当前时间之后的一个隐藏层误差
 //更新隐含层和输出层之间的连接权
 //对于网络中每个隐藏单元,计算误差项,并更新权值
 //更新前一个隐含层和现在隐含层之间的权值
 //更新输入层和隐含层之间的连接权
 // 训练一次就会清空一次这些 vector
 //在0时刻是没有之前的隐含层的,所以初始化一个全为0的
 //隐藏层传播到输出层
 //保存隐藏层,以便下次计算
 int time_step; //当前位的数据跟之前多少位的数据有关 训练数据有多少列

以上详解部分是我通过看得来的,是一个美国教授的公开课,但是需要一些小工具才能出去看,你们懂得。

我要回帖

更多关于 如何复制exe文件到安装目录 的文章

 

随机推荐