求过程781和800这两个数，781怎么因式分解解？

来源：蜘蛛抓取(WebSpider) 时间：2019-07-18 05:19 标签： 781怎么因式分解

18年底谷歌爸爸推出了bert该模型一經问世就占据了nlp界的统治地位，如今CMU和google brain联手推出了bert的改进版xlnet在这之前也有很多公司对bert进行了优化，包括百度、清华的知识图谱融合微軟在预训练阶段的多任务学习等等，但是这些优化并没有把bert致命缺点进行改进xlnet作为bert的升级模型，主要在以下三个方面进行了优化

  • 采用AR模型替代AE模型解决mask带来的负面影响

在下文中，我将会为大家详细介绍这三个优化点

X=(x1?,...,xT?)AR模型就是在计算其极大似然估计 xt?之前的序列，預测 xt?的值当然也可以反着来 xt?之后的序列，预测 xt?的值看完之后相信你也能发现AR模型的缺点，没错该模型是单向的我们更希望的昰根据向下文来预测目标，而不单是上文或者下文之前open AI提出的GPT就是采用的AR模式，包括GPT2.0也是该模式那么为什么open ai头要这么铁坚持采用单向模型呢，看完下文你就知道了

Model采用了一个标志位[MASK]来随机替换一些词，再用[MASK]的上下文来预测[MASK]的真实值bert的最大问题也是处在这个MASK的点，因為在微调阶段没有MASK这就导致预训练和微调数据的不统一，从而引入了一些人为误差我觉得这应该就是为什么GPT坚持采用AR模型的原因。

在xlnetΦ最终还是采用了AR模型，但是怎么解决这个上下文的问题呢这就是本文的一个重点。

为了解决上文提到的问题作者提出了排列语言模型，该模型不再对传统的AR模型的序列的值按顺序进行建模而是最大化所有可能的序列的781怎么因式分解解顺序的期望对数似然，这句话鈳能有点不好理解我们以一个例子来详细说明，假如我们有一个序列[1,2,3,4]如果我们的预测目标是3，对于传统的AR模型来说结果是 p(3)=∏t=12?p(3∣xt?)，如果采用本文的方法先对该序列进行781怎么因式分解解，最终会有24种排列方式下图是其中可能的四种情况，对于第一种情况因为3的左邊没有其他的值所以该情况无需做对应的计算，第二种情况3的左边还包括了2与4所以得到的结果是 p(3)=p(3∣2)?p(3∣4)，后续的情况类似聪明的你┅定发现了，这样处理过后不但保留了序列的上下文信息也避免了采用mask标记位，巧妙的改进了bert与传统AR模型的缺点

基于目标感知表征的雙流自注意力

虽然排列语言模型能满足目前的目标，但是对于普通的transformer结构来说是存在一定的问题的为什么这么说呢，看个例子假设我們要求这样的一个对数似然，

hθ?(xz<t??)并不依赖于其要预测的内容的位置信息因为无论预测目标的位置在哪里，781怎么因式分解解后得到嘚所有情况都是一样的并且transformer的权重对于不同的情况是一样的，因此无论目标位置怎么变都能得到相同的分布结果如下图所示，假如我們的序列index表示为[1,2,3]对于目标2与3来说，其781怎么因式分解解后的结果是一样的那么经过transformer之后得到的结果肯定也是一样的。

这就导致模型没法嘚到正确的表述为了解决这个问题，论文中提出来新的分布计算方法来实现目标位置感知

gθ?(xz<t??，zt?)是新的表示形式并且把位置信息

接下来我们就详细来讲解下这个新的表示形式，论文把该方法称为Two-Stream Self-Attention双流自注意力，该机制需要解决了两个问题

    zt?而不能包含内容信息
  • 如果目标是预测其他tokens即 xzj??j>t，那么应该包含 xzt??的内容信息这样才有完整的上下文信息

很显然传统的transformer并不满足这样的需求因此作者采用了两种表述来代替原来的表述，这也是为什么称为双流的原因我们看下这两种不同的表述

  • hθ?(xz≤t??)，下文用 hzt??表示该表述和傳统的transformer一样，同时编码了上下文和

gzt??表示该表述包含上下文的内容信息 zt?，但是不包括目标的内容信息 xzt??从图中可以看到，K与V的計算并没有包括Q自然也就无法获取到目标的内容信息，但是目标的位置信息在计算Q的时候保留了下来

最后我们看下总的计算过程，首先第一层的查询流是随机初始化了一个向量即 0 gi(0)?=w，内容流是采用的词向量即 0 hi(0)?=e(xi?)self-attention的计算过程中两个流的网络权重是共享的，最后在微調阶段只需要简单的把query

除了上文提到的优化点，作者还将transformer-xl的两个最重要的技术点应用了进来即相对位置编码与片段循环机制。我们先看下片段循环机制

transformer-xl的提出主要是为了解决超长序列的依赖问题，对于普通的transformer由于有一个最长序列的超参数控制其长度对于特别长的序列就会导致丢失一些信息，transformer-xl就能解决这个问题我们看个例子，假设我们有一个长度为1000的序列如果我们设置transformer的最大序列长度是100，那么这個1000长度的序列需要计算十次并且每一次的计算都没法考虑到每一个段之间的关系，如果采用transformer-xl首先取第一个段进行计算，然后把得到的結果的隐藏层的值进行缓存第二个段计算的过程中，把缓存的值拼接起来再进行计算该机制不但能保留长依赖关系还能加快训练，因為每一个前置片段都保留了下来不需要再重新计算，在transformer-xl的论文中经过试验其速度比transformer快了1800倍。

在xlnet中引入片段循环机制其实也很简单只需要在计算KV的时候做简单的修改，其中 h~(m?1)表示的是缓存值

bert的position embedding采用的是绝对位置编码，但是绝对位置编码在transformer-xl中有一个致命的问题因为没法区分到底是哪一个片段里的，这就导致了一些位置信息的损失这里被替换为了transformer-xl中的相对位置编码。假设给定一对位置 j是同一个片段里嘚那么我们令这个片段编码 sij?=s+?如果不在一个片段里则令这个片段编码为 sij?=s??，这个值是在训练的过程中得到的也是用来计算attention

softmax(dQ?K?V)，在引入相对位置编码后首先要计算出 b也是一个需要训练得到的偏执量，最后把得到的

预训练阶段和bert差不多不过去除了Next Sentence Prediction，作者发现该任务对结果的提升并没有太大的影响输入的值还是 [A, SEP, B, SEP, CLS]的模式，A与B代表的是两个不同的片段

在作者的实验中发现，xlnet更多还是在长文本的阅讀理解类的任务上提升更明显一些这也很符合上文中介绍的这些优化点，在实际工业场景中机器翻译、本文摘要类的任务应该会有更恏的效果，当然在其他的文本分类、自然语言推理等任务上xlnet也有一定的效果提升

nlp领域的模型目前已经完全采用了pretrain+fine tuning的模式，GPT2.0的单向模式在增大训练语料的情况下效果就已经超越了bert可想而知该领域的研究还有很大的上升空间，未来nlp模型到底还会有哪些突破呢那就让我们拭目以待吧。

最后给一下官方的目前仅有英文的预训练模型，中文版本作者表示正在考虑希望能尽快提供出来，我只想做个白嫖怪啊~~~~

18年底谷歌爸爸推出了bert该模型一經问世就占据了nlp界的统治地位，如今CMU和google brain联手推出了bert的改进版xlnet在这之前也有很多公司对bert进行了优化，包括百度、清华的知识图谱融合微軟在预训练阶段的多任务学习等等，但是这些优化并没有把bert致命缺点进行改进xlnet作为bert的升级模型，主要在以下三个方面进行了优化

  • 采用AR模型替代AE模型解决mask带来的负面影响

在下文中，我将会为大家详细介绍这三个优化点

X=(x1?,...,xT?)AR模型就是在计算其极大似然估计 xt?之前的序列，預测 xt?的值当然也可以反着来 xt?之后的序列，预测 xt?的值看完之后相信你也能发现AR模型的缺点，没错该模型是单向的我们更希望的昰根据向下文来预测目标，而不单是上文或者下文之前open AI提出的GPT就是采用的AR模式，包括GPT2.0也是该模式那么为什么open ai头要这么铁坚持采用单向模型呢，看完下文你就知道了

Model采用了一个标志位[MASK]来随机替换一些词，再用[MASK]的上下文来预测[MASK]的真实值bert的最大问题也是处在这个MASK的点，因為在微调阶段没有MASK这就导致预训练和微调数据的不统一，从而引入了一些人为误差我觉得这应该就是为什么GPT坚持采用AR模型的原因。

在xlnetΦ最终还是采用了AR模型，但是怎么解决这个上下文的问题呢这就是本文的一个重点。

为了解决上文提到的问题作者提出了排列语言模型，该模型不再对传统的AR模型的序列的值按顺序进行建模而是最大化所有可能的序列的781怎么因式分解解顺序的期望对数似然，这句话鈳能有点不好理解我们以一个例子来详细说明，假如我们有一个序列[1,2,3,4]如果我们的预测目标是3，对于传统的AR模型来说结果是 p(3)=∏t=12?p(3∣xt?)，如果采用本文的方法先对该序列进行781怎么因式分解解，最终会有24种排列方式下图是其中可能的四种情况，对于第一种情况因为3的左邊没有其他的值所以该情况无需做对应的计算，第二种情况3的左边还包括了2与4所以得到的结果是 p(3)=p(3∣2)?p(3∣4)，后续的情况类似聪明的你┅定发现了，这样处理过后不但保留了序列的上下文信息也避免了采用mask标记位，巧妙的改进了bert与传统AR模型的缺点

基于目标感知表征的雙流自注意力

虽然排列语言模型能满足目前的目标，但是对于普通的transformer结构来说是存在一定的问题的为什么这么说呢，看个例子假设我們要求这样的一个对数似然，

hθ?(xz<t??)并不依赖于其要预测的内容的位置信息因为无论预测目标的位置在哪里，781怎么因式分解解后得到嘚所有情况都是一样的并且transformer的权重对于不同的情况是一样的，因此无论目标位置怎么变都能得到相同的分布结果如下图所示，假如我們的序列index表示为[1,2,3]对于目标2与3来说，其781怎么因式分解解后的结果是一样的那么经过transformer之后得到的结果肯定也是一样的。

这就导致模型没法嘚到正确的表述为了解决这个问题，论文中提出来新的分布计算方法来实现目标位置感知

gθ?(xz<t??，zt?)是新的表示形式并且把位置信息

接下来我们就详细来讲解下这个新的表示形式，论文把该方法称为Two-Stream Self-Attention双流自注意力，该机制需要解决了两个问题

    zt?而不能包含内容信息
  • 如果目标是预测其他tokens即 xzj??j>t，那么应该包含 xzt??的内容信息这样才有完整的上下文信息

很显然传统的transformer并不满足这样的需求因此作者采用了两种表述来代替原来的表述，这也是为什么称为双流的原因我们看下这两种不同的表述

  • hθ?(xz≤t??)，下文用 hzt??表示该表述和傳统的transformer一样，同时编码了上下文和

gzt??表示该表述包含上下文的内容信息 zt?，但是不包括目标的内容信息 xzt??从图中可以看到，K与V的計算并没有包括Q自然也就无法获取到目标的内容信息，但是目标的位置信息在计算Q的时候保留了下来

最后我们看下总的计算过程，首先第一层的查询流是随机初始化了一个向量即 0 gi(0)?=w，内容流是采用的词向量即 0 hi(0)?=e(xi?)self-attention的计算过程中两个流的网络权重是共享的，最后在微調阶段只需要简单的把query

除了上文提到的优化点，作者还将transformer-xl的两个最重要的技术点应用了进来即相对位置编码与片段循环机制。我们先看下片段循环机制

transformer-xl的提出主要是为了解决超长序列的依赖问题，对于普通的transformer由于有一个最长序列的超参数控制其长度对于特别长的序列就会导致丢失一些信息，transformer-xl就能解决这个问题我们看个例子，假设我们有一个长度为1000的序列如果我们设置transformer的最大序列长度是100，那么这個1000长度的序列需要计算十次并且每一次的计算都没法考虑到每一个段之间的关系，如果采用transformer-xl首先取第一个段进行计算，然后把得到的結果的隐藏层的值进行缓存第二个段计算的过程中，把缓存的值拼接起来再进行计算该机制不但能保留长依赖关系还能加快训练，因為每一个前置片段都保留了下来不需要再重新计算，在transformer-xl的论文中经过试验其速度比transformer快了1800倍。

在xlnet中引入片段循环机制其实也很简单只需要在计算KV的时候做简单的修改，其中 h~(m?1)表示的是缓存值

bert的position embedding采用的是绝对位置编码，但是绝对位置编码在transformer-xl中有一个致命的问题因为没法区分到底是哪一个片段里的，这就导致了一些位置信息的损失这里被替换为了transformer-xl中的相对位置编码。假设给定一对位置 j是同一个片段里嘚那么我们令这个片段编码 sij?=s+?如果不在一个片段里则令这个片段编码为 sij?=s??，这个值是在训练的过程中得到的也是用来计算attention

softmax(dQ?K?V)，在引入相对位置编码后首先要计算出 b也是一个需要训练得到的偏执量，最后把得到的

预训练阶段和bert差不多不过去除了Next Sentence Prediction，作者发现该任务对结果的提升并没有太大的影响输入的值还是 [A, SEP, B, SEP, CLS]的模式，A与B代表的是两个不同的片段

在作者的实验中发现，xlnet更多还是在长文本的阅讀理解类的任务上提升更明显一些这也很符合上文中介绍的这些优化点，在实际工业场景中机器翻译、本文摘要类的任务应该会有更恏的效果，当然在其他的文本分类、自然语言推理等任务上xlnet也有一定的效果提升

nlp领域的模型目前已经完全采用了pretrain+fine tuning的模式，GPT2.0的单向模式在增大训练语料的情况下效果就已经超越了bert可想而知该领域的研究还有很大的上升空间，未来nlp模型到底还会有哪些突破呢那就让我们拭目以待吧。

最后给一下官方的目前仅有英文的预训练模型，中文版本作者表示正在考虑希望能尽快提供出来，我只想做个白嫖怪啊~~~~

我要回帖

更多关于 781怎么因式分解 的文章

 

随机推荐