点击上方“中兴开发者社区”，关注我们每天读一篇一线开发者原创好文作者简介作者戴硕是深度学习爱好者，主要关注NLP方向。这篇文章向对深度学习感兴趣的初学者介绍了机器翻译当前的现状，及其涉及的基本原理和流程。本文只对相关应用作简要介绍，不涉及公式推导（本文部分图片来源于网络）。1.机器翻译的发展上世纪80年代之前，机器翻译主要依赖于语言学的发展，分析句法、语义、语用等；之后，研究者开始将统计模型应用于机器翻译，这种方法是基于对已有的文本语料库的分析来生成翻译结果；2012年至今，随着深度学习的兴起，神经网络开始被运用在机器翻译上，并在短短几年取得了非常大的成果。2.神经网络机器翻译（Neural Machine Translation）2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构。2014 年，Sutskever等开发了一种名叫序列到序列（seq2seq）学习的方法，google以此模型在其深度学习框架tensorflow的tutorial中给出了具体的实现方法，取得了很好的效果（见https://www.tensorflow.org/tutorials/seq2seq）。2.1 (预)最快速度介绍神经网络深度学习（名字很高大上），就是指多层神经网络。上图。 这是一个单层的神经网络，多层神经网络就是在中间再插入若干个隐层，每个隐层有若干个结点。但输入输出层都只有一层。传统的编程是给了输入，确定每一个步骤，最后得到输出。神经网络的做法是给定已知的多组输入输出，称为训练样本，要做的步骤（即模型）是未知的，那怎么确定步骤（模型）呢？“回归/拟合”，用最简单的方程模型来打比方。。。直接上式子！神经网络的训练过程与此相似，也是通过训练确定隐层结点中的若干个系数。只不过神经网络模型本身是非线性的，比较复杂。前馈、误差反向传播、梯度下降这些名词，都是训练过程中用到的方法。2.2 基础的seq2seq模型基础的Seq2Seq模型由Encoder、Decoder以及连接两者的中间状态向量三部分组成，Encoder通过学习输入，将其编码成一个固定大小的状态向量C，继而将C传给Decoder，Decoder再通过对状态向量C的学习来进行输出。2.2.1 RNN与LSTMEncoder、Decoder编解码器一般采用循环神经网络（Recurrent Neural Network，RNN）的变种——长短时记忆神经网络（Long Short-term Memory，LSTM）。LSTM与普通RNN的不同之处在于，对于长距离的状态存储有着较好的效果。见下图。(a) 普通RNN(b) LSTM普通的多层神经网络(DNN)中隐层的状态信息h（就是隐层结点的输出形式的一种）独立的。RNN在当前某一时刻的隐层状态信息ht受到来自前一时刻的隐层信息ht-1影响，即RNN能够保存之前的部分记忆。对于机器翻译来讲，例如输入”My coat is white, hers is blue”，使用RNN模型，翻译后半句时，前半句的”coat”就提供了一定的信息。但是这种记忆会随着序列间隔的增大而大幅减弱。具体原理这里不作详细说明。LSTM的在每个隐层的单元中使用了加法器（门控思想）实现记忆的有选择存储，类似于我们对于小时候的记忆也是有选择的记住一样，从而大幅度地规避了使用RNN产生的问题。翻译”My coat is white, hers is blue”，翻译到”hers”，之前的”My coat”的信息就通过加法器的门控逐级保留了下来。2.1.2 Encoder-Decoder模型上图即为机器翻译中的基本seq2seq模型的基本结构，可以看到Encoder编码器接受输入（例如：我是学生），通过序列间状态的传递，得到状态信息C。然后将C分别输入到解码器当中得到翻译后的输出。这种模型运用于机器翻译中存在一个问题，就是解码器中接受的信息C全局只有一个。如果翻译“我是学生”，当翻译到“学生”，其实并不需要关注之前的“我是”，而且翻译的句子如果很长，C是个有限的量，很难保存住所有信息。所以我们希望Encoder能有所侧重地输出给Decoder。类似于下图。Decoder端可以在翻译序列的不同时刻接收不同的状态信息。这就是Attention机制。2.2 Attention机制Google的Tensorflow框架中使用了Luong在2015年提出的attention机制，上图中的Ci就可以表示为Encoder中每个hi的加权和。权重参数wi的确定又可以用到一个小的神经网络来训练。Attention机制的提出大幅提高了机器翻译的准确性。3.Facebook与Google的较量2017年5月，Facebook首次将卷积神经网络（CNN，现在在计算机视觉大行其道，背后又是一堆原理公式...）用于机器翻译，利用CNN的可并行化，再套上一堆RNN的优点，模型（名为Fairseq）训练速度快（提升9倍），翻译准确性又好（衡量指标BLEU）。紧接着，一个月后，Google开始打脸，祭出一篇《Attention is all you need》。提出一种新的Attention机制，并舍弃CNN和RNN，直接建立翻译模型，BLEU继续提高。这两种模型的原理，可以搜索相关论文。4.一个完整的seq2seq模型的流程前三部分是对当前NMT的相关研究的简要介绍。下面将给出一个完整的seq2seq模型的步骤说明，依然不涉及公式推导，但因为机器翻译属于自然语言处理（NLP）的一部分，所以会提到一些NLP的相关知识。1) 获取到原始数据集，作训练样本，数据集中包含大量的英文——中文的翻译句子，分为train_source,train_target 两个文件。I am a student
我是一名学生You are so clever
你真聪明...2) 以单个单词为单位构造映射表，也可以称为词典库，key：value格式，key为索引。{
是}3) 这样就可以转换成类似于a=[2, 45, 2, 5, 6]这样的索引向量形式。这些向量本身都是独立的，因此还需要把训练样本中各个单词之间的相关性都找出来这就是embedding，embedding是一个矩阵，原始的向量经过embedding矩阵的映射，转换成另一个向量。
经过映射得到的embed向量之间就有了相关性（至于原理，这又是一堆让人抓狂的公式）。比如，训练样本中出现”go”, ”went”, ”walk”就可以表示成具有相关性的三个向量，相关性的衡量有多种（余弦相似度...）。4) 就此得到了向量化的训练样本，计算机就可以认识并处理。因为样本太大了，可能有几百万组，一次性全部训练，时间太长，并且效果也不好。所以将样本分为多组，每一组叫一个batch，按照batch进行训练。5) 训练过程如下：for i in 总训练轮数(100000次)：
for j in batches(64个):
编码器(Encoder)
入参：训练样本输入train_source，隐层结点数，隐层层数
输出：编码器输出，隐层状态向量C
解码器(Decoder)
入参：训练样本输入train_target，隐层状态向量C
输出：预测输出
计算损失函数（误差，用于训练校正）
梯度下降法（对误差求偏导，求全局极值点，校正模型参数的具体方法）
不断寻找最优的模型参数
得到最优的模型参数
保存模型6) 输入测试样本，”you are so handsome”，得到翻译输出“你真帅”。5.总结以上就是基本的seq2seq模型的翻译流程，seq2seq不止可以用在机器翻译领域，在语言生成等领域也有较好的应用效果。本文力求以简洁的方式介绍机器翻译领域的深度学习，文中可能存在一些表述不太贴切的地方，欢迎指正。
清华大学：刘洋——基于深度学习的机器翻译
来源：图灵人工智能
概要：机器翻译的目标是利用计算机实现自然语言之间的自动翻译。机器翻译经历了规则机器翻译、统计机器翻译、神经机器翻译。
刘洋，清华大学计算机科学与技术系副教授，博士生导师...
机器翻译中的深度学习技术：CNN，Seq2Seq，SGAN，Dual Learning
机器翻译是深度学习技术与NLP结合使用最活跃的，最充满希望的一个方向。从最初完全基于靠人编纂的规则的机器翻译方法，到后来基于统计的SMT方法，再到现在神经机器翻译NMT，机器翻译技术在过去60多年的时...
从冷战到深度学习：一篇图文并茂的机器翻译史
作者：Ilya Pestov英语版译者：Vasily Zubarev中文版译者：Panda实现高质量机器翻译的梦想已经存在了很多年，很多科学家都为这一梦想贡献了自己的时间和心力。从早期的基于规则的机器...
查看提交统计提问
总时间限制: 1000ms 内存限制: 262144kB
VariantF的电脑上安装了一个机器翻译软件，他经常用这个软件...
机器翻译评估标准介绍和计算方法
对于翻译系统翻译出来的结果，我们当然可以人工判断其好坏，但这有很多限制。首先，每个人的评判标准不一样；然后，这对于评判人自身的英语水平也是有一定的要求的。近年来国际上也出了一些用于机器评判翻译结果好坏...
此文档是关于深度学习在统计&em&机器翻译领域&/em&自适应中的&em&应用&/em&研究 综合评分:0(0位...4000万 程序员的必选 600万 绿色&em&安全&/em&资源 现在开通 立省522元
或者 购买C币...
介绍统计&em&机器翻译领域&/em&中一些重要的开源软件,包括词语对齐工具、语言模型工具、自动...4000万 程序员的必选 600万 绿色&em&安全&/em&资源 现在开通 立省522元
或者 购买C币...
小晨的电脑上安装了一个机器翻译软件，他经常用这个软件来翻译英语文章。
这个翻译软件的原理很简单，它只是从头到尾，依次将每个英文单词用对应的中文含义来替换。对于每个英文...
聊天机器人（也可以称为语音助手、聊天助手、对话机器人等）是目前非常热的一个人工智能研发与产品方向。很多大型互联网公司投入重金研发相关技术，并陆续推出了相关产品，比如苹果Siri、微软Cortana与小...
没有更多推荐了，现在的位置:
利用深度学习技术翻译和机器翻译相比，会有哪些不同？
提到机器翻译时，很多心中都会感到疑惑，早在十几年前，我们把一句英文放到金山词霸里，就能被翻译成中文。如今加入了深度学习技术的机器翻译，又能有什么不同呢？
区别当然有很多，最典型的就是机器翻译能够翻译出整篇文章，可普通的翻译技术遇到长一点句子就不行了。原因就是机器翻译并非简单的将一个个单词翻译成另一种语言，而是可以像人一样，不断向前回顾以理解结构复杂的句子，并且结合上下文，理解每一个It/He/She具体指代谁。
实现这种功能，分别依赖于两种神经网络架构，一个是RNN——循环神经网络，另一个则是CNN——卷积神经网络。最近关于RNN和CNN哪个更适用于机器翻译的争论也很多，今天就来看看这两种神经网络都是如何加持机器翻译，拯救外语渣的。
RNN：机器翻译中的Old School
首先我们要明白，对于机器来说，翻译就是一个解码后再编码的过程。如果要把英语翻译成中文，就要先把英语原文解码成“神经代码”，再编码生成中文。
而循环神经网络的关键，就在于循环二字上。系统会“记住”上一次输出的内容，以此来决定下一次输出。有了上一次和下一次的概念，神经网络就不会把输入和输出的信息看做独立的，而是相互关联的时间序列。这样就可以通过以往的序列关联猜测到下一个序列会出现的词，
用最通俗的话讲，我们听多了郭德纲的相声，就知道“于谦的父亲”这一元素，后面接的一定是“王老爷子”。
在翻译时，RNN把源语言当做输入序列，把翻译语言当做输出序列，由于每一次输出都会参考上一次输出的结果，所以机器翻译更具整体性，而不是简单的翻译单词。
目前对RNN应用的最为炉火纯青的应该就是谷歌翻译了 ，去年谷歌提出了用神经网络系统进行机器翻译，据称汉译英的错误率最高下降85%，在当时还小小的引起了一番轰动。
如果说传统神经网络在翻译时，永远是用一片空白的大脑面对每一个句子，那么RNN在翻译时则拥有持久的思想，而谷歌翻译所应用的LSTM更加强了这一点。LSTM是RNN的一类变种，被译为长短期记忆网络，是一种时间递归神经网络。RNN的缺陷在于，“于谦的父亲-王老爷子”这种间隔很短的序列预测以前很容易，但要预测“今天出门晚了，所以上班[]”这类句子，需要联系到间隔较远的上下文，这时RNN可能就表现的没那么优秀了。
而LSTM，就可以学习和理解这种长期依赖关系。LSTM通过一系列计算将句子中的各个元素的特征构建成非线性的组合，同时还设立了“遗忘机制”，将权重较低的元素遗忘掉。这就意味着LSTM可以“更新”记忆，让长期依赖因素不断的存在于距离较近的神经元中。
CNN：GPU的宠儿
就在RNN机器翻译还在不断更新时，又有人提出了将CNN——卷积神经网络应用于机器翻译之上。
从上文我们可以得出结论，RNN（LSTM）机器翻译按照序列进行工作，也就是和人一样，按照顺序一个个的进行翻译。但要记住的一点是，目前比较主流的GPU最大的有点是可以进行并行计算。这样一来RNN就没法最大化利用GPU的计算能力。
而CNN则可以同时处理多个语言片段，并且具有信息分层处理能力。将文本序列化、单词向量化，经过分层处理后再输出结果。在分层过程中，还会不断回顾源文本来确定下一个输出序列。
提出这种技术的是Facebook和最近的机器翻译新秀DeepL。在上半年时，Facebook宣布推出了基于CNN开发的语言翻译模型，据说比基于RNN开发的语言翻译模型速度快9倍，而且准确率更高。在测试上，Facebook翻译系统在英语-德语、英语-法语的测试上都比RNN更接近人工翻译。
而来自德国的DeepL更是在冰岛放了台世界排名23名的超级计算机，每秒能执行5.1peta浮点运算，只为了训练他们的神经网络。
从他们自己展示的数据看来，DeepL的成绩已经远超Facebook、微软甚至谷歌。
不过不管是CNN还是RNN都不是机器翻译的终点，比如谷歌近期提到的不基于RNN的注意力机制，以及多层神经网络、深度神经网络等等，都是解决机器翻译的方法。在速度、计算资源消耗、情感理解等等多种维度上都有不同的表现。
如果从最终的实用性来说，神经网络模型能影响到的仅仅只是一部分。更多的是语料库的大小、繁重的语料标注工作等等，同时这也注定了蒙古语、藏语这种语料较少语言仍然无法受益于机器翻译。
目前的机器翻译，基本还停留在辅助人工翻译的阶段。不论是DeepL的超级计算机，还是谷歌的抛开神经网络，都可以理解成在技术上的一种“炫技”。比使用哪种神经网络更重要的，还是应该让机器翻译更多的进入我们的生活。
原文链接：
搜索爱板网加关注，每日最新的开发板、智能硬件、硬件、活动等信息可以让你一手全掌握。推荐关注！
【微信扫描下图可直接关注】
【上篇】【下篇】
自从国际电商巨头亚马逊突发奇想捣鼓出第一款智能音箱 Echo大火之后，犹如打开一扇泄洪闸门，后继者如洪水猛兽般蜂拥而至，无论国外科技巨头诸如谷歌、苹果、微软等，还是大家所熟知小米、阿...
树莓派的最新版本系统正式支持TensorFlow，让每个开源硬件爱好者都能享受深度学习的乐趣！
2015年，谷歌TensorFlow推出，从此，它一直致力于成为每一个人的开源深度学习工具。
长期以来，经...
该系统由来自加拿大西蒙弗雷泽大学的Steve DiPaola和Kate Hennessy教授及来自不列颠哥伦比亚大学的助理教授Taylor Owen共同开发。该系统首先市一个人脸部的视频图像变形，改变他们的脸部比例...
英特尔与文保基金会合作的首个项目就是利用英特尔人工智能技术修缮几百年来从未用技术手段系统修缮过的箭扣长城。
2018年可谓是人工智能从梦想走进现实的一年，众多针对边缘计算的AI产品落地，让人工智能产品化受到了普遍的认可。前不久关于人工智能的两件大事更是刷爆了朋友圈。一是Xilinx收购了仅成立两...2016年机器翻译市场现状分析-基于深度学习方法机器翻译发展经历三个阶段 - 中国报告网
机器翻译 学习方法 深度 基于 机器 三个 阶段 经历 翻译基于深度学习方法机器翻译发展经历三个阶段。随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。
当前位置： &
基于深度学习方法机器翻译发展经历三个阶段
中国报告网提示：基于深度学习方法机器翻译发展经历三个阶段。随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。
&导读：基于深度学习方法机器翻译发展经历三个阶段。随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。参考《》& & & &近年来，随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。深度学习的技术核心是一个拥有海量结点（神经元）的深度神经网络，可以自动的从语料库中学习翻译知识。一种语言的句子被向量化之后，在网络中层层传递，转化为计算机可以&理解&的表示形式，再经过多层复杂的传导运算，生成另一种语言的译文。实现了 &理解语言，生成译文&的翻译方式。广泛应用于机器翻译的是长短时记忆循环神经网络，很好地解决了自然语言句子向量化的难题，使得计算机对语言的处理不再停留在简单的字面匹配层面，而是进一步深入到语义理解的层面。 & & & &基于深度学习方法的翻译发展经历三个过程：& & & &1) &编码-解码新框架&（NalKalchbrenner，Phil Blunsom，2013）& & & &对源语言句子使用编码器（卷积神经网络）将其映射为一个连续、稠密的向量，然后再使用解码器（递归神经网络）将该向量转化为目标语言句子；其优势在于使用递归神经网络能够捕获全部历史信息和处理变长字符串，然而因为在训练递归神经网络时面临着&梯度消失&和&梯度爆炸&问题，所以长距离的依赖关系依旧难以得到真正处理。& & & &2) 引入长短期记忆（IlyaStuskever 等，2014）& & & &该架构中，无论是编码器还是解码器都使用了递归神经网络。同时，在生成目标语言词时，解码器不但考虑整个源语言句子的信息，还考虑已经生成的部分译文。该方法通过设Z门开关解决了训练递归神经网络的问题，能够较好地捕获长距离依赖。此外，引入长短期记忆大大提高了端到端机器翻译的性能，取得了与传统统计机器翻译相当甚至更好的准确率。& & & &3) 基于注意力的端到端神经网络翻译（YoshuaBengio 研究组，2015）当解码器在生成单个目标语言词时，仅有小部分的源语言词是相关的，绝大多数源语言词都是无关的。因此为每个目标语言词动态生成源语言端的上下文向量，而不是采用表示整个源语言句子的定长向量能很好地提升翻译效率，这便是基于内容的注意力计算方法。& & & &科技巨头基于深度学习的机器翻译研究进展 & & & &谷歌运用深度学习开发出一款自动翻译应用，能够将手机拍摄的图像中的文字自动翻译并且直接覆盖在原有图像之上。 资料来源：公开资料，中国报告网整理，转载请注明出处（ww）。
中国报告网提示：基于深度学习方法机器翻译发展经历三个阶段。随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。
① 按行业浏览② 按名称或内容关键字查询
① 电话购买
【订购电话】010-　400-007-6266（免长话费）② 在线订购点击“”或加客服QQ进行报告订购，我们的客服人员将在24小时内与您取得联系；③ 邮件订购发送邮件到，我们的客服人员及时与您取得联系；
您可以从网上下载“”或我们传真或者邮寄报告订购协议给您；
通过银行转账、网上银行、邮局汇款的形式支付报告购买款，我们见到汇款底单或转账底单后，1－2个工作日内;
开户行：中国建设银行北京房山支行帐户名：观研天下（北京）信息咨询有限公司帐　号：00
Copyright 2017 chinabaogao.com All Rights Reserved
全国统一客户电话：400-007-223221　ICP备案：7添加评论分享收藏感谢收起赞同 13 条评论分享收藏感谢收起机器翻译 | 我爱自然语言处理