PaperWeekly 第五期------从Word2Vec到FastTexta year ago176收藏分享举报文章被以下专栏收录欢迎关注同名微信公众号：PaperWeekly推荐阅读{&debug&:false,&apiRoot&:&&,&paySDK&:&https:\u002F\\u002Fapi\u002Fjs&,&wechatConfigAPI&:&\u002Fapi\u002Fwechat\u002Fjssdkconfig&,&name&:&production&,&instance&:&column&,&tokens&:{&X-XSRF-TOKEN&:null,&X-UDID&:null,&Authorization&:&oauth c3cef7c66aa9e6a1e3160e20&}}{&database&:{&Post&:{&&:{&isPending&:false,&contributes&:[{&sourceColumn&:{&lastUpdated&:,&description&:&PaperWeekly是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。&,&permission&:&COLUMN_PUBLIC&,&memberId&:113930,&contributePermission&:&COLUMN_PUBLIC&,&translatedCommentPermission&:&all&,&canManage&:true,&intro&:&欢迎关注同名微信公众号：PaperWeekly&,&urlToken&:&paperweekly&,&id&:15418,&imagePath&:&v2-8ae80aa47b414fc5dcce.jpg&,&slug&:&paperweekly&,&applyReason&:&0&,&name&:&PaperWeekly&,&title&:&PaperWeekly&,&url&:&https:\u002F\\u002Fpaperweekly&,&commentPermission&:&COLUMN_ALL_CAN_COMMENT&,&canPost&:true,&created&:,&state&:&COLUMN_NORMAL&,&followers&:9908,&avatar&:{&id&:&v2-8ae80aa47b414fc5dcce&,&template&:&https:\u002F\\u002F{id}_{size}.jpg&},&activateAuthorRequested&:false,&following&:false,&imageUrl&:&https:\u002F\\u002Fv2-8ae80aa47b414fc5dcce_l.jpg&,&articlesCount&:191},&state&:&accepted&,&targetPost&:{&titleImage&:&https:\u002F\\u002Fded3556dca46e452ac525a5b7beecf3c_r.png&,&lastUpdated&:,&imagePath&:&ded3556dca46e452ac525a5b7beecf3c.png&,&permission&:&ARTICLE_PUBLIC&,&topics&:[,3084],&summary&:&引Word2Vec从提出至今，已经成为了深度学习在自然语言处理中的基础部件，大大小小、形形色色的DL模型在表示词、短语、句子、段落等文本要素时都需要用word2vec来做word-level的embedding。Word2Vec的作者Tomas Mikolov是一位产出多篇高质量paper的学者，从R…&,&copyPermission&:&ARTICLE_COPYABLE&,&translatedCommentPermission&:&all&,&likes&:0,&origAuthorId&:0,&publishedTime&:&T12:49:32+08:00&,&sourceUrl&:&&,&urlToken&:,&id&:1171544,&withContent&:false,&slug&:,&bigTitleImage&:false,&title&:&PaperWeekly 第五期------从Word2Vec到FastText&,&url&:&\u002Fp\u002F&,&commentPermission&:&ARTICLE_ALL_CAN_COMMENT&,&snapshotUrl&:&&,&created&:,&comments&:0,&columnId&:15418,&content&:&&,&parentId&:0,&state&:&ARTICLE_PUBLISHED&,&imageUrl&:&https:\u002F\\u002Fded3556dca46e452ac525a5b7beecf3c_r.png&,&author&:{&bio&:&微信公众号PaperWeekly&,&isFollowing&:false,&hash&:&23dc6eb1f8f&,&uid&:20,&isOrg&:false,&slug&:&zhang-jun-87-61&,&isFollowed&:false,&description&:&厚积薄发&,&name&:&张俊&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fzhang-jun-87-61&,&avatar&:{&id&:&a4a0b508f7b0ecbd6ed744&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},&memberId&:113930,&excerptTitle&:&&,&voteType&:&ARTICLE_VOTE_CLEAR&},&id&:432687}],&title&:&PaperWeekly 第五期------从Word2Vec到FastText&,&author&:&zhang-jun-87-61&,&content&:&\u003Ch1\u003E引\u003C\u002Fh1\u003E\u003Cp\u003EWord2Vec从提出至今，已经成为了深度学习在自然语言处理中的基础部件，大大小小、形形色色的DL模型在表示词、短语、句子、段落等文本要素时都需要用word2vec来做word-level的embedding。Word2Vec的作者Tomas Mikolov是一位产出多篇高质量paper的学者，从RNNLM、Word2Vec再到最近流行的FastText都与他息息相关。一个人对同一个问题的研究可能会持续很多年，而每一年的研究成果都可能会给同行带来新的启发，本期的PaperWeekly将会分享其中三篇代表作，分别是：\u003C\u002Fp\u003E\u003Cp\u003E1、Efficient Estimation of Word Representation in Vector Space, Cbr\u003E2、Distributed Representations of Sentences and Documents, Cbr\u003E3、Enriching Word Vectors with Subword Information, C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=https%3A\u002F\u002Farxiv.org\u002Fpdf\u002F.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EEfficient Estimation of Word Representation in Vector Space\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Ch2\u003E作者\u003C\u002Fh2\u003E\u003Cp\u003ETomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean\u003C\u002Fp\u003E\u003Ch2\u003E单位\u003C\u002Fh2\u003E\u003Cp\u003EGoogle Inc., Mountain View, CA\u003C\u002Fp\u003E\u003Ch2\u003E关键词\u003C\u002Fh2\u003E\u003Cp\u003EWord Representation, Word Embedding, Neural Network, Syntactic Similarity, and Semantic Similarity\u003C\u002Fp\u003E\u003Ch2\u003E来源\u003C\u002Fh2\u003E\u003Cp\u003EarXiv, 3C\u002Fp\u003E\u003Ch2\u003E问题\u003C\u002Fh2\u003E\u003Cp\u003E如何在一个大型数据集上快速、准确地学习出词表示？\u003C\u002Fp\u003E\u003Ch2\u003E模型\u003C\u002Fh2\u003E\u003Cp\u003E传统的NNLM模型包含四层，即输入层、映射层、隐含层和输出层，计算复杂度很大程度上依赖于映射层到隐含层之间的计算，而且需要指定上下文的长度。RNNLM模型被提出用来改进NNLM模型，去掉了映射层，只有输入层、隐含层和输出层，计算复杂度来源于上一层的隐含层到下一层隐含层之间的计算。\u003C\u002Fp\u003E\u003Cp\u003E本文提出的两个模型CBOW (Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model)结合了上面两个模型的特点，都是只有三层，即输入层、映射层和输出层。CBOW模型与NNLM模型类似，用上下文的词向量作为输入，映射层在所有的词间共享，输出层为一个分类器，目标是使当前词的概率最大。Skip-gram模型与CBOW的输入跟输出恰好相反，输入层为当前词向量，输出层是使得上下文的预测概率最大，如下图所示。训练采用SGD。\u003Cfigure\u003E\u003Cnoscript\u003E\u003Cimg src=\&https:\u002F\\u002F3b66c499eaff3e04df65_b.jpg\& data-rawwidth=\&362\& data-rawheight=\&223\& class=\&content_image\& width=\&362\&\u003E\u003C\u002Fnoscript\u003E\u003Cimg src=\&data:image\u002Fsvg+utf8,&svg%20xmlns='http:\u002F\u002Fwww.w3.org\u002FFsvg'%20width='362'%20height='223'&&\u002Fsvg&\& data-rawwidth=\&362\& data-rawheight=\&223\& class=\&content_image lazy\& width=\&362\& data-actualsrc=\&https:\u002F\\u002F3b66c499eaff3e04df65_b.jpg\&\u003E\u003C\u002Ffigure\u003E\u003C\u002Fp\u003E\u003Ch2\u003E资源\u003C\u002Fh2\u003E\u003Cp\u003ECode: \u003Ca href=\&http:\u002F\\u002F?target=https%3A\u002F\\u002Farchive\u002Fp\u002Fword2vec\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EC++代码\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003Cbr\u003EDataset: \u003Ca href=\&http:\u002F\\u002F?target=https%3A\u002F\\u002Fsite\u002Fsemeval2012task2\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ESemEval-Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E,用来评估语义相关性。\u003C\u002Fp\u003E\u003Ch2\u003E相关工作\u003C\u002Fh2\u003E\u003Cp\u003EBengio[1]在2003年就提出了language model的思路，同样是三层（输入层，隐含层和输出层）用上下文的词向量来预测中间词，但是计算复杂度较高，对于较大的数据集运行效率低；实验中也发现将上下文的n-gram出现的频率结合进去会提高性能，这个优点体现在CBOW和Skip-gram模型的输出层中，用hierarchical softmax（with huffman trees）来计算词概率。\u003C\u002Fp\u003E\u003Ch2\u003E简评\u003C\u002Fh2\u003E\u003Cp\u003E本文的实验结果显示CBOW比NNLM在syntactic和semantic上的预测都要好，而Skip-gram在semantic上的性能要优于CBOW，但是其计算速度要低于CBOW。结果显示用较大的数据集和较少的epoch，可以取得较好的效果，并且在速度上有所提升。与LSI和LDA相比，word2vec利用了词的上下文，语义信息更加丰富。基于word2vec，出现了phrase2vec, sentence2vec和doc2vec，仿佛一下子进入了embedding的世界。NLP的这些思想也在用于recommendation等方面，并且与image结合，将image跟text之间进行转换。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.76\u002Farxiv.org\u002Fpdf\u002F.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EDistributed Representations of Sentences and Documents\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Ch2\u003E作者\u003C\u002Fh2\u003E\u003Cp\u003EQuoc V. Le, Tomas Mikolov\u003C\u002Fp\u003E\u003Ch2\u003E单位\u003C\u002Fh2\u003E\u003Cp\u003EGoogle Inc, Mountain View, CA\u003C\u002Fp\u003E\u003Ch2\u003E关键词\u003C\u002Fh2\u003E\u003Cp\u003Esentence representation\u003C\u002Fp\u003E\u003Ch2\u003E来源\u003C\u002Fh2\u003E\u003Cp\u003EICML C\u002Fp\u003E\u003Ch2\u003E问题\u003C\u002Fh2\u003E\u003Cp\u003E基于word2vec的思路，如何表示sentence和document？\u003C\u002Fp\u003E\u003Ch2\u003E模型\u003Cfigure\u003E\u003Cnoscript\u003E\u003Cimg src=\&https:\u002F\\u002Fc6dac075c8ed2bb77bb1_b.jpg\& data-rawwidth=\&418\& data-rawheight=\&245\& class=\&content_image\& width=\&418\&\u003E\u003C\u002Fnoscript\u003E\u003Cimg src=\&data:image\u002Fsvg+utf8,&svg%20xmlns='http:\u002F\u002Fwww.w3.org\u002FFsvg'%20width='418'%20height='245'&&\u002Fsvg&\& data-rawwidth=\&418\& data-rawheight=\&245\& class=\&content_image lazy\& width=\&418\& data-actualsrc=\&https:\u002F\\u002Fc6dac075c8ed2bb77bb1_b.jpg\&\u003E\u003C\u002Ffigure\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cbr\u003E利用one-hot的表示方法作为网络的输入，乘以词矩阵W，然后将得到的每个向量通过平均或者拼接的方法得到整个句子的表示，最后根据任务要求做一分类，而这过程中得到的W就是词向量矩阵，基本上还是word2vec的思路。\u003C\u002Fp\u003E\u003Cp\u003E接下来是段落的向量表示方法：\u003Cfigure\u003E\u003Cnoscript\u003E\u003Cimg src=\&https:\u002F\\u002Feff574ab1e41a0f8d3f0eb_b.jpg\& data-rawwidth=\&400\& data-rawheight=\&225\& class=\&content_image\& width=\&400\&\u003E\u003C\u002Fnoscript\u003E\u003Cimg src=\&data:image\u002Fsvg+utf8,&svg%20xmlns='http:\u002F\u002Fwww.w3.org\u002FFsvg'%20width='400'%20height='225'&&\u002Fsvg&\& data-rawwidth=\&400\& data-rawheight=\&225\& class=\&content_image lazy\& width=\&400\& data-actualsrc=\&https:\u002F\\u002Feff574ab1e41a0f8d3f0eb_b.jpg\&\u003E\u003C\u002Ffigure\u003E\u003Cbr\u003E依旧是相同的方法，只是在这里加上了一个段落矩阵，用以表示每个段落，当这些词输入第i个段落时，通过段落id就可以从这个矩阵中得到相对应的段落表示方法。需要说明的是，在相同的段落中，段落的表示是相同的。文中这样表示的动机就是段落矩阵D可以作为一个memory记住在词的context中遗失的东西，相当于增加了一个额外的信息。这样经过训练之后，我们的就得到了段落表示D，当然这个段落就可以是一段或者一篇文章。\u003C\u002Fp\u003E\u003Cp\u003E最后一种就是没有词序的段落向量表示方法：\u003Cfigure\u003E\u003Cnoscript\u003E\u003Cimg src=\&https:\u002F\\u002Facbc72d6d372_b.jpg\& data-rawwidth=\&400\& data-rawheight=\&261\& class=\&content_image\& width=\&400\&\u003E\u003C\u002Fnoscript\u003E\u003Cimg src=\&data:image\u002Fsvg+utf8,&svg%20xmlns='http:\u002F\u002Fwww.w3.org\u002FFsvg'%20width='400'%20height='261'&&\u002Fsvg&\& data-rawwidth=\&400\& data-rawheight=\&261\& class=\&content_image lazy\& width=\&400\& data-actualsrc=\&https:\u002F\\u002Facbc72d6d372_b.jpg\&\u003E\u003C\u002Ffigure\u003E\u003Cbr\u003E\u003Cbr\u003E从图中就可以感觉到这个方法明显和skip-gram非常相似，这里只是把重点放在了段落的表示中，通过段落的表示，来预测相应的context 词的表示。最后我们依然可以得到段落矩阵D，这样就可以对段落进行向量化表示了。但是输入起码是句子级别的表示，而输出则是词的向量表示，因此个人比较怀疑这种方法的合理性。\u003C\u002Fp\u003E\u003Ch2\u003E简评\u003C\u002Fh2\u003E\u003Cp\u003E这篇文章是word2vec的方法提出一年后提出的方法，因此本文并没有使用目前非常流行的word2vec的训练方法来训练词向量，而是利用word2vec的思路，提出了一种更加简单的网络结构来训练任意长度的文本表示方法。这样一方面好训练，另一方面减少了参数，避免模型过拟合。优点就是在训练paragraph vector的时候加入了一个paragraph matrix，这样在训练过程中保留了一部分段落或者文档信息。这点在目前看来也是有一定优势的。但是目前深度学习发展迅速，可以处理非常大的计算量，同时word2vec以及其变种被应用得非常普遍，因此该文章提出的方法思路大于模型，思路我们可以借鉴，模型就不具有优势了。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.80\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EEnriching Word Vectors with Subword Information\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Ch2\u003E作者\u003C\u002Fh2\u003E\u003Cp\u003EPiotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov\u003C\u002Fp\u003E\u003Ch2\u003E单位\u003C\u002Fh2\u003E\u003Cp\u003EFacebook AI Research\u003C\u002Fp\u003E\u003Ch2\u003E关键词\u003C\u002Fh2\u003E\u003Cp\u003EWord embedding, morphological, character n-gram\u003C\u002Fp\u003E\u003Ch2\u003E来源\u003C\u002Fh2\u003E\u003Cp\u003EarXiv, 3C\u002Fp\u003E\u003Ch2\u003E问题\u003C\u002Fh2\u003E\u003Cp\u003E如何解决word2vec方法中罕见词效果不佳的问题，以及如何提升词形态丰富语言的性能？\u003C\u002Fp\u003E\u003Ch2\u003E模型\u003C\u002Fh2\u003E\u003Cp\u003Eword2vec在词汇建模方面产生了巨大的贡献，然而其依赖于大量的文本数据进行学习，如果一个word出现次数较少那么学到的vector质量也不理想。针对这一问题作者提出使用subword信息来弥补这一问题，简单来说就是通过词缀的vector来表示词。比如unofficial是个低频词，其数据量不足以训练出高质量的vector，但是可以通过un+official这两个高频的词缀学习到不错的vector。\u003C\u002Fp\u003E\u003Cp\u003E方法上，本文沿用了word2vec的skip-gram模型，主要区别体现在特征上。word2vec使用word作为最基本的单位，即通过中心词预测其上下文中的其他词汇。而subword model使用字母n-gram作为单位，本文n取值为3~6。这样每个词汇就可以表示成一串字母n-gram，一个词的embedding表示为其所有n-gram的和。这样我们训练也从用中心词的embedding预测目标词，转变成用中心词的n-gram embedding预测目标词。\u003C\u002Fp\u003E\u003Cp\u003E实验分为三个部分，分别是（1）计算两个词之间的语义相似度，与人类标注的相似度进行相关性比较；（2）与word2vec一样的词类比实验；（3）与其他考虑morphology的方法比较。结果是本文方法在语言形态丰富的语言（土耳其语，法语等）及小数据集上表现优异，与预期一致。\u003C\u002Fp\u003E\u003Ch2\u003E资源\u003C\u002Fh2\u003E\u003Cp\u003E源码公布在Facebook的fastText项目中：\u003Ca href=\&http:\u002F\\u002F?target=https%3A\\u002Ffacebookresearch\u002FfastText\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EGitHub - facebookresearch\u002FfastText: Library for fast text representation and classification.\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch2\u003E相关工作\u003C\u002Fh2\u003E\u003Cp\u003E利用语言形态学来改进nlp的研究源远流长，本文提及的许多关于character-level和morphology的有趣工作值得参考。\u003C\u002Fp\u003E\u003Ch2\u003E简评\u003C\u002Fh2\u003E\u003Cp\u003E文章中提出的思路对于morphologically rich languages（例如土耳其语，词缀的使用极为普遍而有趣）来说十分有意义。词缀作为字母与单词之间的中层单位，本身具有一定的语义信息。通过充分利用这种中层语义来表征罕见词汇，直观上讲思路十分合理，也是应用了compositionality的思想。\u003C\u002Fp\u003E\u003Cp\u003E利用形态学改进word embedding的工作十分丰富，但中文NLP似乎很难利用这一思路。其实个人感觉中文中也有类似于词缀的单位，比如偏旁部首等等，只不过不像使用字母系统的语言那样容易处理。期待今后也有闪光的工作出现在中文环境中。\u003C\u002Fp\u003E\u003Ch1\u003E总结\u003C\u002Fh1\u003E\u003Cp\u003E从Word2Vec到FastText，从word representation到sentence classification，Tomas Mikolov的工作影响了很多人。虽然有个别模型和实验结果曾遭受质疑，但终究瑕不掩瑜。word2vec对NLP的研究起到了极大地推动作用，其实不仅仅是在NLP领域中，在其他很多领域中都可以看到word2vec的思想和作用，也正是从word2vec开始，这个世界变得都被vector化了，person2vec，sentence2vec，paragraph2vec，anything2vec，world2vec。\u003C\u002Fp\u003E\u003Cp\u003E以上为本期Paperweekly的主要内容，感谢memray、zhkun、gcyydxf、jell四位同学的整理。\u003C\u002Fp\u003E\u003Ch1\u003E广告时间\u003C\u002Fh1\u003E\u003Cp\u003EPaperWeekly是一个分享知识和交流学问的民间组织，关注的领域是NLP的各个方向。如果你也经常读paper，也喜欢分享知识，也喜欢和大家一起讨论和学习的话，请速速来加入我们吧。\u003C\u002Fp\u003E\u003Cp\u003E微信公众号：PaperWeekly\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\\u002Fr\u002FOUW0rA3ExVC6rUnP9xAr\& class=\& external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003E\u003Cspan class=\&invisible\&\u003Ehttp:\u002F\u002F\u003C\u002Fspan\u003E\u003Cspan class=\&visible\&\\u002Fr\u002FOUW0rA3\u003C\u002Fspan\u003E\u003Cspan class=\&invisible\&\u003EExVC6rUnP9xAr\u003C\u002Fspan\u003E\u003Cspan class=\&ellipsis\&\u003E\u003C\u002Fspan\u003E\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E (二维码自动识别)\u003C\u002Fp\u003E微博账号：PaperWeekly（\u003Ca href=\&http:\u002F\\u002F?target=http%3A\\u002Fu\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EPaperWeekly的微博\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E ）\u003Cbr\u003E知乎专栏：PaperWeekly（\u003Ca href=\&https:\u002F\\u002Fpaperweekly\& class=\&internal\&\u003EPaperWeekly - 知乎专栏\u003C\u002Fa\u003E ）\u003Cbr\u003E微信交流群：微信+ zhangjun168305（请备注：加群 or 加入paperweekly）&,&updated&:new Date(&T04:49:32.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:16,&collapsedCount&:0,&likeCount&:176,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&titleImage&:&https:\u002F\\u002Fded3556dca46e452ac525a5b7beecf3c_r.png&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&reviewers&:[],&topics&:[{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&自然语言处理&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&深度学习（Deep Learning）&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&机器学习&}],&adminClosedComment&:false,&titleImageSize&:{&width&:500,&height&:302},&href&:&\u002Fapi\u002Fposts\u002F&,&excerptTitle&:&&,&column&:{&slug&:&paperweekly&,&name&:&PaperWeekly&},&tipjarState&:&inactivated&,&annotationAction&:[],&sourceUrl&:&&,&pageCommentsCount&:16,&hasPublishingDraft&:false,&snapshotUrl&:&&,&publishedTime&:&T12:49:32+08:00&,&url&:&\u002Fp\u002F&,&lastestLikers&:[{&bio&:&点点成追忆&,&isFollowing&:false,&hash&:&51f4dfc757e&,&uid&:64,&isOrg&:false,&slug&:&fringe-beta&,&isFollowed&:false,&description&:&No fate but what we make&,&name&:&Betafringe&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Ffringe-beta&,&avatar&:{&id&:&da8e974dc&,&template&:&https:\u002F\\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&&,&isFollowing&:false,&hash&:&f87dbb72aa92e177ce8cb90ed79f019a&,&uid&:04,&isOrg&:false,&slug&:&ni-hao-26-27&,&isFollowed&:false,&description&:&&,&name&:&倪好&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fni-hao-26-27&,&avatar&:{&id&:&da8e974dc&,&template&:&https:\u002F\\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&Helloworld 达人&,&isFollowing&:false,&hash&:&059b2cc081cd384ea1e9ff&,&uid&:20,&isOrg&:false,&slug&:&luikore&,&isFollowed&:false,&description&:&https:\\u002Fluikore&,&name&:&luikore&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fluikore&,&avatar&:{&id&:&299b23cf0a6bcb8e8a16b1&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&每天两升冰红茶→_→\n\n近已换旺仔牛奶\u002F爽粒葡萄\n\n常年沉迷无聊的段子不能自拔&,&isFollowing&:false,&hash&:&ef05d81c24faa764b2a8ee4&,&uid&:44,&isOrg&:false,&slug&:&paypaid&,&isFollowed&:false,&description&:&第一批第二黑小白鼠&,&name&:&paid Pay&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fpaypaid&,&avatar&:{&id&:&v2-9ff1cf755f0ba8edf162e74f&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&扯淡&,&isFollowing&:false,&hash&:&48a5c2ef38&,&uid&:28,&isOrg&:false,&slug&:&baby-raccoon&,&isFollowed&:false,&description&:&&,&name&:&小浣熊&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fbaby-raccoon&,&avatar&:{&id&:&da8e974dc&,&template&:&https:\u002F\\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false}],&summary&:&引Word2Vec从提出至今，已经成为了深度学习在自然语言处理中的基础部件，大大小小、形形色色的DL模型在表示词、短语、句子、段落等文本要素时都需要用word2vec来做word-level的embedding。Word2Vec的作者Tomas Mikolov是一位产出多篇高质量paper的学者，从R…&,&reviewingCommentsCount&:0,&meta&:{&previous&:{&isTitleImageFullScreen&:false,&rating&:&none&,&titleImage&:&https:\u002F\\u002F50\u002Fea9f4fe15a56fe56e26e98d_xl.jpg&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&topics&:[{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&自然语言处理&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&深度学习（Deep Learning）&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&机器学习&}],&adminClosedComment&:false,&href&:&\u002Fapi\u002Fposts\u002F&,&excerptTitle&:&&,&author&:{&bio&:&微信公众号PaperWeekly&,&isFollowing&:false,&hash&:&23dc6eb1f8f&,&uid&:20,&isOrg&:false,&slug&:&zhang-jun-87-61&,&isFollowed&:false,&description&:&厚积薄发&,&name&:&张俊&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fzhang-jun-87-61&,&avatar&:{&id&:&a4a0b508f7b0ecbd6ed744&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},&column&:{&slug&:&paperweekly&,&name&:&PaperWeekly&},&content&:&\u003Cp\u003E本周（-）质量较高的arXiv cs.CL的paper如下：\u003Cbr\u003E（点击标题可看原文）\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EConvolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E张潼老师的文章，通过实验对比了shallow word-level CNN（本文工作）和deep char-level CNN模型在而文本分类任务上的表现，结论是本文工作又快又准。\u003C\u002Fp\u003E\u003Cp\u003E（这篇文章对于选择char-level还是word-level做文本分类非常有指导意义）\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ESkipping Word: A Character-Sequential Representation based Framework for Question Answering\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文用char-level CNN模型来做句子表示，然后进行question和answer之间的相关匹配学习，CIKM2016 short paper accepted。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EEnd-to-End Reinforcement Learning of Dialogue Agents for Information Access\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文是微软研究软邓力老师的文章，构建了一种从知识图谱中形成response的聊天机器人KB-InfoBot，并且提出了一种端到端的增强学习训练方案。\u003C\u002Fp\u003E\u003Cp\u003E（本文对于构建一个端到端的KB + task-oriented chatbot非常有启发和指导意义）\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EJoint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出一种模型，将intent detection、slot filling和language modeling融合在一起进行学习，用于解决对话系统中的SLU task。本文是SIGDIAL 2016 paper。\u003C\u002Fp\u003E\u003Cp\u003E用到的数据集在Dropbox有一份\u003Ca href=\&http:\u002F\\u002F?target=http%3A\\u002FRcbcpfl\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003Ecopy\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EAttention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E和上一篇paper是同一个作者，解决的是同一个问题。将RNN换成了attention-based RNN，被另外一个会议录取。(有点灌水的意思)\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.77\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EAsk the GRU: Multi-task Learning for Deep Text Recommendations\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出了用端到端的解决方案来做paper的推荐任务，用GRU将文本序列（标题、摘要等）encode到一个latent vector中。并且通过多任务学习来完成内容推荐和条目预测两个task，取得了不错的效果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E以下内容为arXiv外的优质内容：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\\u002Fresearch\u002Fpapers\u002FDiscriminative_Methods_for_Statistical_Spoken_Dialogue_Systems_Matthew_Henderson_PhD_Thesis.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EDiscriminative Methods for Statistical Spoken Dialogue Systems\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E剑桥大学Spoken Dialogue System组毕业的Matthew Henderson博士，师从于Steve Young教授，研究领域是对话系统中的Dialogue State Tracking，主要特色是用transfer learning来解决discriminative model的扩展性和通用性。\u003C\u002Fp\u003E\u003Cp\u003E如果你对chatbot感兴趣，强烈建议好好研读一下这篇博士论文。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002Fcs.stanford.edu\u002Fpeople\u002Fkarpathy\u002Fmain.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ECONNECTING IMAGES AND NATURAL LANGUAGE\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E斯坦福大学Feifei Li的博士生Andrej Karpathy的PhD thesis，Karpathy维护着几个非常流行的开源代码库，并且有着一个影响力非常大的博客。名师出高徒，这篇博士博士论文值得一看！\u003C\u002Fp\u003E\u003Cp\u003E最近，他更新了一篇博客，谈论了一些自己对读博的思考和建议。 \u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002Fkarpathy.github.io\u002F\u002F07\u002Fphd\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EA Survival Guide to a PhD\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=https%3A\u002F\\u002Fshare\u002Flink%3Fshareid%3Duk%3D\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EMendeley Docs\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003Epaper越看越多，一个优秀的paper管理工具就变得非常必要了，Mendeley是其中最优秀的代表之一。\u003C\u002Fp\u003E\u003Cp\u003EEasily organize your papers, read & annotate your PDFs, collaborate in private or open groups, and securely access your research from everywhere.\u003C\u002Fp\u003E\u003Ch1\u003E广告时间\u003C\u002Fh1\u003E\u003Cp\u003EPaperWeekly是一个分享知识和交流学问的民间组织，关注的领域是NLP的各个方向。如果你也经常读paper，也喜欢分享知识，也喜欢和大家一起讨论和学习的话，请速速来加入我们吧。\u003C\u002Fp\u003E\u003Cp\u003E微信公众号：PaperWeekly\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\\u002Fr\u002FOUW0rA3ExVC6rUnP9xAr\& class=\& external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003E\u003Cspan class=\&invisible\&\u003Ehttp:\u002F\u002F\u003C\u002Fspan\u003E\u003Cspan class=\&visible\&\\u002Fr\u002FOUW0rA3\u003C\u002Fspan\u003E\u003Cspan class=\&invisible\&\u003EExVC6rUnP9xAr\u003C\u002Fspan\u003E\u003Cspan class=\&ellipsis\&\u003E\u003C\u002Fspan\u003E\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E (二维码自动识别)\u003C\u002Fp\u003E\u003Cp\u003E微博账号：PaperWeekly（\u003Ca href=\&http:\u002F\\u002F?target=http%3A\\u002Fu\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EPaperWeekly的微博\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E ）\u003Cbr\u003E知乎专栏：PaperWeekly（\u003Ca href=\&https:\u002F\\u002Fpaperweekly\& class=\&internal\&\u003EPaperWeekly - 知乎专栏\u003C\u002Fa\u003E ）\u003Cbr\u003E微信交流群：微信+ zhangjun168305（请备注：加群 or 加入paperweekly）\u003C\u002Fp\u003E&,&state&:&published&,&sourceUrl&:&&,&pageCommentsCount&:0,&canComment&:false,&snapshotUrl&:&&,&slug&:,&publishedTime&:&T13:06:12+08:00&,&url&:&\u002Fp\u002F&,&title&:&cs.CL weekly -&,&summary&:&本周（-）质量较高的arXiv cs.CL的paper如下： （点击标题可看原文）\u003Ca href=\&http:\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& data-editable=\&true\& data-title=\&Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level\& class=\&\&\u003EConvolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level\u003C\u002Fa\u003E张潼老师的文章，通过实验对比了shallow word-level CNN（本…&,&reviewingCommentsCount&:0,&meta&:{&previous&:null,&next&:null},&commentPermission&:&anyone&,&commentsCount&:0,&likesCount&:13},&next&:{&isTitleImageFullScreen&:false,&rating&:&none&,&titleImage&:&https:\u002F\\u002F50\u002Fea9f4fe15a56fe56e26e98d_xl.jpg&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&topics&:[{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&自然语言&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&深度学习（Deep Learning）&},{&url&:&https:\u002F\\u002Ftopic\u002F&,&id&:&&,&name&:&机器学习&}],&adminClosedComment&:false,&href&:&\u002Fapi\u002Fposts\u002F&,&excerptTitle&:&&,&author&:{&bio&:&微信公众号PaperWeekly&,&isFollowing&:false,&hash&:&23dc6eb1f8f&,&uid&:20,&isOrg&:false,&slug&:&zhang-jun-87-61&,&isFollowed&:false,&description&:&厚积薄发&,&name&:&张俊&,&profileUrl&:&https:\u002F\\u002Fpeople\u002Fzhang-jun-87-61&,&avatar&:{&id&:&a4a0b508f7b0ecbd6ed744&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},&column&:{&slug&:&paperweekly&,&name&:&PaperWeekly&},&content&:&\u003Cp\u003E本周（-）质量较高的arXiv cs.CL的paper如下：\u003Cbr\u003E（点击标题可看原文）\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.75\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EDialogue manager domain adaptation using Gaussian process reinforcement learning\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文是Steve Young组的一篇大作，文中详细介绍了Gaussian process reinforcement learning框架的思路和优势，并且在多个对话领域中进行了实验并得到更好的结果。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EA Hierarchical Model of Reviews for Aspect-based Sentiment Analysis\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出用分层双向LSTM模型对网站评论数据进行观点挖掘，发表在EMNLP 2016。该作者今天在arxiv上提交了三篇同类问题不同解决方案的paper，对评论观点和情感挖掘的童鞋可作参考。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EKnowledge as a Teacher: Knowledge-Guided Structural Attention Networks\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出了用先验知识+attention network的模型，用来解决了自然语言理解存在问题：通过从少量训练数据中捕获重要子结构，来缓解测试集中的unseen data问题，同时提高理解能力。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv2.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EWav2Letter: an End-to-End ConvNet-based Speech Recognition System\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出了一种语音识别的端到端模型，基于CNN和graph decoding，在不依赖因素对齐的前提下，输出letters。本文工作来自Facebook AI。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EMultimodal Attention for Neural Machine Translation\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文通过利用image caption的多模态、多语言数据构建了一个NMT模型，模型的输入不仅是source language，还有所描述的图像，输出是target language。通过输入更多的信息，得到了更好的效果。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EJoint Extraction of Events and Entities within a Document Context\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文针对传统信息抽取方法将event和entity分开考虑的问题，提出了在docuemnt-level context下考虑event和entity之间关系进行信息抽取的新方法，取得了非常好的结果。本文发表在NAACL2016.\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.75\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ECharacter-Level Language Modeling with Hierarchical Recurrent Neural Networks\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E语言模型问题上，char-level可以很好地解决OOV的问题，但效果不如word-level，本文针对该问题提出了一种分层模型，同时兼顾word-level和char-level的优势。本文发表在nips2016。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ENeural Machine Translation with Supervised Attention\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003Eattention机制可以动态地对齐source和target words，但准确率不如传统方法。本文提出了用传统方法作为teacher，来“教”model学习alignment，模型称为supervised attention。本文已投稿COLING2016，在审。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.76\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EEfficient softmax approximation for GPUs\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文提出了一种高效的softmax近似方法，并且可以方便地进行并行计算。本文称之为adaptive softmax，根据词分布进行聚类，极大地提高了计算效率并保证了不错的准确率。本文工作来自Facebook AI Research。\u003C\u002Fp\u003E\u003Cp\u003E在自然语言生成任务中常常面临word vocabulary size太大的困境，softmax的效率非常低，本文给出了一种快速计算的方法。Tomas Mikolov之前也提到过类似的思路。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ECharacterizing the Language of Online Communities and its Relation to Community Reception\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本文研究了在线社区语言的style和topic哪个更具代表性，这里style用复合语言模型来表示，topic用LDA来表示，通过Reddit Forum实验得到style比topic更有代表性。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.79\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EFactored Neural Machine Translation\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E针对机器翻译领域中两个常见的问题：1、目标语言词汇表过大；2、OOV问题；利用了单词的词形和语法分解，提出了一种新的NMT模型，并取得了满意的效果。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.78\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EContext Aware Nonnegative Matrix Factorization Clustering\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003E大多数paper都在研究NMF在聚类中的初始化和优化部分，而本文关注的点在于最后的聚类分配上。本文被 ICPR 2016全文收录。\u003C\u002Fp\u003E\u003Cp\u003E以下内容为arXiv外的优质内容：\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002Fwww.sigdial.org\u002Fworkshops\u002Fconference17\u002Fproceedings\u002FSIGDIAL-2016.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ESIGDIAL 2016 Accepted Paper\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003ESIGdial是ACL下面的一个关于对话系统地特别兴趣小组，每年开一次会。今年的会议最近正在开，会议录用的所有paper都已经放出。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002Fspeech.sv.cmu.edu\u002Fsoftware.html\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003ECMU SPEECH Team Homepage\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003ECMU SPEECH Team的主页，包括他们的开源软件Yoda和publication及其开源实现。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Ca href=\&http:\u002F\\u002F?target=https%3A\u002F\\u002Fr\u002FMachineLearning\u002Fcomments\u002F4zcyvk\u002Fmachine_learning_wayr_what_are_you_reading_week_6\u002F%3Fst%3DISZ6YT6D%26sh%3D02bd0722\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EMachine Learning - WAYR (What Are You Reading)\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E\u003C\u002Fh1\u003E\u003Cp\u003Ereddit上的这个帖子很有意思，和paperweekly想做的一个事情非常像，就是可以让读类似或者同一篇paper的童鞋得到充分交流。\u003C\u002Fp\u003E\u003Ch1\u003E广告时间\u003C\u002Fh1\u003E\u003Cp\u003EPaperWeekly是一个分享知识和交流学问的民间组织，关注的领域是NLP的各个方向。如果你也经常读paper，也喜欢分享知识，也喜欢和大家一起讨论和学习的话，请速速来加入我们吧。\u003C\u002Fp\u003E\u003Cp\u003E微信公众号：PaperWeekly\u003Cbr\u003E微博账号：PaperWeekly（\u003Ca href=\&http:\u002F\\u002F?target=http%3A\\u002Fu\u002F\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EPaperWeekly的微博\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E ）每天都会分享当天arXiv cs.CL板块刷新的高质量paper\u003Cbr\u003E知乎专栏：PaperWeekly（\u003Ca href=\&https:\u002F\\u002Fpaperweekly\& class=\&internal\&\u003EPaperWeekly - 知乎专栏\u003C\u002Fa\u003E ）\u003Cbr\u003E微信交流群：微信+ zhangjun168305（请备注：加群 or 加入paperweekly）\u003C\u002Fp\u003E&,&state&:&published&,&sourceUrl&:&&,&pageCommentsCount&:0,&canComment&:false,&snapshotUrl&:&&,&slug&:,&publishedTime&:&T08:28:05+08:00&,&url&:&\u002Fp\u002F&,&title&:&cs.CL weekly -&,&summary&:&本周（-）质量较高的arXiv cs.CL的paper如下： （点击标题可看原文）\u003Ca href=\&http:\u002F\\u002F?target=http%3A\u002F\u002F120.52.73.75\u002Farxiv.org\u002Fpdf\u002Fv1.pdf\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003EDialogue manager domain adaptation using Gaussian process reinforcement learning\u003Ci class=\&icon-external\&\u003E\u003C\u002Fi\u003E\u003C\u002Fa\u003E本文是Steve Young组的一篇大作，文中详细介绍了Gaussian process reinforcemen…&,&reviewingCommentsCount&:0,&meta&:{&previous&:null,&next&:null},&commentPermission&:&anyone&,&commentsCount&:1,&likesCount&:12}},&annotationDetail&:null,&commentsCount&:16,&likesCount&:176,&FULLINFO&:true}},&User&:{&zhang-jun-87-61&:{&isFollowed&:false,&name&:&张俊&,&headline&:&厚积薄发&,&avatarUrl&:&https:\u002F\\u002F50\u002Fa4a0b508f7b0ecbd6ed744_s.jpg&,&isFollowing&:false,&type&:&people&,&slug&:&zhang-jun-87-61&,&bio&:&微信公众号PaperWeekly&,&hash&:&23dc6eb1f8f&,&uid&:20,&isOrg&:false,&description&:&厚积薄发&,&badge&:{&identity&:null,&bestAnswerer&:null},&profileUrl&:&https:\u002F\\u002Fpeople\u002Fzhang-jun-87-61&,&avatar&:{&id&:&a4a0b508f7b0ecbd6ed744&,&template&:&https:\u002F\\u002F50\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false}},&Comment&:{},&favlists&:{}},&me&:{},&global&:{&experimentFeatures&:{&ge3&:&ge3_9&,&ge2&:&ge2_1&,&nwebStickySidebar&:&sticky&,&androidPassThroughPush&:&all&,&newMore&:&new&,&liveReviewBuyBar&:&live_review_buy_bar_2&,&liveStore&:&ls_a2_b2_c1_f2&,&qawebThumbnailAbtest&:&old&,&searchHybridTabs&:&without-tabs&,&iOSEnableFeedModuleWWANAritclePreRender&:&iOS_FeedModule_WWAN_PreRender_Enable&,&isOffice&:&false&,&liveDetailWechatBanner&:&Live_detail_wechat_banner_1&,&newLiveFeedMediacard&:&old&,&homeUi2&:&default&,&showVideoUploadAttention&:&false&,&recommendationAbtest&:&new&,&marketTab&:&market_tab_old&,&qrcodeLogin&:&qrcode&,&isShowUnicomFreeEntry&:&unicom_free_entry_off&,&newMobileColumnAppheader&:&new_header&,&androidDbRecommendAction&:&open&,&zcmLighting&:&zcm&,&favAct&:&default&,&appStoreRateDialog&:&close&,&mobileQaPageProxyHeifetz&:&m_qa_page_nweb&,&default&:&None&,&wechatShareModal&:&wechat_share_modal_show&,&qaStickySidebar&:&sticky_sidebar&,&androidProfilePanel&:&panel_b&,&nwebWriteAnswer&:&experiment&}},&columns&:{&next&:{},&paperweekly&:{&following&:false,&canManage&:false,&href&:&\u002Fapi\u002Fcolumns\u002Fpaperweekly&,&name&:&PaperWeekly&,&creator&:{&slug&:&zhang-jun-87-61&},&url&:&\u002Fpaperweekly&,&slug&:&paperweekly&,&avatar&:{&id&:&v2-8ae80aa47b414fc5dcce&,&template&:&https:\u002F\\u002F{id}_{size}.jpg&}}},&columnPosts&:{},&columnSettings&:{&colomnAuthor&:[],&uploadAvatarDetails&:&&,&contributeRequests&:[],&contributeRequestsTotalCount&:0,&inviteAuthor&:&&},&postComments&:{},&postReviewComments&:{&comments&:[],&newComments&:[],&hasMore&:true},&favlistsByUser&:{},&favlistRelations&:{},&promotions&:{},&switches&:{&couldSetPoster&:false},&draft&:{&titleImage&:&&,&titleImageSize&:{},&isTitleImageFullScreen&:false,&canTitleImageFullScreen&:false,&title&:&&,&titleImageUploading&:false,&error&:&&,&content&:&&,&draftLoading&:false,&globalLoading&:false,&pendingVideo&:{&resource&:null,&error&:null}},&drafts&:{&draftsList&:[],&next&:{}},&config&:{&userNotBindPhoneTipString&:{}},&recommendPosts&:{&articleRecommendations&:[],&columnRecommendations&:[]},&env&:{&edition&:{&baidu&:false,&yidianzixun&:false,&qqnews&:false},&isAppView&:false,&appViewConfig&:{&content_padding_top&:128,&content_padding_bottom&:56,&content_padding_left&:16,&content_padding_right&:16,&title_font_size&:22,&body_font_size&:16,&is_dark_theme&:false,&can_auto_load_image&:true,&app_info&:&OS=iOS&},&isApp&:false,&userAgent&:{&ua&:&Mozilla\u002F5.0 (compatible, MSIE 11, Windows NT 6.3; Trident\u002F7.0; rv:11.0) like Gecko&,&browser&:{&name&:&IE&,&version&:&11&,&major&:&11&},&engine&:{&version&:&7.0&,&name&:&Trident&},&os&:{&name&:&Windows&,&version&:&8.1&},&device&:{},&cpu&:{}}},&message&:{&newCount&:0},&pushNotification&:{&newCount&:0}}