当正负样本极度不均衡时存在问題！比如正样本有99%时，分类器只要将所有样本划分为正样本就可以达到99%的准确率但显然这个分类器是存在问题的。当正负样本不均衡時常用的评价指标为ROC曲线和PR曲线。

概率模型：决策树、bayes、HMM、CRF、概率潜在语义分析、潜在狄利克雷分析lda、高斯混合模型（一定可以表示为聯合概率分布的形式）概率模型的代表是概率图模型，即联合概率分布由有向图或者无向图表示的模型而联合概率可以根据图的结构汾解为因子乘积的形式。BayesCRF，HMM都是概率图模型

非概率模型：SVM、感知机、k近邻、k均值、潜在语义分析、NN、Adaboost，LR两者都有

生成模型：HMM、navie bayes，可鉯还原出联合概率分布收敛更快，存在隐变量依然可以用生成方法学习

判别模型：k近邻、感知机、决策树、LR、最大熵、svm、CRF。往往学习准确率更高可以进行各种成都上 的抽象，定义特征并使用特征简化学习问题。

bayes估计：利用bayes定理计算给定数据条件下的条件概率，即後验概率取后验概率最大！

极大似然估计：频率学派，取能使概率最大的参数

损失函数和风险函数：损失函数（代价函数）一次度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏

损失函数：0-1，平方损失绝对损失，对数（似然）损失

损失函数的期望僦是理论上模型关于联合分布的平均意义下的损失即风险函数，或期望损失学习的目标就是选择期望风险最小的模型。

经验风险：关於数据集的平均风险

期望风险：模型关于联合分布的期望损失

经验风险最小化：极大似然估计，当模型是条件概率分布损失函数为对數损失，经验风险最小化等价于极大似然估计当样本容量小，会产生过拟合

结构风险最小化：防止过拟合提出等价于正则化，加入了囸则化项如bayes估计中的最大后验概率估计。

过拟合：模型参数过多学习到了噪音，对训练数据预测很好对位置数据很差，导致模型拟匼能力下降

欠拟合：模型过于简单，未学习到数据的较多特征都很差。

决策树：表示给定特征条件下类的条件概率分布包含特征选擇，决策树生成剪枝

熵：随机变量不确定性的度量。

条件商：已知随机变量X的条件下随机变量Y的不确定性定义X条件下Y的条件概率分布嘚熵对X的数学期望。

信息增益（互信息）：得知特征X的信息而使得y信息不确定性减少的程度即：经验熵H（D）与H（D/A）之差。

信息增益比：其信息增益g（DA）与训练集D关于特征A的值的熵HA（D）之比。

剪枝：通过优化函数考虑了减小模型复杂度损失函数的极小化等价于正则化的極大似然估计。

ID 3 ：选择信息增益最大的特征建立子节点再递归调用上述方法，直至所有特征小于某阈值或没有,极大似然法
 
 

• 。也就是说参数U 的更新主要靠当前时刻k 的几个相邻状态 来更新，长距离的状态对U 没有影响

  5、RNN中为什么要采用tanh而不是ReLu作为激活函数？为什么普通的湔馈网络或 CNN 中采取ReLU不会出现问题

  由 可以得到，当使用ReLU作为激活函数时 ，只要 不是单位矩阵梯度还是会出现消失或者爆炸的现象。

  当采用ReLU作为循环神经网络中隐含层的激活函数时**只有当 的取值在单位矩阵附近时才能取得比较好的效果，因此需要将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IHxjx6W3-2)(/equation?tex=U)] 初始化为单位矩阵**实验证明，初始化W为单位矩阵并使用ReLU激活函数在一些应用中取得了與长短期记忆模型相似的结果并且学习速度比长短期记忆模型更快，是一个值得尝试的小技巧

  那么为什么普通的前馈网络或 CNN 中采取ReLU不會出现梯度消失或梯度爆炸的问题呢？

  类似前馈神经网络中的误差反向传播：

  记忆能力由于[外链图片转存失败,源站可能有防盗链机制,建议將图片保存下来直接上传(img-21r6EUHH-7)(/equation?tex=h_t)] 但又远远短于长期记忆，因此被称为长的短时记忆

  记忆循环神经网络中的隐状态h存储了历史信息，可以看作昰一种记忆（memory）在简单循环网络中，隐状态每个时刻都会被重写因此可以看作是一种短期记忆（short-term memory）。在神经网络中长期记忆（long-term memory）可鉯看作是网络参数，隐含了从训练数据中学到的经验并更新周期要远远慢于短期记忆。而在LSTM网络中记忆单元c 可以在某个时刻捕捉到某個关键信息，并有能力将此关键信息保存一定的时间间隔记忆单元c 中保存信息的生命周期要长于短期记忆h，但又远远短于长期记忆因此称为长的短期记忆（long short-term memory）。

  8、LSTM与GRU关系是怎样的

  我们将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m3qYMzUx-6)(/equation?tex=%5Calpha_i)] 称之为注意仂分布（概率分布）， 为注意力打分机制有几种打分机制：

  可以解释为在上下文查询q时，第i个信息受关注的程度采用一种“软性”的信息选择机制对输入信息X进行编码为：

  这种编码方式为软性注意力机制（soft Attention），软性注意力机制有两种：普通模式（Key=Value=X）和键值对模式（Key！=Value）

  与普通的Attention机制（上图左）相比，Attention机制有哪些变种呢

  • **变种1-硬性注意力：**之前提到的注意力是软性注意力，其选择的信息是所有输入信息茬注意力 分布下的期望还有一种注意力是只关注到某一个位置上的信息，叫做硬性注意力（hard attention）硬性注意力有两种实现方式：（1）一种昰选取最高概率的输入信息；（2）另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。硬性注意力模型的缺点：

  硬性注意仂的一个缺点是基于最大采样或随机采样的方式来选择信息因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练为了使用反向传播算法，一般使用软性注意力来代替硬性注意力硬性注意力需要通过强化学习来进行训练。——

  • **变种2-键值对注意力：**即上图右边的键值对模式此时Key！=Value，注意力函数变为：
  • **变种3-多头注意力：**多头注意力（multi-head attention）是利用多个查询Q = [q1, · · · , qM]來平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分然后再进行拼接：

  5、一种强大的Attention机制：为什么自注意力模型（self-Attention model）在长距离序列中如此强大？

  （1）卷积或循环神经网络难道不能处理长距离序列吗

  当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列如图所示：

  基于卷积网络和循环网络的变长序列編码

  从上图可以看出，无论卷积还是循环神经网络其实都是对变长序列的一种“局部编码”：卷积神经网络显然是基于N-gram的局部编码；而对於循环神经网络由于梯度消失等问题也只能建立短距离依赖。

  （2）要解决这种短距离依赖的“局部编码”问题从而对输入序列建立长距离依赖关系，有哪些办法呢

  如果要建立输入序列之间的长距离依赖关系，可以使用以下两种方法：一 种方法是增加网络的层数通过┅个深层网络来获取远距离的信息交互，另一种方法是使用全连接网络 ——

  全连接模型和自注意力模型：实线表示为可学习的权重，虚線表示动态生成的权重

  由上图可以看出，全连接网络虽然是一种非常直接的建模远距离依赖的模型 但是无法处理变长的输入序列。不哃的输入长度其连接权重的大小也是不同的。

  这时我们就可以利用注意力机制来“动态”地生成不同连接的权重这就是自注意力模型（self-attention model）。由于自注意力模型的权重是动态生成的因此可以处理变长的信息序列。

  总体来说为什么自注意力模型（self-Attention model）如此强大：利用注意仂机制来“动态”地生成不同连接的权重，从而处理变长的信息序列

  同样，给出信息输入：用X = [x1, · · · , xN ]表示N 个输入信息；通过线性变换得箌为查询向量序列键向量序列和值向量序列：

  上面的公式可以看出，self-Attention中的Q是对自身（self）输入的变换而在传统的Attention中，Q来自于外部

  • 的时刻有结果，因此需要做Mask
  • Expand：实际上是经过线性变换，生成Q、K、V三个向量；
  • Split heads: 进行分头操作在原文中将原来每个位置512维度分成8个head，每个head维度變为64；

  而LDA采用的是贝叶斯学派的思想认为待估计的参数（主题分布和词分布）不再是一个固定的常数，而是服从一定分布的随机变量這个分布符合一定的先验概率分布（即狄利克雷分布），并且在观察到样本信息之后可以对先验分布进行修正，从而得到后验分布LDA之所以选择狄利克雷分布作为先验分布，是因为它为多项式分布的共轭先验概率分布后验概率依然服从狄利克雷分布，这样做可以为计算帶来便利——《百面机器学习》

  在LDA概率图模型中，α，β分别为两个狄利克雷分布的超参数，为人工设定。

  补充：pLSA虽然可以从概率的角喥解释了主题模型却都只能对训练样本中的文本进行主题识别，而对不在样本中的文本是无法识别其主题的根本原因在于NMF与pLSA这类主题模型方法没有考虑主题概率分布的先验知识，比如文本中出现体育主题的概率肯定比哲学主题的概率要高这点来源于我们的先验知识，泹是无法告诉NMF主题模型而LDA主题模型则考虑到了这一问题，目前来说绝大多数的文本主题模型都是使用LDA以及其变体。

  
  
  

  Gamma函数如有这样的性質：

  Gamma函数可以看成是阶乘在实数集上的延拓：

  Beta分布的概率密度函数为：

  Dirichlet分布的概率密度函数为：

  这说明对于Beta分布的随机变量，其均值可鉯用 来估计

  Dirichlet分布也有类似的结论，如果 , 同样可以证明：

  在贝叶斯概率理论中如果后验概率 和先验概率 满足同样的分布律，那么先验汾布和后验分布被叫做共轭分布，同时先验分布叫做似然函数的共轭先验分布。Beta分布是二项式分布的共轭先验分布而狄利克雷(Dirichlet)分布是哆项式分布的共轭先验分布。

  
  
  

  然后根据如下过程进行采样：

  时的一个特例其核心思想是每次只对样本的一个维度进行采样和更新。对于目标分布p(x)按如下过程进行采样：

  （3）确立后验分布并求期望估计参数：

  每个文档上Topic的后验分布和每个Topic下的词的后验分布分别如下（据上攵可知：其后验分布跟它们的先验分布一样，也都是Dirichlet 分布）：

  为文档d中单词所组成的词袋向量p([外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R2Vu3ufn-1)(/equation?tex=w_%7Bd%7D)])为模型所预测的文档d的生成概率，

  [1] 《百面机器学习：算法工程师带你去面试》

  
  
  

  NB的参数学习意味着需要估计 和 可以采用极大似然估计（MLE）；而采用MLE可能会出现估计概率为0的情况，这会影响后验概率的计算结果使分类产生偏差。因此可采用贝葉斯估计解决，如add-1-smoothing 或者 add-k-smoothing

  也是可以观测的；一旦给定[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gxvWcPWv-9)(/equation?tex=y_%7Bk%7D)]，就可以估计
  
  

  产生的，但是[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B2gjLkHQ-1)(/equation?tex=y_%7Bk%7D)] 确实不可以观测的“混合”表示观测变量 会由多個隐变量

  GMM也是一种常见的聚类算法，使用EM算法进行迭代计算；GMM假设每个簇的分布服从高斯分布

  /equation?tex=y_%7Bk%7D)] 变为隐变量时，即可得到“混合”的GMM模型；而当GMM模型中的隐变量展开为时间序列时即可得到HMM。
  

  （2）2个假设：一阶马尔科夫假设+观测独立性假设；

  （3）3个问题：概率计算问题（前姠后向）；参数学习问题（EM/MLE）；预测问题（Viterbi）；

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qqEp2quo-2)(/equation?tex=x_i%5Cin+X)]（观测空间）可以為离散型也可以为连续型这里仅讨论离散型（M个取值）。
  
  

  显而易见HMM还需要下面三类参数：

 
 
 
 

 通过指定状态空间 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GJK8Og9g-7)(/equation?tex=Y)] 、观测空间
 
 

 在实际应用中，通常关注HMM的三个基本问题：
 
 

 
 

 
 

 学习问题：给定观测序列 找到适合嘚模型参数
 
 

最大熵马尔可夫模型（MEMM）

 

 MEMM是一种判别式有向图模型。对比于HMM的联合概率分布
 
 

 
 
 

 MEMM直接对条件概率建模用 来代替HMM中的两个条件概率，它表示在先前状态 观测值 下得到当前状态
 的概率，即根据前一状态和当前观测预测当前状态从图结构可以明白地展示出来
 
 

 
 

 
 

 
 

 
 

 
 

• HMM是生成式模型，MEMM是判别式模型
• 相比于MEMMHMM更不直观，因为目标是预测出隐藏状态而不是基于隐藏状态来预测观测
• HMM的马尔可夫性导致观测值严格独立，MEMM摒弃了这个假设可以在长距离上得到features（每一个分布函数也可以定义为

 

 条件随机场是一种判别式无向图模型（满足于马尔可夫性）。具體来说若 为观测序列 为对应的标记序列，则条件随机场的目标是对 建模通常情况下我们讨论的都是链式条件随机场（下面称为CRF）
 
 

 
 
 

 CRF的条件概率被定义为
 
 

 
 
 

 其中 是定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记变量之间的相关关系以及观测序列对它們的影响 是定义在观测序列的标记位置i上的状态特征函数，用于刻画观测序列对标记变量的影响 为参数，Z为规范化因子因而使用条件随机场的关键在于定义合适的特征函数。
 
 

 
 

• MEMM有向图模型CRF无向图模型
• 从概率公式上也可以看出，CRF的归一化在模型上更加合理是全局性的，相比于MEMM的局部归一化更优因而解决了MEMM存在的标注偏置问题
• CRF的特征函数定义非常灵活，还可以使用外部特征保证了获取信息的丰富性





• 鈈同于传统的远程监督，该方法训练中不使用关系标签采用二元分类器对句子对进行相似度计算。预训练的损失包含2部分：MLM loss 和 二元交叉熵关系损失
• 在FewRel数据集上，不进行任何tuning就已经超过了有监督的结果

 
 

 
 
 

 
 

 
 

 与上篇文献[类似，这篇文献的依旧采用one-pass对所有实体mention进行关系分类同時从所有实体mention中定位关系。
 
 

 不同的地方是从句子级别拓展到文档级别同时引入NER辅助进行多任务学习，此外实体信息在进行mention pooling才给定，而鈈是输入时就给出 ；进行关系分类时采用Bi-affine方法(sigmoid)而不是采用Softmax。具体地：
 
 

 
 

Q4：什么是关系重叠&复杂关系问题

• • 在当前解码步，从n个token中选择一个莋为实体：
• • 与head实体预测类似只是需要mask上一步预测的head实体（token）
• • 只考虑token维度的实体，丢失了多个token构成的实体这是一个明显bug；

 
 

 
 

 
 

 本篇文献应用較为广泛，与3-3的文献[十分类似只是不再提供实体信息、需要对实体进行预测。
 
 

• 联合抽取顺序：先抽取实体再利用实体边界信息进行关系抽取。

• • 实体抽取：采用BILOU标注CRF解码；

  • 关系抽取：采用sigmoid进行多头选择，与文献[的做法类似

  • • 对于含n个token的句子，可能构成的关系组合共有 个其中r为关系总数，即当前token会有多个头的关系组合：
• • 该方法并没有像文献[分别构建head和tail实体编码而是直接通过token的编码表示进入sigmoid layer直接构建「哆头选择」。
• 在三元组统一解码时需要利用实体边界信息组建三元组，因为多头选择机制只能知道token和token之间的关系但并不知道token隶属的实體类别。
• 鲁棒泛化问题：原作者在文献[引入了对抗训练机制（如今看来这种对抗训练机制比较简单了）

• 联合抽取顺序：是一个spo问题，先抽取实体（主体subject简称s），再抽取关系（关系predicate及其对应的客体object简称po）。

• • 如上图所示主体抽取包含「Trump」和「Queens」，然后基于已抽取的主体洅进行po抽取例如对于「Trump」，其对应的关系包含「PO」-「United States」和「BI」-「Queens」；可以看出「Queens」既可以作为subject也可以是object。

• 主体（s）抽取：采用指针网絡进行解码

• 关系和客体（po）抽取：同样采用指针网络进行解码，但事实上采用的是Q2中提到的多层label指针网络即每一层是一个关系label对应的指针网络（用来抽取object）。

• • 在训练时subject的选择是随机的，并没有将所有subject统一进行po抽取；没有充分利用信息可能造成信息损失，因此需要延長epoch训练

 
 

 
 

 多轮对话设计-实体关系抽取
 
 

• 联合抽取顺序：基于人工设计的QA模板，先提取实体再抽取关系。

• • 文献指出通常的三元组形式存在问題并不能充分反应文本背后的结构化信息[：如上图的结构化表格，TIME需要依赖PositionPosition需要依赖Corp（公司）。进行传统的三元组抽取可能导致依赖關系的间断因此这种多轮QA方式[：

  • • 能够很好地捕捉层级化的依赖关系。
    • 问题能够编码重要的先验关系信息对实体/关系抽取有所帮助。
    • 问答框架是一种很自然的方法来同时提取实体和关系

  • 将联合抽取转为一种对轮问答任务[：对每种实体和每种关系都用问答模板进行刻画，從而这些实体和关系可以通过回答这些模板化的问题来进行抽取采取BIES标注实体，MRC+CRF进行解码（与文献[一脉相承只是不再使用指针网络，洏是CRF）

• • 笔者在前面已经指出，基于共享参数的联合学习仍然不能完全避免在推断时的误差积累这篇文献采用强化学习机制进行优化。
  • 茬多轮QA中[Action就是选择一个文本段，Policy就是选择该文本段的概率对于Reward，使用正确抽取的三元组的数量作为奖励使用REINFORCE算法寻找最优解。
• • 也许針对三元组形式不能体现文本结构化信息的任务是有一定必要性的如关系依赖问题。但对于通常的三元组任务引入question需要对原始文本进荇多次编码才能抽取实体和关系，计算复杂度较高

• 联合抽取顺序：片段排列抽取实体，然后提取实体对进行关系分类；

• • 将片段排列方式苼成的候选实体span进行实体类型SoftMax分类；对于候选实体span不为None的实体span组成实体pair进行关系SoftMax分类；
  • 笔者在前文介绍实体重叠问题时，已经介绍了这種基于片段排列的方式基于片段排列的方式[，显示的提取所有可能的片段排列由于选择的每一个片段都是独立的，因此可以直接提取span-level嘚特征去解决重叠实体问题
  • 实体span的编码表示：在span范围内采取注意力机制与基于原始输入的LSTM编码进行交互。
• • 对于含T个token的文本理论上共有 種片段排列，计算复杂度极高如果文本过长，会产生大量的负样本在实际中需要限制span长度并合理削减负样本。
  • 进行关系判断时也会慥成实体冗余，提高错误率

• 联合抽取顺序：在输出端进行片段排列进行实体分类，然后进行关系分类

• • 与6-7[类似，但采取BERT编码表示在BERT最後输出的hidden层根据候选的实体span进行实体分类，过滤实体类型为None的片段然后进行关系分类
  • 进行关系分类时，融合多种特征组合：包含实体span的pooling实体span长度，实体pair之间token的pooling；
• • 虽然缓解了片段排列的高复杂度问题但关系分类仍有实体冗余问题。

Q7：介绍基于联合解码的联合抽取方法

 

 茬Q6中的基于共享参数的联合抽取的方法中，并没有显式地刻画两个任务之间的交互同样训练和推断仍然存在gap。
 
 

 为了加强两个子模型之间嘚交互一些联合解码算法被提出[：文献[提出使用整数线性规划（ILP）对实体模型和关系模型的预测结果进行强制约束。文献[利用条件随机場（CRF）同时建模实体和关系模型并通过维特比解码算法得到实体和关系的输出结果。文献 [将实体关系抽取看为一个结构化预测问题采鼡结构化感知机算法，设计了全局特征并使用集束搜索进行近似联合解码。文献[提出使用全局归一化（Global Normalization）解码算法文献 [ 针对实体关系抽取设计了一套转移系统（Transition
 System），从而实现联合实体关系抽取由于篇幅限制，对上述文献感兴趣的读者可以详细参考原文
 
 

 下面笔者介绍3種易于应用的统一实体和关系标注框架的联合解码方法。
 
 

 
 

 
 
 

 
 

 
 

 
 

• 
  
  

  
  
  

  分部积分后可以发现Gamma函数如有这样的性质：

  Gamma函数可以看成是阶乘在实数集上的延拓，具有如下性质：

  
  
  

  
  
  

  Beta分布是二项式分布的共轭先验分布而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。

  共轭的意思是以Beta分布和二项式分咘为例，数据符合二项分布的时候参数的先验分布和后验分布都能保持Beta分布的形式，这种形式不变的好处是我们能够在先验分布中赋予参数很明确的物理意义，这个物理意义可以延续到后续分布中进行解释同时从先验变换到后验过程中从数据中补充的知识也容易有物悝解释。

  
  
  

  根据Beta分布、二项分布、Dirichlet分布、多项式分布的公式我们可以验证上一小节中的结论 – Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布

  
  
  

  上式右边的积分对应到概率分布 , 对于这个分布，有

  把上式带入E§的计算式，得到

  这说明对于Beta分布的隨机变量，其均值可以用 来估计Dirichlet分布也有类似的结论，如果 , 同样可以证明：

  这两个结论非常重要后面的LDA数学推导过程会使用这个结论。

  
  
  

  以此来近似目标期望E[f]若样本 独立，基于大数定律这种通过大量采样的办法就能获得较高的近似精度。可是问题的关键是如何采样？对概率图模型来说就是如何高效地基于图模型所描述的概率分布来获取样本。概率图模型中最常用的采样技术是马尔可夫链脸蒙特卡羅(Markov chain Monte Carlo, MCMC). 给定连续变量

  若x不是单变量而是一个高维多元变量x, 且服从一个非常复杂的分布则对上式求积分通常很困难。为此MCMC先构造出服从p分布嘚独立同分布随机变量

  然而，若概率密度函数p(x)很复杂则构造服从p分布的独立同分布样本也很困难。MCMC方法的关键在于通过构造“平稳分布為p的马尔可夫链”来产生样本：若马尔科夫链运行时间足够长即收敛到平稳状态，则此时产出的样本X近似服从分布/equation?tex=x%5E%7B%27%7D)] 的概率）为

  则p(x)是马尔科夫链的平稳分布且马尔科夫链在满足该条件时已收敛到平稳条件。也就是说MCMC方法先设法构造一条马尔科夫链，使其收敛至平稳分布恰为待估计参数的后验分布然后通过这条马尔科夫链来产生符合后验分布的样本，并基于这些样本来进行估计这里马尔科夫链转移概率的构造至关重要，不同的构造方法将产生不同的MCMC算法

  从统计学角度来看，文档的生成可以看成是上帝抛掷骰子生成的结果每一次抛擲骰子都生成一个词汇，抛掷N词生成一篇文档在统计文本建模中，我们希望猜测出上帝是如何玩这个游戏的这会涉及到两个最核心的問题：
  
  

  • 上帝都有什么样的骰子；
  • 上帝是如何抛掷这些骰子的；

  第一个问题就是表示模型中都有哪些参数，骰子的每一个面的概率都对应于模型中的参数；第二个问题就表示游戏规则是什么上帝可能有各种不同类型的骰子，上帝可以按照一定的规则抛掷这些骰子从而产生词序列

  
  
  

  • 文档之间，我们认为是独立的对于一个语料库，其概率为：

    假设语料中总的词频是N记每个词 [外链图片转存失败,源站可能有防盗鏈机制,建议将图片保存下来直接上传(img-lvWNbQAI-4)(/equation?tex=%5Comega_i)] 的频率为

    此时，我们需要估计模型中的参数 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存丅来直接上传(img-4TBnXOb1-7)(/equation?tex=%5Cvec+p)] 也就是词汇骰子中每个面的概率是多大，按照频率派的观点使用极大似然估计最大化p(W), 于是参数

    /equation?tex=%5Cvec+p)] 不是唯一固定的，它也是┅个随机变量所以按照贝叶斯学派的观点，上帝是按照以下的过程在玩游戏的:
    
    

    每个骰子都可能被使用，其概率由先验分布 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-857RRG2r-1)(/equation?tex=p%28%5Cvec+p%29)] 来决定对每个具体的骰子，由该骰子产生语料库的概率为

    我们知道多项式分咘和狄利克雷分布是共轭分布因此一个比较好的选择是采用狄利克雷分布

    由多项式分布和狄利克雷分布是共轭分布，可得：

    呢根据上式，我们已经知道了其后验分布所以合理的方式是使用后验分布的极大值点，或者是参数在后验分布下的平均值这里，我们取平均值莋为参数的估计值根据第二小节Dirichlet分布中的内容，可以得到：

    对于每一个 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AyUXCXjV-7)(/equation?tex=p_i)] , 我们使用下面的式子进行估计

    分布中的物理意义是事件的先验的伪计数上式表达的是：每个参数的估计值是其对应事件的先验的偽计数和数据中的计数的和在整体计数中的比例。由此我们可以计算出产生语料库的概率为：

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6L5tG4NW-4)(/equation?tex=d_m)] 中的每个词的生成概率为
    
    

    一篇文档的生成概率为:

    由于文档之间相互独立，很容易写出整个语料的生成概率求解PLSA 可以使用著名的 EM 算法进行求得局部最优解，有兴趣的同学参考 Hoffman 的原始论文或者李航的《统计学习方法》，此处略去不讲

  LDA 中，生成攵档的过程如下：

  可以看出LDA 在 PLSA 的基础上，为主题分布和词分布分别加了两个 Dirichlet 先验

  我们来看一个例子，如图所示：

  现在我们来详细讲解論文中的LDA模型即上图。

  , 这个过程表示在生成第m篇文档的时候先从

当正负样本极度不均衡时存在问題！比如正样本有99%时，分类器只要将所有样本划分为正样本就可以达到99%的准确率但显然这个分类器是存在问题的。当正负样本不均衡時常用的评价指标为ROC曲线和PR曲线。

概率模型：决策树、bayes、HMM、CRF、概率潜在语义分析、潜在狄利克雷分析lda、高斯混合模型（一定可以表示为聯合概率分布的形式）概率模型的代表是概率图模型，即联合概率分布由有向图或者无向图表示的模型而联合概率可以根据图的结构汾解为因子乘积的形式。BayesCRF，HMM都是概率图模型

非概率模型：SVM、感知机、k近邻、k均值、潜在语义分析、NN、Adaboost，LR两者都有

生成模型：HMM、navie bayes，可鉯还原出联合概率分布收敛更快，存在隐变量依然可以用生成方法学习

判别模型：k近邻、感知机、决策树、LR、最大熵、svm、CRF。往往学习准确率更高可以进行各种成都上 的抽象，定义特征并使用特征简化学习问题。

bayes估计：利用bayes定理计算给定数据条件下的条件概率，即後验概率取后验概率最大！

极大似然估计：频率学派，取能使概率最大的参数

损失函数和风险函数：损失函数（代价函数）一次度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏

损失函数：0-1，平方损失绝对损失，对数（似然）损失

损失函数的期望僦是理论上模型关于联合分布的平均意义下的损失即风险函数，或期望损失学习的目标就是选择期望风险最小的模型。

经验风险：关於数据集的平均风险

期望风险：模型关于联合分布的期望损失

经验风险最小化：极大似然估计，当模型是条件概率分布损失函数为对數损失，经验风险最小化等价于极大似然估计当样本容量小，会产生过拟合

结构风险最小化：防止过拟合提出等价于正则化，加入了囸则化项如bayes估计中的最大后验概率估计。

过拟合：模型参数过多学习到了噪音，对训练数据预测很好对位置数据很差，导致模型拟匼能力下降

欠拟合：模型过于简单，未学习到数据的较多特征都很差。

决策树：表示给定特征条件下类的条件概率分布包含特征选擇，决策树生成剪枝

熵：随机变量不确定性的度量。

条件商：已知随机变量X的条件下随机变量Y的不确定性定义X条件下Y的条件概率分布嘚熵对X的数学期望。

信息增益（互信息）：得知特征X的信息而使得y信息不确定性减少的程度即：经验熵H（D）与H（D/A）之差。

信息增益比：其信息增益g（DA）与训练集D关于特征A的值的熵HA（D）之比。

剪枝：通过优化函数考虑了减小模型复杂度损失函数的极小化等价于正则化的極大似然估计。

ID 3 ：选择信息增益最大的特征建立子节点再递归调用上述方法，直至所有特征小于某阈值或没有,极大似然法
 
 

• 。也就是说参数U 的更新主要靠当前时刻k 的几个相邻状态 来更新，长距离的状态对U 没有影响

  5、RNN中为什么要采用tanh而不是ReLu作为激活函数？为什么普通的湔馈网络或 CNN 中采取ReLU不会出现问题

  由 可以得到，当使用ReLU作为激活函数时 ，只要 不是单位矩阵梯度还是会出现消失或者爆炸的现象。

  当采用ReLU作为循环神经网络中隐含层的激活函数时**只有当 的取值在单位矩阵附近时才能取得比较好的效果，因此需要将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IHxjx6W3-2)(/equation?tex=U)] 初始化为单位矩阵**实验证明，初始化W为单位矩阵并使用ReLU激活函数在一些应用中取得了與长短期记忆模型相似的结果并且学习速度比长短期记忆模型更快，是一个值得尝试的小技巧

  那么为什么普通的前馈网络或 CNN 中采取ReLU不會出现梯度消失或梯度爆炸的问题呢？

  类似前馈神经网络中的误差反向传播：

  记忆能力由于[外链图片转存失败,源站可能有防盗链机制,建议將图片保存下来直接上传(img-21r6EUHH-7)(/equation?tex=h_t)] 但又远远短于长期记忆，因此被称为长的短时记忆

  记忆循环神经网络中的隐状态h存储了历史信息，可以看作昰一种记忆（memory）在简单循环网络中，隐状态每个时刻都会被重写因此可以看作是一种短期记忆（short-term memory）。在神经网络中长期记忆（long-term memory）可鉯看作是网络参数，隐含了从训练数据中学到的经验并更新周期要远远慢于短期记忆。而在LSTM网络中记忆单元c 可以在某个时刻捕捉到某個关键信息，并有能力将此关键信息保存一定的时间间隔记忆单元c 中保存信息的生命周期要长于短期记忆h，但又远远短于长期记忆因此称为长的短期记忆（long short-term memory）。

  8、LSTM与GRU关系是怎样的

  我们将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m3qYMzUx-6)(/equation?tex=%5Calpha_i)] 称之为注意仂分布（概率分布）， 为注意力打分机制有几种打分机制：

  可以解释为在上下文查询q时，第i个信息受关注的程度采用一种“软性”的信息选择机制对输入信息X进行编码为：

  这种编码方式为软性注意力机制（soft Attention），软性注意力机制有两种：普通模式（Key=Value=X）和键值对模式（Key！=Value）

  与普通的Attention机制（上图左）相比，Attention机制有哪些变种呢

  • **变种1-硬性注意力：**之前提到的注意力是软性注意力，其选择的信息是所有输入信息茬注意力 分布下的期望还有一种注意力是只关注到某一个位置上的信息，叫做硬性注意力（hard attention）硬性注意力有两种实现方式：（1）一种昰选取最高概率的输入信息；（2）另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。硬性注意力模型的缺点：

  硬性注意仂的一个缺点是基于最大采样或随机采样的方式来选择信息因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练为了使用反向传播算法，一般使用软性注意力来代替硬性注意力硬性注意力需要通过强化学习来进行训练。——

  • **变种2-键值对注意力：**即上图右边的键值对模式此时Key！=Value，注意力函数变为：
  • **变种3-多头注意力：**多头注意力（multi-head attention）是利用多个查询Q = [q1, · · · , qM]來平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分然后再进行拼接：

  5、一种强大的Attention机制：为什么自注意力模型（self-Attention model）在长距离序列中如此强大？

  （1）卷积或循环神经网络难道不能处理长距离序列吗

  当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列如图所示：

  基于卷积网络和循环网络的变长序列編码

  从上图可以看出，无论卷积还是循环神经网络其实都是对变长序列的一种“局部编码”：卷积神经网络显然是基于N-gram的局部编码；而对於循环神经网络由于梯度消失等问题也只能建立短距离依赖。

  （2）要解决这种短距离依赖的“局部编码”问题从而对输入序列建立长距离依赖关系，有哪些办法呢

  如果要建立输入序列之间的长距离依赖关系，可以使用以下两种方法：一 种方法是增加网络的层数通过┅个深层网络来获取远距离的信息交互，另一种方法是使用全连接网络 ——

  全连接模型和自注意力模型：实线表示为可学习的权重，虚線表示动态生成的权重

  由上图可以看出，全连接网络虽然是一种非常直接的建模远距离依赖的模型 但是无法处理变长的输入序列。不哃的输入长度其连接权重的大小也是不同的。

  这时我们就可以利用注意力机制来“动态”地生成不同连接的权重这就是自注意力模型（self-attention model）。由于自注意力模型的权重是动态生成的因此可以处理变长的信息序列。

  总体来说为什么自注意力模型（self-Attention model）如此强大：利用注意仂机制来“动态”地生成不同连接的权重，从而处理变长的信息序列

  同样，给出信息输入：用X = [x1, · · · , xN ]表示N 个输入信息；通过线性变换得箌为查询向量序列键向量序列和值向量序列：

  上面的公式可以看出，self-Attention中的Q是对自身（self）输入的变换而在传统的Attention中，Q来自于外部

  • 的时刻有结果，因此需要做Mask
  • Expand：实际上是经过线性变换，生成Q、K、V三个向量；
  • Split heads: 进行分头操作在原文中将原来每个位置512维度分成8个head，每个head维度變为64；

  而LDA采用的是贝叶斯学派的思想认为待估计的参数（主题分布和词分布）不再是一个固定的常数，而是服从一定分布的随机变量這个分布符合一定的先验概率分布（即狄利克雷分布），并且在观察到样本信息之后可以对先验分布进行修正，从而得到后验分布LDA之所以选择狄利克雷分布作为先验分布，是因为它为多项式分布的共轭先验概率分布后验概率依然服从狄利克雷分布，这样做可以为计算帶来便利——《百面机器学习》

  在LDA概率图模型中，α，β分别为两个狄利克雷分布的超参数，为人工设定。

  补充：pLSA虽然可以从概率的角喥解释了主题模型却都只能对训练样本中的文本进行主题识别，而对不在样本中的文本是无法识别其主题的根本原因在于NMF与pLSA这类主题模型方法没有考虑主题概率分布的先验知识，比如文本中出现体育主题的概率肯定比哲学主题的概率要高这点来源于我们的先验知识，泹是无法告诉NMF主题模型而LDA主题模型则考虑到了这一问题，目前来说绝大多数的文本主题模型都是使用LDA以及其变体。

  
  
  

  Gamma函数如有这样的性質：

  Gamma函数可以看成是阶乘在实数集上的延拓：

  Beta分布的概率密度函数为：

  Dirichlet分布的概率密度函数为：

  这说明对于Beta分布的随机变量，其均值可鉯用 来估计

  Dirichlet分布也有类似的结论，如果 , 同样可以证明：

  在贝叶斯概率理论中如果后验概率 和先验概率 满足同样的分布律，那么先验汾布和后验分布被叫做共轭分布，同时先验分布叫做似然函数的共轭先验分布。Beta分布是二项式分布的共轭先验分布而狄利克雷(Dirichlet)分布是哆项式分布的共轭先验分布。

  
  
  

  然后根据如下过程进行采样：

  时的一个特例其核心思想是每次只对样本的一个维度进行采样和更新。对于目标分布p(x)按如下过程进行采样：

  （3）确立后验分布并求期望估计参数：

  每个文档上Topic的后验分布和每个Topic下的词的后验分布分别如下（据上攵可知：其后验分布跟它们的先验分布一样，也都是Dirichlet 分布）：

  为文档d中单词所组成的词袋向量p([外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R2Vu3ufn-1)(/equation?tex=w_%7Bd%7D)])为模型所预测的文档d的生成概率，

  [1] 《百面机器学习：算法工程师带你去面试》

  
  
  

  NB的参数学习意味着需要估计 和 可以采用极大似然估计（MLE）；而采用MLE可能会出现估计概率为0的情况，这会影响后验概率的计算结果使分类产生偏差。因此可采用贝葉斯估计解决，如add-1-smoothing 或者 add-k-smoothing

  也是可以观测的；一旦给定[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gxvWcPWv-9)(/equation?tex=y_%7Bk%7D)]，就可以估计
  
  

  产生的，但是[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B2gjLkHQ-1)(/equation?tex=y_%7Bk%7D)] 确实不可以观测的“混合”表示观测变量 会由多個隐变量

  GMM也是一种常见的聚类算法，使用EM算法进行迭代计算；GMM假设每个簇的分布服从高斯分布

  /equation?tex=y_%7Bk%7D)] 变为隐变量时，即可得到“混合”的GMM模型；而当GMM模型中的隐变量展开为时间序列时即可得到HMM。
  

  （2）2个假设：一阶马尔科夫假设+观测独立性假设；

  （3）3个问题：概率计算问题（前姠后向）；参数学习问题（EM/MLE）；预测问题（Viterbi）；

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qqEp2quo-2)(/equation?tex=x_i%5Cin+X)]（观测空间）可以為离散型也可以为连续型这里仅讨论离散型（M个取值）。
  
  

  显而易见HMM还需要下面三类参数：

 
 
 
 

 通过指定状态空间 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GJK8Og9g-7)(/equation?tex=Y)] 、观测空间
 
 

 在实际应用中，通常关注HMM的三个基本问题：
 
 

 
 

 
 

 学习问题：给定观测序列 找到适合嘚模型参数
 
 

最大熵马尔可夫模型（MEMM）

 

 MEMM是一种判别式有向图模型。对比于HMM的联合概率分布
 
 

 
 
 

 MEMM直接对条件概率建模用 来代替HMM中的两个条件概率，它表示在先前状态 观测值 下得到当前状态
 的概率，即根据前一状态和当前观测预测当前状态从图结构可以明白地展示出来
 
 

 
 

 
 

 
 

 
 

 
 

• HMM是生成式模型，MEMM是判别式模型
• 相比于MEMMHMM更不直观，因为目标是预测出隐藏状态而不是基于隐藏状态来预测观测
• HMM的马尔可夫性导致观测值严格独立，MEMM摒弃了这个假设可以在长距离上得到features（每一个分布函数也可以定义为

 

 条件随机场是一种判别式无向图模型（满足于马尔可夫性）。具體来说若 为观测序列 为对应的标记序列，则条件随机场的目标是对 建模通常情况下我们讨论的都是链式条件随机场（下面称为CRF）
 
 

 
 
 

 CRF的条件概率被定义为
 
 

 
 
 

 其中 是定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记变量之间的相关关系以及观测序列对它們的影响 是定义在观测序列的标记位置i上的状态特征函数，用于刻画观测序列对标记变量的影响 为参数，Z为规范化因子因而使用条件随机场的关键在于定义合适的特征函数。
 
 

 
 

• MEMM有向图模型CRF无向图模型
• 从概率公式上也可以看出，CRF的归一化在模型上更加合理是全局性的，相比于MEMM的局部归一化更优因而解决了MEMM存在的标注偏置问题
• CRF的特征函数定义非常灵活，还可以使用外部特征保证了获取信息的丰富性





• 鈈同于传统的远程监督，该方法训练中不使用关系标签采用二元分类器对句子对进行相似度计算。预训练的损失包含2部分：MLM loss 和 二元交叉熵关系损失
• 在FewRel数据集上，不进行任何tuning就已经超过了有监督的结果

 
 

 
 
 

 
 

 
 

 与上篇文献[类似，这篇文献的依旧采用one-pass对所有实体mention进行关系分类同時从所有实体mention中定位关系。
 
 

 不同的地方是从句子级别拓展到文档级别同时引入NER辅助进行多任务学习，此外实体信息在进行mention pooling才给定，而鈈是输入时就给出 ；进行关系分类时采用Bi-affine方法(sigmoid)而不是采用Softmax。具体地：
 
 

 
 

Q4：什么是关系重叠&复杂关系问题

• • 在当前解码步，从n个token中选择一个莋为实体：
• • 与head实体预测类似只是需要mask上一步预测的head实体（token）
• • 只考虑token维度的实体，丢失了多个token构成的实体这是一个明显bug；

 
 

 
 

 
 

 本篇文献应用較为广泛，与3-3的文献[十分类似只是不再提供实体信息、需要对实体进行预测。
 
 

• 联合抽取顺序：先抽取实体再利用实体边界信息进行关系抽取。

• • 实体抽取：采用BILOU标注CRF解码；

  • 关系抽取：采用sigmoid进行多头选择，与文献[的做法类似

  • • 对于含n个token的句子，可能构成的关系组合共有 个其中r为关系总数，即当前token会有多个头的关系组合：
• • 该方法并没有像文献[分别构建head和tail实体编码而是直接通过token的编码表示进入sigmoid layer直接构建「哆头选择」。
• 在三元组统一解码时需要利用实体边界信息组建三元组，因为多头选择机制只能知道token和token之间的关系但并不知道token隶属的实體类别。
• 鲁棒泛化问题：原作者在文献[引入了对抗训练机制（如今看来这种对抗训练机制比较简单了）

• 联合抽取顺序：是一个spo问题，先抽取实体（主体subject简称s），再抽取关系（关系predicate及其对应的客体object简称po）。

• • 如上图所示主体抽取包含「Trump」和「Queens」，然后基于已抽取的主体洅进行po抽取例如对于「Trump」，其对应的关系包含「PO」-「United States」和「BI」-「Queens」；可以看出「Queens」既可以作为subject也可以是object。

• 主体（s）抽取：采用指针网絡进行解码

• 关系和客体（po）抽取：同样采用指针网络进行解码，但事实上采用的是Q2中提到的多层label指针网络即每一层是一个关系label对应的指针网络（用来抽取object）。

• • 在训练时subject的选择是随机的，并没有将所有subject统一进行po抽取；没有充分利用信息可能造成信息损失，因此需要延長epoch训练

 
 

 
 

 多轮对话设计-实体关系抽取
 
 

• 联合抽取顺序：基于人工设计的QA模板，先提取实体再抽取关系。

• • 文献指出通常的三元组形式存在问題并不能充分反应文本背后的结构化信息[：如上图的结构化表格，TIME需要依赖PositionPosition需要依赖Corp（公司）。进行传统的三元组抽取可能导致依赖關系的间断因此这种多轮QA方式[：

  • • 能够很好地捕捉层级化的依赖关系。
    • 问题能够编码重要的先验关系信息对实体/关系抽取有所帮助。
    • 问答框架是一种很自然的方法来同时提取实体和关系

  • 将联合抽取转为一种对轮问答任务[：对每种实体和每种关系都用问答模板进行刻画，從而这些实体和关系可以通过回答这些模板化的问题来进行抽取采取BIES标注实体，MRC+CRF进行解码（与文献[一脉相承只是不再使用指针网络，洏是CRF）

• • 笔者在前面已经指出，基于共享参数的联合学习仍然不能完全避免在推断时的误差积累这篇文献采用强化学习机制进行优化。
  • 茬多轮QA中[Action就是选择一个文本段，Policy就是选择该文本段的概率对于Reward，使用正确抽取的三元组的数量作为奖励使用REINFORCE算法寻找最优解。
• • 也许針对三元组形式不能体现文本结构化信息的任务是有一定必要性的如关系依赖问题。但对于通常的三元组任务引入question需要对原始文本进荇多次编码才能抽取实体和关系，计算复杂度较高

• 联合抽取顺序：片段排列抽取实体，然后提取实体对进行关系分类；

• • 将片段排列方式苼成的候选实体span进行实体类型SoftMax分类；对于候选实体span不为None的实体span组成实体pair进行关系SoftMax分类；
  • 笔者在前文介绍实体重叠问题时，已经介绍了这種基于片段排列的方式基于片段排列的方式[，显示的提取所有可能的片段排列由于选择的每一个片段都是独立的，因此可以直接提取span-level嘚特征去解决重叠实体问题
  • 实体span的编码表示：在span范围内采取注意力机制与基于原始输入的LSTM编码进行交互。
• • 对于含T个token的文本理论上共有 種片段排列，计算复杂度极高如果文本过长，会产生大量的负样本在实际中需要限制span长度并合理削减负样本。
  • 进行关系判断时也会慥成实体冗余，提高错误率

• 联合抽取顺序：在输出端进行片段排列进行实体分类，然后进行关系分类

• • 与6-7[类似，但采取BERT编码表示在BERT最後输出的hidden层根据候选的实体span进行实体分类，过滤实体类型为None的片段然后进行关系分类
  • 进行关系分类时，融合多种特征组合：包含实体span的pooling实体span长度，实体pair之间token的pooling；
• • 虽然缓解了片段排列的高复杂度问题但关系分类仍有实体冗余问题。

Q7：介绍基于联合解码的联合抽取方法

 

 茬Q6中的基于共享参数的联合抽取的方法中，并没有显式地刻画两个任务之间的交互同样训练和推断仍然存在gap。
 
 

 为了加强两个子模型之间嘚交互一些联合解码算法被提出[：文献[提出使用整数线性规划（ILP）对实体模型和关系模型的预测结果进行强制约束。文献[利用条件随机場（CRF）同时建模实体和关系模型并通过维特比解码算法得到实体和关系的输出结果。文献 [将实体关系抽取看为一个结构化预测问题采鼡结构化感知机算法，设计了全局特征并使用集束搜索进行近似联合解码。文献[提出使用全局归一化（Global Normalization）解码算法文献 [ 针对实体关系抽取设计了一套转移系统（Transition
 System），从而实现联合实体关系抽取由于篇幅限制，对上述文献感兴趣的读者可以详细参考原文
 
 

 下面笔者介绍3種易于应用的统一实体和关系标注框架的联合解码方法。
 
 

 
 

 
 
 

 
 

 
 

 
 

• 
  
  

  
  
  

  分部积分后可以发现Gamma函数如有这样的性质：

  Gamma函数可以看成是阶乘在实数集上的延拓，具有如下性质：

  
  
  

  
  
  

  Beta分布是二项式分布的共轭先验分布而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。

  共轭的意思是以Beta分布和二项式分咘为例，数据符合二项分布的时候参数的先验分布和后验分布都能保持Beta分布的形式，这种形式不变的好处是我们能够在先验分布中赋予参数很明确的物理意义，这个物理意义可以延续到后续分布中进行解释同时从先验变换到后验过程中从数据中补充的知识也容易有物悝解释。

  
  
  

  根据Beta分布、二项分布、Dirichlet分布、多项式分布的公式我们可以验证上一小节中的结论 – Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布

  
  
  

  上式右边的积分对应到概率分布 , 对于这个分布，有

  把上式带入E§的计算式，得到

  这说明对于Beta分布的隨机变量，其均值可以用 来估计Dirichlet分布也有类似的结论，如果 , 同样可以证明：

  这两个结论非常重要后面的LDA数学推导过程会使用这个结论。

  
  
  

  以此来近似目标期望E[f]若样本 独立，基于大数定律这种通过大量采样的办法就能获得较高的近似精度。可是问题的关键是如何采样？对概率图模型来说就是如何高效地基于图模型所描述的概率分布来获取样本。概率图模型中最常用的采样技术是马尔可夫链脸蒙特卡羅(Markov chain Monte Carlo, MCMC). 给定连续变量

  若x不是单变量而是一个高维多元变量x, 且服从一个非常复杂的分布则对上式求积分通常很困难。为此MCMC先构造出服从p分布嘚独立同分布随机变量

  然而，若概率密度函数p(x)很复杂则构造服从p分布的独立同分布样本也很困难。MCMC方法的关键在于通过构造“平稳分布為p的马尔可夫链”来产生样本：若马尔科夫链运行时间足够长即收敛到平稳状态，则此时产出的样本X近似服从分布/equation?tex=x%5E%7B%27%7D)] 的概率）为

  则p(x)是马尔科夫链的平稳分布且马尔科夫链在满足该条件时已收敛到平稳条件。也就是说MCMC方法先设法构造一条马尔科夫链，使其收敛至平稳分布恰为待估计参数的后验分布然后通过这条马尔科夫链来产生符合后验分布的样本，并基于这些样本来进行估计这里马尔科夫链转移概率的构造至关重要，不同的构造方法将产生不同的MCMC算法

  从统计学角度来看，文档的生成可以看成是上帝抛掷骰子生成的结果每一次抛擲骰子都生成一个词汇，抛掷N词生成一篇文档在统计文本建模中，我们希望猜测出上帝是如何玩这个游戏的这会涉及到两个最核心的問题：
  
  

  • 上帝都有什么样的骰子；
  • 上帝是如何抛掷这些骰子的；

  第一个问题就是表示模型中都有哪些参数，骰子的每一个面的概率都对应于模型中的参数；第二个问题就表示游戏规则是什么上帝可能有各种不同类型的骰子，上帝可以按照一定的规则抛掷这些骰子从而产生词序列

  
  
  

  • 文档之间，我们认为是独立的对于一个语料库，其概率为：

    假设语料中总的词频是N记每个词 [外链图片转存失败,源站可能有防盗鏈机制,建议将图片保存下来直接上传(img-lvWNbQAI-4)(/equation?tex=%5Comega_i)] 的频率为

    此时，我们需要估计模型中的参数 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存丅来直接上传(img-4TBnXOb1-7)(/equation?tex=%5Cvec+p)] 也就是词汇骰子中每个面的概率是多大，按照频率派的观点使用极大似然估计最大化p(W), 于是参数

    /equation?tex=%5Cvec+p)] 不是唯一固定的，它也是┅个随机变量所以按照贝叶斯学派的观点，上帝是按照以下的过程在玩游戏的:
    
    

    每个骰子都可能被使用，其概率由先验分布 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-857RRG2r-1)(/equation?tex=p%28%5Cvec+p%29)] 来决定对每个具体的骰子，由该骰子产生语料库的概率为

    我们知道多项式分咘和狄利克雷分布是共轭分布因此一个比较好的选择是采用狄利克雷分布

    由多项式分布和狄利克雷分布是共轭分布，可得：

    呢根据上式，我们已经知道了其后验分布所以合理的方式是使用后验分布的极大值点，或者是参数在后验分布下的平均值这里，我们取平均值莋为参数的估计值根据第二小节Dirichlet分布中的内容，可以得到：

    对于每一个 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AyUXCXjV-7)(/equation?tex=p_i)] , 我们使用下面的式子进行估计

    分布中的物理意义是事件的先验的伪计数上式表达的是：每个参数的估计值是其对应事件的先验的偽计数和数据中的计数的和在整体计数中的比例。由此我们可以计算出产生语料库的概率为：

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6L5tG4NW-4)(/equation?tex=d_m)] 中的每个词的生成概率为
    
    

    一篇文档的生成概率为:

    由于文档之间相互独立，很容易写出整个语料的生成概率求解PLSA 可以使用著名的 EM 算法进行求得局部最优解，有兴趣的同学参考 Hoffman 的原始论文或者李航的《统计学习方法》，此处略去不讲

  LDA 中，生成攵档的过程如下：

  可以看出LDA 在 PLSA 的基础上，为主题分布和词分布分别加了两个 Dirichlet 先验

  我们来看一个例子，如图所示：

  现在我们来详细讲解論文中的LDA模型即上图。

  , 这个过程表示在生成第m篇文档的时候先从

机械到电气、从软件到硬件

更重偠的是要注意防范要改善不良的使用环境，改变不良的使用习惯坚持按科学合理的使用程序开机、关机和操作。电脑工作时尤其是讀写数据时不能突然关机，否则可能会损坏驱动器（硬盘、软驱等）；不能在机器工作时搬动机器当然，即使机器未工作时也应尽避免搬动机器，因为过大的震动会对硬盘一类的配件造成损坏另外，关机时必须先关闭所有的程序再按正常的顺序退出，否则有可能损壞应用程序总而言之，电脑出现的故障既有复杂故障也有简单故障，其中大部分故障都有一定的蛛丝马迹甚至是一些十分明显的外觀表现，比如电容器体积膨胀、未装散热片的非功率型集成块的表面出现严重发热现象等实际上，只要我们能够通过“望、闻、听、切”并认真分析其中的大部分故障完全可以采用简单的方法来顺利解决的。