最大后验概率算法map算法是谁提出的

来源：蜘蛛抓取(WebSpider) 时间：2017-04-30 10:31 标签： 概率算法
&>&&>&&>&&>&卷积码的MAP算法-最大后验概率算法
卷积码的MAP算法-最大后验概率算法
上传大小：57KB
Matlab程序实现了MAP算法-最大后验概率算法，同时包括对算法有：卷积编码、卷积解码，BPSK，AWGN。同时绘制它的误码率和SNR(信噪比)。
综合评分：3.9（33位用户评分）
收藏（(1)）
所需积分：3
下载次数：84
审核通过送C币
创建者：zhangguo5
创建者：zang
创建者：nigelyq
课程推荐相关知识库
上传者其他资源上传者专辑
开发技术热门标签
VIP会员动态
android服务器底层网络模块的设计方法
所需积分：0
剩余积分：720
您当前C币：0
可兑换下载积分：0
兑换下载分：
兑换失败，您当前C币不够，请先充值C币
消耗C币：0
你当前的下载分为234。
卷积码的MAP算法-最大后验概率算法
会员到期时间：
剩余下载次数：
你还不是VIP会员
开通VIP会员权限，免积分下载
你下载资源过于频繁，请输入验证码
你下载资源过于频繁，请输入验证码
您因违反CSDN下载频道规则而被锁定帐户，如有疑问，请联络:!
若举报审核通过，可奖励20下载分
被举报人：
zhangqiuyuan
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：本类论文推荐最大似然估计 （MLE）与 最大后验概率（MAP）在机器学习中的应用
最大似然估计 MLE
给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。
例如，对于线性回归，我们假定样本是服从正态分布，但是不知道均值和方差；或者对于逻辑回归，我们假定样本是服从二项分布，但是不知道均值，逻辑回归公式得到的是因变量y的概率P = g(x), x为自变量，通过逻辑函数得到一个概率值，y对应离散值为0或者1，Y服从二项分布，误差项服从二项分布，而非高斯分布，所以不能用最小二乘进行模型参数估计，可以用极大似然估计来进行参数估计；
因此最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大：
其中就是似然函数，表示在参数下出现观测数据的概率。我们假设每个观测数据是独立的，那么有
为了求导方便，一般对目标取log。 所以最优化对似然函数等同于最优化对数似然函数：
举一个抛硬币的简单例子。 现在有一个正反面不是很匀称的硬币，如果正面朝上记为H，方面朝上记为T，抛10次的结果如下：
求这个硬币正面朝上的概率有多大？
很显然这个概率是0.2。现在我们用MLE的思想去求解它。我们知道每次抛硬币都是一次二项分布，设正面朝上的概率是，那么似然函数为：
x=1表示正面朝上，x=0表示方面朝上。那么有：
令导数为0，很容易得到：
也就是0.2 。
&最大后验概率 &MAP
以上MLE求的是找出一组能够使似然函数最大的参数，即。 现在问题稍微复杂一点点，假如这个参数有一个先验概率呢？比如说，在上面抛硬币的例子，假如我们的经验告诉我们，硬币一般都是匀称的，也就是=0.5的可能性最大，=0.2的可能性比较小，那么参数该怎么估计呢？这就是MAP要考虑的问题。
MAP优化的是一个后验概率，即给定了观测值后使概率最大：
把上式根据贝叶斯公式展开：
我们可以看出第一项就是似然函数，第二项就是参数的先验知识。取log之后就是：
回到刚才的抛硬币例子，假设参数有一个先验估计，它服从Beta分布，即：
而每次抛硬币任然服从二项分布：
那么，目标函数的导数为：
求导的第一项已经在上面MLE中给出了，第二项为：
令导数为0，求解为：
其中，表示正面朝上的次数。这里看以看出，MLE与MAP的不同之处在于，MAP的结果多了一些先验分布的参数。
补充知识： Beta分布
Beat分布是一种常见的先验分布，它形状由两个参数控制，定义域为[0,1]
Beta分布的最大值是x等于的时候：
所以在抛硬币中，如果先验知识是说硬币是匀称的，那么就让。 但是很显然即使它们相等，它两的值也对最终结果很有影响。它两的值越大，表示偏离匀称的可能性越小：
看过本文的人也看了：
我要留言技术领域：
取消收藏确定要取消收藏吗？
删除图谱提示你保存在该图谱下的知识内容也会被删除，建议你先将内容移到其他图谱中。你确定要删除知识图谱及其内容吗？
删除节点提示无法删除该知识节点，因该节点下仍保存有相关知识内容！
删除节点提示你确定要删除该知识节点吗？本系列内容主要讲解一下机器学习算法最基础的内容，并对一些概念性东西稍加介绍，内容多以其他博客或书籍内容加上个人理解拼凑而成，部分文章内容来源未标注，还希望原作者海涵。
最大后验估计（）
最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，最大区别是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。
首先，回顾上篇中的最大似然估计，假设为独立同分布的采样，θ为参数为所使用的模型。那么最大似然估计可以表示为：
现在，假设θ的先验分布为。通过贝叶斯理论，对于θ的后验分布如下式所示：
（贝叶斯公式：，公式中，事件的概率为，事件已发生条件下事件的概率为│，事件发生条件下事件的概率为│。）
最后验分布的目标为：
注：最大后验估计可以看做贝叶斯估计的一种特定形式。
举例来说：
假设有五个袋子，各袋中都有无限量的樱桃口味或柠檬口味，已知五个袋子中两种口味的比例分别是
　　　　樱桃&
　　　　樱桃&柠檬&
　　　　樱桃&柠檬&
　　　　樱桃&柠檬&
　　　　柠檬&
如果只有如上所述条件，那问从同一个袋子中连续拿到个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？
我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为我们通过这个概率来确定是从哪个袋子中拿出来的，则似然函数可以写作
由于的取值是一个离散值，即上面描述中的，，，。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子。这里便是最大似然估计的结果。
上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。
假设拿到袋子或的机率都是，拿到或的机率都是，拿到的机率是，那同样上述问题的da'an呢？这个时候就变了。我们根据公式
写出我们的函数。　　
根据题意的描述可知，的取值分别为，，，，的取值分别为，分别计算出函数的结果为：由上可知，通过估计可得结果是从第四个袋子中取得的最高。
　　上述都是离散的变量，那么连续的变量呢？假设为独立同分布的（正态分布），μ有一个先验的概率分布为。那么我们想根据来找到μ的最大后验概率。根据前面的描述，写出函数为：
　　此时我们在两边取对数可知。所求上式的最大值可以等同于求
的最小值。求导可得所求的μ为
　　以上便是对于连续变量的求解的过程。
在中我们应注意的是：
MAP与最大区别是中加入了模型参数本身的概率分布，或者说。中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。
参考博客：
/liliu/archive//1886110.html

我要回帖

更多关于 概率算法 的文章

 

随机推荐