分类算法adaboostM1和multiboostAB对草药数据分类的比较--《中国新通信》2014年06期
分类算法adaboostM1和multiboostAB对草药数据分类的比较
【摘要】：讨论了在中草药数据分类应用中两种分类器算法multiboostAB和adaboostM1的分类性能的问题,在weka平台上实验可知,这两种分类器算法中adaboostM1的分类精度比较高。
【作者单位】：
【关键词】：
【基金】：
【分类号】：TP301.6【正文快照】：
一、概述示分类效果越好。以往对于中草药的分类一般都是采用传统的单分类multiboostAB的参数设置如下:算法,如最近邻分类算法、神经网络算法等,本实验研究基分类器为decisionstump,numiteration是10,num-的是把组合分类器算法应用于中草药数据的分类中,使subcmtys为3,seed为1
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【相似文献】
中国期刊全文数据库
;[J];浙江中医药大学学报;1993年03期
;[J];科技与出版;2008年05期
蔡传英;官翕华;;[J];化学传感器;1982年04期
徐飞;;[J];贵州大学学报(自然科学版);2008年05期
;[J];药物评价研究;2010年04期
赵明昌;崔霞;李耀东;;[J];计算机工程与应用;2008年22期
;[J];药物评价研究;2009年02期
;[J];药物评价研究;2010年01期
孙沂;杜建中;;[J];化学传感器;1990年04期
李宗清;彭启尧;袁君娉;;[J];化学传感器;1985年01期
中国重要会议论文全文数据库
周葵;赵强;;[A];西黄丸临床应用研究论文集[C];2009年
姚守拙;陈波;;[A];第九届全国稀土分析化学学术报告会论文集[C];2001年
张瑞贤;;[A];2000中药研究论文集[C];2001年
郑东;;[A];中华中医药学会骨伤分会第四届第二次会议论文汇编[C];2007年
肖小河;袁海龙;;[A];全国第2届中西医结合传染病学术会议暨国家中医药管理局第1届传染病协作组会议论文汇编[C];2008年
;[A];可持续水产养殖——资源、环境、质量——2003水产科技论坛论文集[C];2003年
何颖;谢芝勋;刘伟;;[A];第六届全国会员代表大学暨第11次学术研讨会论文集（下）[C];2005年
李黎;张修佳;;[A];山东省药学会第一届学术年会论文集（上）[C];2005年
邓聚谦;;[A];2005全国首届壮医药学术会议暨全国民族医药经验交流会论文汇编[C];2005年
乔建华;赵庆利;蔡瑞康;;[A];中国中医药学会中医美容分会成立大会论文集[C];1997年
中国重要报纸全文数据库
高素英;[N];中国经营报;2006年
刘士敬;[N];农村医药报（汉）;2007年
信;[N];中国中医药报;2002年
王玉堂;[N];中国畜牧报;2004年
李巍;[N];河北日报;2007年
王道毅 邹文俊;[N];中国医药报;2006年
小杨;[N];中国中医药报;2006年
蓝蔚?林小勇
翁旭欧;[N];温州日报;2008年
;[N];上海中医药报;2008年
本报特约记者 吴志;[N];保健时报;2010年
中国博士学位论文全文数据库
李新圃;[D];兰州大学;2006年
葛铭;[D];东北农业大学;2004年
王法亮;[D];山东农业大学;2008年
彭磷基;[D];暨南大学;2009年
杜广;[D];复旦大学;2005年
焦士龙;[D];天津大学;2006年
郭喜凤;[D];华东师范大学;2009年
陈昶铭;[D];中国医科大学;2009年
周艳芬;[D];河北农业大学;2007年
白立飞;[D];吉林大学;2006年
中国硕士学位论文全文数据库
于海;[D];山东农业大学;2005年
赵红琼;[D];新疆农业大学;2005年
郭文婷;[D];中国海洋大学;2005年
尹礼烘;[D];江西医学院;2005年
刘江;[D];新疆医科大学;2006年
李军;[D];湖北中医学院;2007年
刘晓静;[D];南昌大学;2007年
贾海燕;[D];黑龙江八一农垦大学;2008年
富宏骞;[D];东北农业大学;2008年
杨学华;[D];苏州大学;2009年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号三 Adaboost 算法
& AdaBoost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。(很多博客里说的三个臭皮匠赛过诸葛亮)
& 算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。
完整的adaboost算法如下
简单来说，Adaboost有很多优点:
　　1)adaboost是一种有很高精度的分类器
　　2)可以使用各种方法构建子分类器，adaboost算法提供的是框架
　　3)当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单
　　4)简单，不用做特征筛选
　　5)不用担心overfitting！
四 Adaboost 举例
也许你看了上面的介绍或许还是对adaboost算法云里雾里的，没关系，百度大牛举了一个很简单的例子，你看了就会对这个算法整体上很清晰了。
　　下面我们举一个简单的例子来看看adaboost的实现过程：
　　图中，&+&和&-&分别表示两种类别，在这个过程中，我们使用水平或者垂直的直线作为分类器，来进行分类。
　　第一步：
　　根据分类的正确率，得到一个新的样本分布D2&，一个子分类器h1
　　其中划圈的样本表示被分错的。在右边的途中，比较大的&+&表示对该样本做了加权。
也许你对上面的?1，ɑ1怎么算的也不是很理解。下面我们算一下，不要嫌我啰嗦，我最开始就是这样思考的，只有自己把算法演算一遍，你才会真正的懂这个算法的核心，后面我会再次提到这个。
算法最开始给了一个均匀分布 D 。所以h1 里的每个点的值是0.1。ok，当划分后，有三个点划分错了，根据算法误差表达式得到 误差为分错了的三个点的值之和，所以?1=(0.1+0.1+0.1)=0.3，而ɑ1 根据表达式&的可以算出来为0.42. 然后就根据算法 把分错的点权值变大。如此迭代，最终完成adaboost算法。
　　第二步：
　　根据分类的正确率，得到一个新的样本分布D3，一个子分类器h2
　　第三步：
　　得到一个子分类器h3
　　整合所有子分类器：
　　因此可以得到整合的结果，从结果中看，及时简单的分类器，组合起来也能获得很好的分类效果，在例子中所有的。
五 Adaboost 疑惑和思考
& 到这里，也许你已经对adaboost算法有了大致的理解。但是也许你会有个问题，为什么每次迭代都要把分错的点的权值变大呢？这样有什么好处呢？不这样不行吗? 这就是我当时的想法，为什么呢？我看了好几篇介绍adaboost 的博客，都没有解答我的疑惑，也许大牛认为太简单了，不值一提，或者他们并没有意识到这个问题而一笔带过了。然后我仔细一想，也许提高错误点可以让后面的分类器权值更高。然后看了adaboost算法，和我最初的想法很接近，但不全是。 注意到算法最后的表到式为，这里面的a 表示的权值，是由得到的。而a是关于误差的表达式，到这里就可以得到比较清晰的答案了，所有的一切都指向了误差。提高错误点的权值，当下一次分类器再次分错了这些点之后，会提高整体的错误率，这样就导致 a 变的很小，最终导致这个分类器在整个混合分类器的权值变低。也就是说，这个算法让优秀的分类器占整体的权值更高，而挫的分类器权值更低。这个就很符合常理了。到此，我认为对adaboost已经有了一个透彻的理解了。
　　最后，我们可以总结下adaboost算法的一些实际可以使用的场景：
　　1）用于二分类或多分类的应用场景
　　2）用于做分类任务的baseline
　　无脑化，简单，不会overfitting，不用调分类器
　　3）用于特征选择（feature selection)
　　4）Boosting框架用于对badcase的修正
　　只需要增加新的分类器，不需要变动原有分类器
　　由于adaboost算法是一种实现简单，应用也很简单的算法。Adaboost算法通过组合弱分类器而得到强分类器，同时具有分类错误率上界随着训练增加而稳定下降，不会过拟合等的性质，应该说是一种很适合于在各种分类场景下应用的算法。
第二节，AdaBoost算法
（一）认识AdaBoost
AdaBoost算法有AdaBoost.M1和AdaBoost.M2两种算法，AdaBoost.M1是我们通常所说的Discrete AdaBoost，而AdaBoost.M2是M1的泛化形式。关于AdaBoost算法的一个结论是:当弱分类器算法使用简单的分类方法时,boosting的效果明显地统一地比bagging要好.当弱分类器算法使用C4.5时,boosting比bagging较好,但是没有前者明显。后来又有学者提出了解决多标签问题的AdaBoost.MH和AdaBoost.MR算法,其中AdaBoost.MH算法的一种形式又被称为Real Boost算法---弱分类器输出一个可能度，该值的范围是整个R, 和与之相应的权值调整，强分类器生成的AdaBoost算法。
事实上:Discrete AdaBoost是指,弱分类器的输出值限定在{-1,+1}，每个弱分类器有相应的权值，从而构成一个强分类器。本文就详解该二分类的AdaBoost算法，其他请参考&&。
假设是二值分类问题，X表示样本空间，Y={-1,+1}表示样本分类。令S={(Xi,yi)|i=1,2,&,m}为样本训练集，其中Xi&X，yi&Y。再次重申，我们假设统计样本的分布式是均匀分布的，如此在两分类分类中（类别-1或者1）可以将阈值设为0。实际训练数据中，样本往往是不均衡的，需要算法来选择最优阈值（如ROC曲线）。AdaBoost算法就是学习出一个分类器YM(x) --由M个弱分类器构成。在进行分类的时候，将新的数据点x代入，如果YM(x)小于0则将x的类别赋为-1，如果YM(x)大于0则将x的类别赋为1。均匀分布中阈值就是0，非均衡分布则还要根据ROC曲线等方法确定一个分类的最优阈值。
基本过程：针对不同的训练集训练一个个基本分类器（弱分类器），然后集成而构成一个更强的最终的分类器（强分类器）。不同的训练集是通过调整训练数据中每个样本对应的权重实现的。每次训练后根据此次训练集中的每个样本是否被分类正确以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。
每个弱分类器可以是机器学习算法中的任何一个，如logistic回归，SVM，决策树等。
Adaboost有很多优点:
1)adaboost是一种有很高精度的分类器
2)可以使用各种方法构建子分类器，adaboost算法提供的是框架
3)当使用简单分类器时，计算出的结果是可以理解的，而且弱分类器构造极其简单
4)简单，不用做特征筛选
5)不用担心overfitting
（二）AdaBoost算法过程
完整的adaboost算法如下（训练样本样本总数是N个，M是迭代停止后（积累错误率为0或者达到最大迭代次数）得到弱分类器数目）。
给定一个训练数据集T={(x1,y1), (x2,y2)&(xN,yN)}，其中实例，而实例空间，yi属于标记集合{-1,+1}，Adaboost的目的就是从训练数据中学习一系列弱分类器或基本分类器，然后将这些弱分类器组合成一个强分类器，流程如下：
最开始的时候，每个样本对应的权重是相同的（1/m），在此样本分布下训练出一个基本分类器h1(x)。对于h1(x)错分的样本，则增加其对应样本的权重；而对于正确分类的样本，则降低其权重。这样可以使得错分的样本突出出来，并得到一个新的样本分布。同时，根据错分的情况赋予h1(x)一个权重，表示该基本分类器的重要程度，错分得越少权重越大。在新的样本分布下，再次对基本分类器进行训练，得到基本分类器h2(x)及其权重。依次类推，经过M次这样的循环，就得到了M个基本分类器及对应权重。最后把这M个基本分类器按一定权重累加起来，就得到了最终所期望的强分类器YM(x)。迭代的停止条件就是达到了训练样本累加分类错误率为0.0或者达到了最大迭代次数。
（i）初始化训练数据的权值分布，每一个训练样本最开始时被赋予相同的权值：1/N。
（ii）进行多轮迭代，迭代的停止条件就是达到了训练样本累加分类错误率为0.0或者达到了最大迭代次数L。用m = 1,2, ..., M表示迭代的第多少轮，也就是得到了多少个弱分类器，M&=L。
a.使用具有权值分布Dm的训练数据集学习，得到基本分类器：
&&&&&&&&&&&&&
b.计算Gm(x)在训练数据集上的分类误差率
&&&&&&&&&&&&&
由上述式子可知，Gm(x)在训练数据集上的误差率em就是被弱分类器Gm(x)分类错误样本的权值之和。就是在这里，训练样本权重因子发生了作用，所有的一切都指向了当前弱分类器的误差。提高分类错误样本的权值，下一个分类器学习中其&地位&就提高了（以单层决策树为例，因为每次都要得到当前训练样本中em最小的决策桩）；同时若这次的弱分类器再次分错了这些点，那么其错误率em也就更大，最终导致这个分类器在整个混合分类器的权值am变低---让优秀的分类器占整体的权值更高，而挫的分类器权值更低。
c. 计算Gm(x)的权值系数，am表示Gm(x)在最终分类器中的重要程度（目的：得到基本分类器在最终分类器中所占的权重）：
&&&&&&&&&&&&&&&
可知:em&&= 1/2时(两分类Adaboost算法em不可能大于1/2)，am&&= 0;am随着em的减小而增大，意味着分类误差率越小的本分类器在最终分类器中的作用越大。
另外，若某一个若分类器分类错误率为0计算am将会发生除数为0的异常，这属于边界处理。此时可以根据数据集的具体情况设定错误率为一个很小的数值，例如1e-16。观察样本权重更新就可以知道:没有错分，所有样本的权重就不会进一步调整,样本权重相当于没有改变。当然，该弱分类器权重alpha将较大，但是因为算法并不因此停止，如果后面还有其他弱分类器也能达到训练错误率为0，也同样会有较大的权重，从而避免由单个弱分类器完全决定强分类器的情况。当然，如果第一个弱分类器错误率就为0，那么整个分类就完成了，它有再大的权重alpha也无妨。采用下述修正方案：
alpha = float(0.5*log((1.0-error)/max(error,1e-16) ))
d. 更新训练数据集的权值分布（目的：得到样本的新的权值分布），用于下一轮迭代。这使得被基本分类器Gm(x)分类错误的样本的权值增大，而被正确分类样本的权值减小。通过这样的方式，AdaBoost算法提高了较难分类的样本的&地位&。
&&&&&&&&&&
Zm的意义在于让权重因子之和为1.0，使向量D是一个概率分布向量。其定义是
&&&&&&&&&&&&&&&&&&
（iii）&组合各个弱分类器得到最终分类器，如下：
&&&&&&&&&&&&&&&&&
（三）Python实现单决策树AdaBoost算法
单层决策树（decision stump，也叫决策树桩）是一种简单的决策树，决策树中只有一个树桩，也就是仅基于样本单个特征来做决策分类。单层决策树是AdaBoost算法中最流行的弱分类器。
AdaBoost把多个不同的决策树用一种非随机的方式组合起来，表现出惊人的性能。第一，把决策树的准确率大大提高，可以与SVM媲美。第二，速度快，且基本不用调参数。第三，几乎不Overfitting。本节就以多个单层决策树做基本分类器实现AdaBoost算法，值得注意的是每个基本分类器单层决策树决策用分类使用的特征都是在样本N个特征中做最优选择的（也就是说在分类特征选择这个层面，每个单层决策树彼此之间是完全独立的，可能若干个单层决策树都是基于同一个样本特征），而非样本特征的串联。
该版本的AdaBoost分类算法包含decisionstump.py（decisionstump对象，其属性是包含dim, thresh, ineqtype三个域的决策树桩，方法有buildstump()、stumpClassify()等。），adaboost.py, object_json.py, test.py，其中adaboot.py实现分类算法，对象adaBoost包含属性分类器词典adaboostClassifierDict和adaboost train&classify方法等。为了存储和传输更少的字节数，也可以在adaboost模块增加一个新类adaboostClassifier只用来存储分类词典和分类算法（本包中没有这么做）。test模块则包含了一个使用adaboost分类器进行分类的示例。
由于adaboost算法每一个基本分类器都可以采用任何一种分类算法，因此通用的方案是采用dict来存储学习到的AdaBoost分类器，结构如下图：
adaboost对象可以针对决策树、SVM等定义私有的各种弱分类算法，train和classifier方法则会根据当前的弱分类器类型创建响应的弱分类器实例并调用私有弱分类train\classifer方法完成train\classify。需要记住的是，adaboost train方法创建的弱分类器对象只用来调用相应的弱分类器方法，而该弱分类实例所有的属性则存储在adaboostClassifierDict中，这样可以减少弱分类器实例数目。另外，方法jsonDumpsTransfer()和jsonLoadTransfer()则要根据adaboostClassifierDict中支持的弱分类器类型删除\创建相应实例，从而支持JSON存储和解析。
采取上图中的分类器存储方案及相应的分类函数，AdaBoost支持每一个基本分类器在决策树、贝叶斯、SVM等监督学习算法中做最优选择。分类其中adaboostClassifierDict中的classifierType用户可以自己指定，从而在上述分类存储结构的基础上做一些利于分类器程序编写的调整。我实现的单层决策树Adaboost指定classifierType为desicionstump，即基本分类器采用desicionstump，每一个弱分类器都是一个DS对象。所以存储结构可以调整为下图所示（利于分类函数实现）：
通过调整adaboost算法弱分类器的数目，会得到分类错误率不同的adaboost分类器。测试证明，numIt=50时错误率最低。
AdaBoost分类算法学习包的下载地址是：
（四）Adaboost应用
由于adaboost算法是一种实现简单、应用也很简单的算法，应该说是一种很适合于在各种分类场景下应用的算法。adaboost算法的一些实际可以使用的场景：
1）用于二分类或多分类的应用场景
2）用于做分类任务的baseline--无脑化，简单，不会overfitting，不用调分类器
3）用于特征选择（feature selection)
4）Boosting框架用于对badcase的修正--只需要增加新的分类器，不需要变动原有分类器
阅读(...) 评论()AdaBoost算法程序介绍说明（一）
Adaboost经典的介绍
TraceBack：/����ܵĴ�����/blog/item/79eec53b574e88e014cecb1f.html
是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算
法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新
数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数
据特徵，并将关键放在关键的训练数据上面。
　　目前，对Adaboost算法的研究以及应用大多集中于分类问题，同时近年也出
现了一些在回归问题上的应用。就其应用Adaboost系列主要解决了: 两类问题、
多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。
　　该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类能力。整个过程如下所示：
　　1. 先通过对N个训练样本的学习得到第一个弱分类器 ；
　　2. 将 分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器 ；
　　3. 将 和 都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器 ；
　　4. 最终经过提升的强分类器 。即某个数据被分为哪一类要通过 ， ……的多数表决。
　　2.3 Adaboost(Adaptive Boosting)算法
　　对于boosting算法，存在两个问题：
　　1. 如何调整训练集，使得在训练集上训练的弱分类器得以进行；
　　2. 如何将训练得到的各个弱分类器联合起来形成强分类器。
　　针对以上两个问题，adaboost算法进行了调整：
　　1. 使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上；
将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。
　　Adaboost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了Adaboost算法错误率
的上界，以及为了使强分类器 达到错误率
，算法所需要的最多迭代次数等相关问题。与Boosting算法不同的是，adaboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误
差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度， 这样可以深入挖掘弱分类器算法的能力。
　　Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即 其中 n
为样本个数，在此样本分布下训练出一弱分类器 。对于
分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布
。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依次类推，经过 T 次循环，得到 T 个弱分类器，把这 T
个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。
　　Adaboost算法的具体步骤如下：
　　1. 给定训练样本集 ，其中 分别对应于正例样本和负例样本； 为训练的最大循环次数；
　　2. 初始化样本权重 ，即为训练样本的初始概率分布；
　　3. 第一次迭代：
　　(1) 训练样本的概率分布 下，训练弱分类器：
　　(2) 计算弱分类器的错误率：
　　(3) 选取 ，使得 最小
　　(4) 更新样本权重：
　　(5) 最终得到的强分类器：
　　Adaboost算法是经过调整的Boosting算法，其能够对弱学习得到的弱分类器的错误进行适应性调整。上述算法中迭代了
次的主循环，每一次循环根据当前的权重分布 对样本x定一个分布P，然后对这个分布下的样本使用若学习算法得到一个错误率为 的弱分类器
，对于这个算法定义的弱学习算法，对所有的 ，都有 ，而这个错误率的上限并不需要事先知道，实际上
。每一次迭代，都要对权重进行更新。更新的规则是：减小弱分类器分类效果较好的数据的概率，增大弱分类器分类效果较差的数据的概率。最终的分类器是
个弱分类器的加权平均。
adaboost的一些说明~~~~~~~~~`
TraceBack：/xxwl04108/blog/item/fac8f.html
上学期拿出一部分时间来做adaboost，做的时候做了一些笔记。论坛上也有一些正在读程序研究算法的人。我就把这份粗糙的笔记拿出来与大家分享一下吧。肯定有错误的地方，也有不妥当的地方，大家不要太相信我
还有这个地方不能贴公式，不能贴图片，还有我很懒，就挑了几幅重要的贴了，其他的大家去看文章吧
排版不好看，也许写得也不明白，大家多包涵，希望大家可以完善这个文档。让后来者少走些弯路。
不用发论坛消息问我，发在这里让更多人看见，更多人解答，然后也可以让更多的人知道，更好些
第一部分:算法的产生
1996年Yoav Freund在Experiments with a New Boosting
Algorithm中提出了AdaBoost.M1和AdaBoost.M2两种算法.其中,AdaBoost.M1是我们通常所说的Discrete
AdaB而AdaBoost.M2是M1的泛化形式.该文的一个结论是:当弱分类器算法使用简单的分类方法时,boosting的效果明显地统
一地比bagging要好.当弱分类器算法使用C4.5时,boosting比bagging较好,但是没有前者的比较来得明显.
文献中记录的.M1算法
1.获得一组样本(X)和它的分类(Y)和一个分类器(weaklearn).
2.赋予平均的权值分布D(i)
进入循环:T次
1. 赋予弱分类器权值D(i),使用弱分类器获得样本(X)到分类(Y)上的一个映射.(就是把某个X归到某个Y类中去)
计算这个映射的误差e.e=各个归类错误的样本权值之和.如果e&1/2那么弱分类器训练失败,挑出循环,训练结束(这在二值检测中是不会发生的,而多值的情况就要看分类器够不够强健了)
3. 设B = e / ( 1 - e
).用于调整权值.因为e&1/2.因此0&B&1
如果某样本分类正确,该样本的权值就乘以B让权值变小;如果分类错误,就让该样本的权值乘以B^-1或者不变,这样就让分类正确的样本权值降低,分类错误的样本权值升高,加强了对较难分类样本的分类能力
5. 权值均衡化
1. 最终的分类器是,当一个X进入时,遍历所有Y,寻找使(h(x)=y的情况下,log(1/B)之和)最大者即是输出分类y
M2相比于M1的改进是允许弱分类器输出多个分类结果,并输出这几个分类结果的可能性(注意,这里不是概率)
.M2的流程是
1.获得一组样本(X)和它的分类(Y)和一个分类器(weaklearn).
2.对于某个样本Xi将它的分类归为一个正确分类Yi和其他不正确分类Yb
3.样本权值进行如下分布首先每个样本分到1/m的权值,然后每个不正确分类分到(1/m)/Yb的个数.也就是说样本权值是分到了每个不正确的分类上
求每个样本的权值,即每个样本所有不正确的分类的权值和,再求每个样本错误分类的权值,即不正确分类的权值除以该样本的权值.最后将每个样本的权值归一化
2. 将样本权值和某样本的不正确分类的权值输入到weaklearn,获得弱分类器的输出为各个分类的可能值
3. 计算伪错误率:公式见上
4. 更新权值
最终的强分类器: 图贴不出来了...
1999年, ROBERT E. SCHAPIRE和YORAM SINGER,于Machine Learning发表论文:
Improved Boosting Algorithms Using Confidence-rated
Predictions.提出了更具一般性的AdaBoost形式.提出了自信率以改善AdaBoost的性能.并提出了解决多标签问题的
AdaBoost.MH和AdaBoost.MR算法,其中AdaBoost.MH算法的一种形式又被称为Real
Boost算法.
事实上:Discrete
AdaBoost是指,弱分类器的输出值限定在{-1,+1}，和与之相应的权值调整，强分类器生成的AdaBoost算法；Real
AdaBoost是指，弱分类器输出一个可能度，该值的范围是整个R,
和与之相应的权值调整，强分类器生成的AdaBoost算法。事实上，Discrete到Real的转变体现了古典集合到模糊集合转变的思想
至于Gentle
AdaBoost.考虑到(AdaBoost对”不像”的正样本权值调整很高,而导致了分类器的效率下降),而产生的变种算法.它较少地强调难以分类的样本.
Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky在论文Empirical
Analysis of Detection Cascades of Boosted Classifiers for Rapid
Detection中提出在stump弱分类器(即每个弱分类器使用一个特征进行分类)上进行的对比试验中,Gentle的结果明显好于Real和
Discrete.大牛已经做出试验了,我就不怀疑它了.
和上篇论文流程大体相同.作者还讨论了alpha(t)的取法:
算法去看文章吧...这里不能直接贴图
文献中记录的AdaBoost.MH算法
算法的运算流程:
1. 得到一组样本(m个)和样本相应的分类,这个分类是由K个是和否的标签组成.某一个样本可以有多个是标签.
2. 均分权值:1/mk
1. 由弱分类器获得各样本针对各标签的是或否结果(给出离散值或连续值)
2. 获得alpha（t）
3. 调整权值.大概是,弱分类器判断l标签的是或否,若判断正确乘以1,错误乘以-1,再乘以 ,然后blablabla…
4. 权值归一化
输出强分类器
1998年Jerome Friedman & Trevor Hastie
& Robert Tibshirani发表文章Additive Logistic
Regression: a Statistical View of Boosting
一些重要的结论:
Bagging是一个纯粹的降低相关度的方法,如果树的节点具有很高的相关性,bagging就会有好的结果
1.早期的AdaBoost在第二步的时候采用重采样方法,即使某些样本权重增加.这种方法与bagging存在某种关联,它也是Boost的成功之处中降低相关度方面的重要部分.
2.在第二步中如果使用加权的tree-growing算法,而不是重采样算法,效果会更好. This removes the
randomization component essential in bagging
3.使用stumps作为弱分类器
Logit和Gentle算法的提出过程大致是这样的
1. 验证Boosting algorithms是一种拟合一个additive logistic regression
model(加性的逻辑回归模型)的阶段式估计过程.它有最优一个指数判据,这个判据由第二定理与二项式对数似然判据是等价的.
2. 作者证明Discrete是使用adaptive Newton updates拟合一个additive logistic
regression
model来最小化Ee^(-yF(x))的过程,其中F(x)=求和fm(x),而fm(x)就是各层分类器的结果
3. 作者证明Real是使用层级最优的方法来拟合一个additive logistic regression model.
4. 作者说明了为什么要选择Ee^(-yF(x))作为目标:因为大家都用这个
5. 作者证明了当（blabla一个很复杂的公式，贴不出来）时Ee^(-yF(x))最小
6. 作者证明了每次权值更新以后,最近一次训练出的弱分类器错误率为50%.
7. 作者证明了对于最优的F(x),样本的分类乘以权值的和应该为0.
于是作者用80年代兴起的逻辑回归的寻优方法中提炼出了LogitBoost(我终于找到logitBoost的logic了)
自适应的牛顿法,拟合加性logistic回归模型
1. 获得样本,(x,y)序列.将分类y*=(y+1)/2
2. 设置初值,F(x)=0,p(xi)=1/2
1. 依式计算zi,wi.
2. 通过加权最小二乘的方式拟合函数fm(x).由zi拟合xi,权重为wi
3. 更新F(x),p(x)
输出分类器sign[F(x)].
作者提出,logitAdaBoost在每一轮中都使Ee^(-y(F(x)+f(x)))最优,会使训练样本的代表性下降,于是提出了Gentle
AdaBoost(牛顿步长法)
第二部分 人脸检测
2001年,Paul Viola & Michael Jones在ACCEPTED
CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION发表文章: Rapid
Object Detection using a Boosted Cascade of Simple Features
文章的主要结论:
1.Haar特征的提出.使AdaBoost进行人脸检测成为可能.作者说明使用Haar特征而不是像素点的原因是:特征能包含某些特别领域的信息
(encode ad-hoc domain knowledge that is difficult to learn using a
finite quantity of training
data.);此外在Integral提出以后,基于特征的系统的运算速度高于基于像素的系统
2.用于快速Haar特征运算的Integral Image的提出:极大地提高了训练速度和检测速度
3.用于物体检测的AdaBoost方法的提出:Haar特征作为弱分类器判据与Adaboost结合到了一起
4.Cascade级联方式的提出:极大地提高了AdaBoost的检测速度
[实在是一篇很NB的文章,每一个贡献都掷地有声]
2002年, Rainer Lienhart and Jochen Maydt 在 IEEE ICIP 上发表文章An
Extended Set of Haar-like Features for Rapid Object
Detection.
1. 提出了扩展的Haar特征,并证明了新的Haar特征集提高了检测的能力
2. 提出了一种针对已训练完成的AdaBoost的修整程序
2002年, Rainer Lienhart & Alexander Kuranov
& Vadim Pisarevsky 在MRL Technical
Report上发表Empirical Analysis of Detection Cascades of Boosted
Classifiers for Rapid Object Detection.
1. 提出了训练时进行样本丰富化
2. 指出:logitBoost could not be used due to convergence problem on
later stages in the cascade training.
3. 通过试验得出结论,在人脸检测上Gentle AdaBoost的效果要好于 Discrete 和 Real
2004年, Bo WU & Haizhou AI & Chang
HUANG & Shihong LAO在Computer Society上发表文章Fast
Rotation Invariant Multi-View Face Detection Based on Real
1. 提出了使用Real Boost检测旋转人脸
*****************还有一篇巨大量负样本的速度提高方法找不到了……
第三部分,OpenCv中AdaBoost训练程序略解
这里只介绍一个大概的情况,具体的都写在代码的注释里了.
程序的总体结构是一棵多叉树,每个节点多少个叉由初始设定的maxtreesplits决定
树节点结构:
typedef struct CvTreeCascadeNode
CvStageHaarClassifier* // 指向该节点stage强分类器的指针
struct CvTreeCascadeNode* // 指向同层下一个节点的指针
struct CvTreeCascadeNode* // 指向子节点的指针
struct CvTreeCascadeNode* // 指向父节点的指针
struct CvTreeCascadeNode* next_same_//最后一层叶节点之间的连接
struct CvTreeCascadeNode* child_ //用于连接最终分类的叶节点和根节点
//表示该节点是第几个节点
//从来没有用到过的参数
} CvTreeCascadeN
这里需要说明的是child_eval这个指针，虽说人脸检测是一个单分类问题，程序中的maxtreesplits的设置值为0，没有分叉，但是树本身
是解决多分类问题的，它有多个叶节点，也就有多个最终的分类结果。但是我们使用的时候，虽然是一个多分类的树，也可能我们只需要判断是或者不是某一类。于
是我们就用root_eval和child_eval把这个分类上的节点索引出来，更方便地使用树结构。当然，这一点在本程序中是没有体现的。
分类器结构：
每个树节点中都包含了一个CvStageHaarClassifier强分类器，而每个CvStageHaarClassifier包含了多个
CvIntHaarClassifier弱分类器。当CvIntHaarClassifier被使用的时候，被转化为
CvCARTHaarClassifier，也就是分类树与衰减数分类器作为一个弱分类器。
typedef struct CvCARTHaarClassifier
CV_INT_HAAR_CLASSIFIER_FIELDS()
int* //特征序号
CvTHaarFeature* //选出的特征。数组
CvFastHaarFeature*
} CvCARTHaarC
CvCARTHaarClassifier结构中包含了弱分类器的左值右值阈值等数组，在我们的程序中CART只选用了一个特征进行分类，即退化成了stump。这里的数组里面就只存有一个元了
那么这里为什么要使用一个如此复杂的结构呢。大体来说有两个好处：
方便弱分类器之间的切换，当我们不选用CART而是其他的弱分类器结构的时候，就可以调用CvIntHaarClassifier时转换成其他的指针
2、 这样方便了Haar训练的过程和Boost过程的衔接。
特征的结构：
2.OpenCV的HaarTraining程序中一种常用的编程方法：
在这个程序中，函数指针是一种很常用的手法。函数指针的转换使读程序的人更难把握程序的脉络，在这里举一个最极端的例子，来说明程序中这种手法的应用。
我们在cvBoost.cpp文件中的cvCreateMTStumpClassifier函数（这是一个生成多阈值(Multi-threshold)stump分类器的函数）下看到了一个这样的调用：
findStumpThreshold_16s[stumperror]（……….）
这里对应的stumperror值是2
在cvboost.cpp中我们找到了一个这样的数组
CvFindThresholdFunc findStumpThreshold_16s[4] = {
icvFindStumpThreshold_misc_16s,
icvFindStumpThreshold_gini_16s,
icvFindStumpThreshold_entropy_16s,
icvFindStumpThreshold_sq_16s
这个数组的类型是一个类型定义过的函数指针typedef int (*CvFindThresholdFunc)（…..）
因此这个数组中的四项就是四个指针，我们在cvCreateMTStumpClassifier中调用的也就是其中的第三项icvFindStumpThreshold_entropy_16s。
然后我们发现这个函数指针没有直接的显性的实现。那么问题出在哪里呢？
它是通过宏实现的：
程序中定义了一个这样的宏：
#define ICV_DEF_FIND_STUMP_THRESHOLD_SQ( suffix, type )
ICV_DEF_FIND_STUMP_THRESHOLD( sq_##suffix, type,
curlerror = wyyl + curleft * curleft * wl - 2.0F * curleft *
currerror = (*sumwyy) - wyyl + curright * curright * wr - 2.0F *
curright *
和一个这样的宏：
#define ICV_DEF_FIND_STUMP_THRESHOLD( suffix, type, error )
CV_BOOST_IMPL int icvFindStumpThreshold_##suffix(…..)
这两个宏中，后者是函数的主体部分，而函数的定义通过前者完成。即：
ICV_DEF_FIND_STUMP_THRESHOLD_ENTROPY( 16s, short
)，这样的形式完成。这相当于给前者的宏传递了两个参数，前者的宏将第一个参数转换成sq_16s后和第二个参数一起传到后者的宏。（##是把前后两个
string连接到一起，string是可变的两，在这里suffix就放入了16s和sq_结合成了sq_16s）
后者的宏接收到参数以后就进行了函数的定义：
CV_BOOST_IMPL int icvFindStumpThreshold_sq_16s
这样icvFindStumpThreshold_sq_16s就被定义了。这样做的好处是，12个非常相似的函数可以通过两个宏和12个宏的调用来实现，而不需要直接定义12个函数。
3.训练结果中数据的含义：
- &feature&
&_&6 4 12 9
//矩阵。前四个数值是矩阵四个点的位置，最后一个数值是矩阵像素和的权值
&_&6 7 12 3
//矩阵。前四个数值是矩阵四个点的位置，最后一个是像素和的权值，这样两个矩阵就形成了一个Haar特征
&tilted&0&/tilted&
//是否是倾斜的Haar特征
&/feature&
&threshold&-0.6908&/threshold&
&left_val&2.5088&/left_val&
//小于阈值时取左值
&right_val&-2.5830&/right_val&
//大于阈值时取右值
4. 训练过程中使用的算法
这里主要讲弱分类器算法
&矩形特征值：Value[i][j], 1≤i≤n代表所有的Haar特征，1≤j≤m代表所有的样本
&FAULT = (curlerror + currerror)表示当前分类器的错误率的最小值，初始设置：curlerror
currerror=
0(反正给个暴力大的数值就对了)
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。