请教在r语言 数据分箱挖掘中r语言 数据分箱平滑的分箱方法

来源：蜘蛛抓取(WebSpider) 时间：2017-07-06 21:12 标签： 数据分箱方法
数据挖掘复习题_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
数据挖掘复习题
阅读已结束，下载本文需要
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩2页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢数据挖掘作业_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
数据挖掘作业
阅读已结束，下载本文需要
想免费下载更多文档？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩18页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢2075人阅读
数据科学--机器学习（79）
在建模中，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。
有监督的卡方分箱法(ChiMerge)
自底向上的(即基于合并的)数据离散化方法。
它依赖于卡方检验:具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则。
对于精确的离散化，相对类频率在一个区间内应当完全一致。因此,如果两个相邻的区间具有非常类似的类分布，则这两个区间可以合并；否则，它们应当保持分开。而低卡方值表明它们具有相似的类分布。
这里需要注意初始化时需要对实例进行排序，在排序的基础上进行合并。
卡方阈值的确定：
根据显著性水平和自由度得到卡方值
自由度比类别数量小1。例如：有3类,自由度为2，则90%置信度(10%显著性水平)下，卡方的值为4.6。
阈值的意义
类别和属性独立时,有90%的可能性,计算得到的卡方值会小于4.6。 大于阈值4.6的卡方值就说明属性和类不是相互独立的，不能合并。如果阈值选的大,区间合并就会进行很多次,离散后的区间数量少、区间大。
1,ChiMerge算法推荐使用0.90、0.95、0.99置信度,最大区间数取10到15之间.
2,也可以不考虑卡方阈值,此时可以考虑最小区间数或者最大区间数。指定区间数量的上限和下限,最多几个区间,最少几个区间。
3,对于类别型变量,需要分箱时需要按照某种方式进行排序。
无监督分箱法:
等距划分、等频划分
　　从最小值到最大值之间,均分为 N 等份, 这样, 如果 A,B 为最小最大值, 则每个区间的长度为 W=(B-A)/N , 则区间边界值为A+W,A+2W,….A+(N-1)W 。这里只考虑边界，每个等份里面的实例数量可能不等。
　　区间的边界值要经过选择,使得每个区间包含大致相等的实例数量。比如说 N=10 ,每个区间应该包含大约10%的实例。
以上两种算法的弊端
　　比如,等宽区间划分,划分为5区间,最高工资为50000,则所有工资低于10000的人都被划分到同一区间。等频区间可能正好相反,所有工资高于50000的人都会被划分到50000这一区间中。这两种算法都忽略了实例所属的类型,落在正确区间里的偶然性很大。
我们对特征进行分箱后，需要对分箱后的每组（箱）进行woe编码，然后才能放进模型训练。豆丁微信公众号
君，已阅读到文档的结尾了呢~~
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
数据挖掘题目`关于等宽分箱法进行分箱。嘀嗒网
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口数据挖掘_概念与技术(第三版)部分习题答案_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
数据挖掘_概念与技术(第三版)部分习题答案
阅读已结束，下载本文需要
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩16页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢

我要回帖

更多关于 数据分箱方法 的文章

 

随机推荐