> 基于SPSS Modeler +Weka 组合优惠， 数据挖掘分析与应用
基于SPSS Modeler +Weka 组合优惠， 数据挖掘分析与应用
主讲老师：
上课时间：-4.5 -19
上课地点：全程远程直播
课程资料：购买后可下载预习资料
课程价格：
基于SPSS Modeler 十个案例玩转数据挖掘课程大纲
评估新车设计(汽车业)：某汽车制造商开发两种新车(汽车及卡车)的原型。在将新车型引入至产品系列之前，制造商想知道竞争对手已经上市的车辆中，哪些与这两款产品的原型最为相似，以确定这两种新车将与哪些车型展开竞争。此案例将采用K最近邻居(K Nearest N KNN)来建模。
电信客户流失(电信业)：某电信服务提供商非常关注客户流失到竞争对手的数量。假如服务使用的数据可以用来预测哪些客户有可能被转移到另一个供货商，则此供货商可提供客制化的优惠，以尽可能留住客户。此案例将采用二元罗吉斯回归(Binomial Logistic Regression)来预测客户的流失。
药物治疗(医疗业)：某医学研究中心收集许多患有某疾病的病患数据，并记录哪一种药物对病患是有疗效的(总共有五种针对此疾病的药物)。此案例将采用决策树 C5.0(Decision Tree C5.0)找出，哪种药物适用于哪一种类型的病人。
预测贷款逾期者(银行业)：某银行希望根据客户过去的贷款数据，利用贝式网络(Bayesian Network)来建模，以便用模型来预测新的贷款者，核贷后会逾期的机率，以做为银行是否核贷的依据，或提供给客户其他类型的贷款产品。
电信客户分类(电信业)：某电信服务提供商透过客户使用服务的方式，将客户分为四类人。此案例的目的是想根据人口统计数据，利用多元罗吉斯回归(Multinomial Logistic Regression)来找出这四类人的特征，并发掘这四类人的潜在新客户。
细胞样本分类(医疗业)：某医学研究中心收集癌症病患的细胞样本特征数据，以便进行研究。原始的数据中显示良性样本与恶性样本间的许多特征有显著的差异。此案例的目的是想利用支持向量机(Support Vector Machine)来建模，以便用模型来提早发现某样本是良性还是恶性的样本。
零售业销售促销(零售业)：此案例的目的是想根据零售产品过去的促销记录，利用神经网络及回归树(Neural Network & Regression Tree)来预测未来的销售成效。
预测带宽使用率(通讯业)：某全国宽带网络供货商的分析师需进行客户使用网络流量的预估，以便预测带宽的使用。全国网络的使用是全国各局域网络使用的加总，因此分析师需逐一对每个区域市场进行带宽使用的预测。
预测型录商品的销售(零售业)：某型录公司希望根据过去10年的销售记录，来预测男装生产线每月的销售。此案例的目的是想利用两个时间序列模型-指数平滑(Exponential Smoothing)和ARIMA来解决这个问题。
个人信息及每次购买商品的数据，利用关联模型(Apriori)和决策树C5.0(Decision Tree C5.0)来发掘购买类似商品的客群，以及客群的特征(例如，年龄、收入、等)。
WEKA-大数据的分析与应用课程大纲
第一部分: 大數據時代(The Era of Big Data)
第二部分: 数据挖掘基础(Basic Concept)
第三部分: 数据挖掘技术(Data Mining Techniques)及实务建模(Practical Models)
2.关键字段/变量发掘技术
3.分类技术(Classification Techniques) – 贝氏网络 (Bayes Net)
4.预测技术(Prediction Techniques) – 线性回归 (Linear Regression)
5.分类及预测技术 (Classification & Prediction Techniques) – 决策树 (Decision Tree)
6.分类及预测技术 (Classification & Prediction Techniques) – 类神经网络 (Neural Network)
7.分类技术 (Classification Techniques) – 罗吉斯回归 (Logistic Regression)及支持向量机 (Support Vector Machine)
8.聚类技术(Clustering Techniques) – K-Means, Kohonen SOM, Two-Step
9.关联规则及序列型样技术(Association Rules & Sequential Patterns Techniques) – Apriori & AprioriAll
10.WEKA处理大数据及与其他系统的链接
& & & 现今大数据的时代，各行各业都迫切地想要利用大数据来解决它们的问题,本次课程就是针对大数据分析上的应用与案例，以及进入大数据后分析方式的转变，运用OpenSource-WEKA ；SPSS Modeler专业数据挖掘软件，做广泛且深入的探讨。李老师运用强悍的行业经验，教你不寻常的数据挖掘技巧！ &项目名称 &时间地点费用报名十个案例玩转数据挖掘-19全国直播(凭学生证优惠)WEKA-数据挖掘及应用-4.5(凭学生证优惠)SPSS Modeler与WEKA数据挖掘-4.5 &-19(凭学生证优惠)玩转数据挖掘必学课程，十个案例玩转数据挖掘（SPSS Modeler）及WEKA-数据挖掘及应用，学习系列课程立减600元（原价5600元）名额有限，报名从速！ （组合报名优惠） & & &李御玺 (Yue-Shi Lee),国立台湾大学计算机工程博士，铭传大学计算机工程学系教授，铭传大学大数据研究中心主任，中华资料采矿协会理事, 浙江大学城市学院客座教授，云南财经大学信息学院客座教授, 厦门大学数据挖掘中心顾问，中国人民大学数据挖掘中心顾问。其研究领域专注于大数据、数据挖掘、与文本挖掘。李博士在其相关研究领域已发表超过280篇以上的研究论文,同时也是台湾科技部与教育部多个相关研究计划的主持人。学员对象：(1)数据分析相关工作的各企业人员；有志于学习数据挖掘技术和软件的社会各界人士；(2)从事数据挖掘和统计分析等相关领域教学的高校教师；(3)有志于从事金融数据挖掘、商业数据挖掘分析工作和数据挖掘理论研究的学生；(4)营销经理人、数据库管理者、及智能系统开发者；十个案例玩转数据挖掘（SPSS Modeler实作）1. &如何开始进行企业的数据挖掘项目，评估新车设计案例2. 药物治疗案例,电信客户流失案例3.关键字段/变量发掘技术，银行信用风险评估之进件评分卡(Application Scorecard)案例4. 分类技术——贝氏网络(Bayes Net)，银行目标客户营销(Target Marketing)案例5. 预测技术——线性回归(Linear Regression)，汽车油耗预测案例6. 分类及预测技术——决策树(Decision Tree)，电信产品跨销售(Cross-Selling)案例7. 分类及预测技术——类神经网络 (Neural Network)，细胞样本分类案例，零售促銷案例8. 分类技术——罗吉斯回归(Logistic Regression)，电信客户分类(不同套餐选择)与客户流失案例解读9. 预测技术——时间序列(Time Series)，全国网络带宽使用预测与男装销售金额预测案例10. 聚类技术——K-Means,Kohonen SOM, Two-Step，银行客户聚类(Customer Segmentation)及营销活动设计案例11. 关联规则及序列型样技术——Apriori & AprioriAll ) 零售购物篮分析与零售向上销售(Up-Selling)案例更多详情内容 》 》 》 》 》
&WEKA——数据挖掘技术与应用1. WEKA简介及操作接口(Explore,Experimenter, Knowledge Flow, Command Line)说明；WEKA实作: 疾病诊断、寿险推销案例解读2.数据前处理，字段的扩充：外部数据的整并及内部数据的统整；WEKA实作:(1) 进件评分卡与药物治疗案例(2) 鸢尾花和糖尿病预测案例(3) 电离层雷达侦测案例3. 利用统计检定(StatisticalTest)的方法发掘关键变量；(1)银行信用风险评估之进件评分卡(ApplicationScorecard)案例(2)玻璃制品分类案例4. 分类技术(Classification Techniques)：分类模型效能的评估方式；(1)糖尿病和天气预测案例5. 简单线性回归和复回归原理，预测模型效能的评估方式；(1)汽车油耗预测案例(2)CPU效能预测案例6. 分类树与分类规则及其回归树进阶；(1)电信产品跨销售(Cross-Selling)案例(2)影像(Image)数据分类案例(3)乳腺癌(Breast Cancer)预测案例7. 倒传递类神经网络与罗吉斯回归, 线性回归, 非线性回归间的关系；(1)可视化工具(Boundary Visualizer)实作(2)便利超商(Convenience_Store)选点案例(3)房价(Home Price)预测案例8.WEKA处理大数据及与其他系统的链接；(1)LED分析案例(5亿笔数据、5GB大小)(2)Java实作与Weka的链接更多详情内容 》 》 》 》 》 &【报名流程】1. 网上提交报名信息；2. 在线缴费：3. 给予反馈，确认报名信息；4.开课前一周发送上课资料与软件；最新消息：完成课时学习后即可申请工信部证书，另交证书费用400元 （自愿原则）【报名优惠】（1）论坛的统计软件课程往期的现场班学员一律9折优惠；（2）同一单位3人以上报名，9折优惠；（3）独家资料，赠送现场班视频，永久学习；（4）课后赠送论坛币1000个（玩转论坛必备） 现在就报名！【报名咨询】电话: & & (010) & &QQ： & & & & & 手机： &（张老师） & & & & &
（曹老师） & &邮箱： & & & & & & &
SPSS Modeler+Weka 组合优惠 玩转数据挖掘技术
李御玺 (Yue-Shi Lee),国立台湾大学计算机工程博士，铭传大学计算机工程学系教授兼系主任暨所长，铭传大学数据库与数据探勘实验室召集人，中国厦门大学数据挖掘中心顾问，中国人民大学数据挖掘中心顾问。其研究领域专注于数据仓储、数据挖掘、与数据库设计。
在其相关研究领域已发表超过250篇以上的研究论文,同时也是国科会与教育部多个相关研究计划的主持人。服务过的客户包括：中国工商局、台新银行、联邦银行、新光银行、 新竹国际商业银行(现已并入渣打银行)、第一银行、永丰银行、美商大都会人寿、嘉义基督教医院、微软、全国意向顾问股份有限公司、零售业如赫莲娜(Helena Rubinstein)化妆品公司、特立和乐(HOLA)公司、航空公司如东方航空公司、汽车行业如福特(Ford)公司；政府行业如国税局、台北市国税局、台湾省北区国税局、台湾省南区国税局、高雄市国税局等。
内容不能少于5个字符！
Peixun.net
基于SPSS Modeler +Weka 组合优惠， 数据挖掘分析与应用
请认真填写以下信息，方便为您服务
您还可以选择
更方便您管理课程。
Peixun.net
基于SPSS Modeler +Weka 组合优惠， 数据挖掘分析与应用
的报名信息已经提交成功。
您可以选择
更方便您管理课程。
& 2016 Peixun.net 版权所有 未经许可 请勿转载 京ICP备号-4查看: 5556|回复: 5|关注: 0
matlab的classification tree如何对新数据进行识别
<h1 style="color:# 麦片财富积分
新手, 积分 6, 距离下一级还需 44 积分
关注者： 2
在Matlab中，可以用classregtree函数去建立决策树，那么用训练集的数据建立分类树之后，如何去识别测试集中的数据呢，有没有现成的函数呢（如果用十折交叉验证的话，要每一次用测试集的数据去对比树中的规则，太繁琐了），求高人给予帮助:)
<h1 style="color:# 麦片财富积分
关注者： 2
自己写了一个，大家有用的可以看一看:)
16:47 上传
点击文件名下载附件
435 Bytes, 下载次数: 2268
k-fold Cart Classifier
<h1 style="color:# 麦片财富积分
关注者： 1
本帖最后由 zzy 于
23:40 编辑
我是黑狐 发表于
自己写了一个，大家有用的可以看一看
你好，我现在要用决策树分类器做10次10折交叉验证，除了要计算分类的准确率外，还要加上一个方差，我自己写了一个，但是稳定性不是太好，输入同样的数据，得出的结果波动比较大，请问可以帮帮忙吗？fold=10;
& & sum_true_rate_tmp=zeros(fold,fold);
for o=1:fold
c = cvpartition(train_label,'k',fold);
F = @(xtr,ytr,xtest,ytest){ytest, predict(ClassificationTree.fit(xtr,ytr,'Prune','on'),xtest)};
& &&&true_rate_tmp = crossval(F,train_mat_i,train_label,'partition',c);
for&&p=1:fold
conf{p} = confusionmat(true_rate_tmp{p,1},true_rate_tmp{p,2});
for q=1:fold
& &&&sum_true_rate_tmp(o,q)=(trace(conf{q})/sum(conf{q}(:)))*100;%o代表第o次10折运算，其代表一次10折中的第q次
end
% true_rate_fold_time(o)=mean(sum_true_rate_tmp);
end
& && &sum_true_rate=reshape(sum_true_rate_tmp,1,fold*fold);
& && &true_rate=mean(sum_true_rate);
& && &variance=std(sum_true_rate);复制代码
<h1 style="color:# 麦片财富积分
关注者： 2
波动大不一定是程序的问题，可能和你使用的数据有关，你用IRIS试一试，这个数据表波动小些，如果波动依然很大，很有可能就是程序问题了
<h1 style="color:# 麦片财富积分
敢问剪枝置信度如何实现？谢谢
<h1 style="color:# 麦片财富积分
关注者： 2
这个真不知道，你可以看看算法详解，我的程序也只是调用matlab分类树的函数
站长推荐 /1
Powered by后使用快捷导航没有帐号？
查看: 7300|回复: 5
R语言与机器学习中的回归方法学习笔记
中级会员, 积分 211, 距离下一级还需 289 积分
论坛徽章:1
机器学习中的一些方法如决策树，随机森林，SVM，神经网络由于对数据没有分布的假定等普通线性回归模型的一些约束，预测效果也比较不错，交叉验证结果也能被接受。下面以R中lars包包含数据集diabetes为例说明机器学习中的回归方法。一、数据集及交叉验证办法描述& && && & Diabetes数据集包含在R的lars包中，数据分为x,y,x2三个部分，因变量为y,数据是关于糖尿病的血液化验等指标。这个数据集最早被用在偏最小二乘回归的文章里。& && && &交叉验证采用指标NMSE来评价模型好坏。这一统计量是计算模型预测性能和基准模型的预测性能之间的比率。通常采用目标变量的平均值来作为基准模型。其取值范围通常为0～1。如果模型表现优于这个非常简单的基准模型预测，那么NMSE应明显小于1。NMSE的值越小，模型的性能就越好。NMSE的值大于1，意味着模型预测还不如简单地把所有个案的平均值作为预测值！& && & 交叉验证办法为将数据集分为5份，取4份作为训练集，1份作为测试集，共作5次，把误差平均起来作为衡量标准。选取代码如下： [plain]
n&-length(dataset)&&index1&-1:n&&index2&-rep(1:5,ceiling(n/5))[1:n]&&index2&-sample(index2,n)&&
二、回归树& && &&&决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。& && &基本算法：1.选择一个属性放置在根节点，为每个可能的属性值产生一个分支2.将样本划分成多个子集，一个子集对应于一个分支3.在每个分支上递归地重复这个过程，仅使用真正到达这个分支的样本4.如果在一个节点上的所有样本拥有相同的类别，即停止该部分树的扩展& && &构造决策树(集合划分)时选择属性:1.ID3:Information Gain2.C4.5:Gain Ratio3.CART:Gini Index& && && &在R中我们使用rpart包中的rpart()函数实现树回归。我们先把rpart包中的两个十分重要的函数介绍如下：& && &&&构建回归树的函数：rpart（）用法如下：rpart(formula, data, weights, subset,na.action = na.rpart, method,& &&&model = FALSE, x = FALSE, y = TRUE, parms, control, cost, ...)主要参数说明:fomula回归方程形式:例如 y～x1+x2+x3。data数据:包含前面方程中变量的数据框(dataframe)。na.action缺失数据的处理办法:默认办法是删除因变量缺失的观测而保留自变量缺失的观测。method根据树末端的数据类型选择相应变量分割方法,本参数有四种取值:连续型“anova”;离散型“class”;计数型(泊松过程)“poisson”;生存分析型“exp”。程序会根据因变量的类型自动选择方法,但一般情况下最好还是指明本参数,以便让程序清楚做哪一种树模型。parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法。control控制每个节点上的最小样本量、交叉验证的次数、复杂性参量:即cp:complexitypamemeter,这个参数意味着对每一步拆分,模型的拟合优度必须提高的程度,等等。& && && & 进行剪枝的函数：prune()用法如下：prune(tree, cp, ...)主要参数说明:tree一个回归树对象,常是rpart()的结果对象。cp复杂性参量,指定剪枝采用的阈值。cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度，用来节省剪枝浪费的不必要的时间，R内部是怎么计算的我不知道，希望读者能够补充。 运行代码： [plain]
library(rpart.plot)&&reg&-rpart(y~.,w)&&rpart.plot(reg,type=2,faclen=T)&&
& && &&&得到回归树：
& && && & 我们可以通过print（reg）来看到树的各个节点的细节。& && && & 我们来进行交叉验证，运行代码如下： [plain]
w&-diabetes[,2:3]&&n&-length(w$y)&&index1&-1:n&&index2&-rep(1:5,ceiling(n/5))[1:n]&&index2&-sample(index2,n)&&NMSE&-rep(0,5)&&NMSE0&-NMSE&&for(i in 1:5){&&m&-index1[index2==i]&&reg&-rpart(y~.,w[-m,])&&y0&-predict(reg,w[-m,])&&y1&-predict(reg,w[m,])&&NMSE0&-mean((w$y[-m]-y0)^2)/mean((w$y[-m]-mean(w$y[-m]))^2)&&NMSE&-mean((w$y[m]-y1)^2)/mean((w$y[m]-mean(w$y[m]))^2)&&}&&
& && && &R中输出结果：& NMSE[1] 0.....7238316& NMSE0[1] 0.....3467186& & & &&&明显出现了过拟合现象，应该使用剪枝函数，对模型进行修正。& reg$cptable& && && &&&CP& && && && &&&n& && & split relerror& & xerror& && & xstd1&&0.& && &0 1...2&&0.& && &1 0...3&&0.& && &2 0...4&&0.& && &3 0...5&&0.& && &4 0...6&&0.& && &50...7&&0.& && &6 0...8&&0.& && &8 0...9&&0.& && &9 0...10 0.& &&&11 0.4133611 0.& &&&12 0.5404312 0.& &&&14 0.8883513 0.& &&&15 0.4353514 0.& &&&17 0.10011& && &&&参照上述结果，选择合适的cp值。故修正为： [plain]
reg2&-prune(reg,cp=0.025)&&rpart.plot(reg2,type=2,faclen=T)&&
& && &&&结果为：
& && && & 再次进行交叉验证（代码略）可以看到：& NMSE[1] 0.....6407927& NMSE0[1] 0.....5233709& &&&& &&&过拟合现象基本消除。
中级会员, 积分 239, 距离下一级还需 261 积分
论坛徽章:1
感谢分享～
注册会员, 积分 146, 距离下一级还需 54 积分
论坛徽章:2
怎样看出出现了过度拟合？
注册会员, 积分 174, 距离下一级还需 26 积分
论坛徽章:0
高级会员, 积分 573, 距离下一级还需 427 积分
论坛徽章:7
扫一扫加入本版微信群苹果/安卓/wp
积分 289, 距离下一级还需 161 积分
权限: 自定义头衔, 签名中使用图片
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡下一级可获得
道具: 抢沙发
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
阅读《数据挖掘算法与clementine实践》的决策树部分有些地方不太清楚：
1）决策树的交叉验证。是将训练数据平均分成k份，然后建立k个决策树，对任意一个决策树，验证另外k-1份数据，得到k-1个误差，然后求和，比较k颗树的误差，取最小的那个树么？
2）标准验证技术 和 交叉验证的区别是什么？标准验证是交叉验证的过程中的一部分，还是独立于交叉验证的修剪方法呢？
3）代价复杂度=分类损失+elf*叶节点数量；不明白，等式右边的两项类别不同，相加的意义何在？是经验公式么？elf的一般取值是多少呢？
坐等高手解答……
载入中......
1)从k个数据中抛出一个数据
用剩下的k-1个数据训练模型，用得到的模型拟合扔出去的那一个数据，得到其预测误差
重复k次，直到所有的k个数据都这样被扔出去一次，将每次所得的预测误差加总即为CV值
3）加上lamda*叶节点数是为了防止过度拟合所加的penalty，因为一般节点越多，训练误差越小甚至可能为0
2）尝试不同的lamda之进行建模，使（1）中cv值最小的就是我们lamda的取值
观点有启发
总评分:&学术水平 + 1&
热心指数 + 1&
信用等级 + 1&
进来看看答案。
礼貌回帖！
牛x牌生发灵 发表于
1)从k个数据中抛出一个数据
用剩下的k-1个数据训练模型，用得到的模型拟合扔出去的那一个数据，得到其预测 ...容我三思
无限扩大经管职场人脉圈！每天抽选10位免费名额，现在就扫& 论坛VIP& 贵宾会员& 可免费加入
加入我们,立即就学扫码下载「就学」app& Join us!& JoinLearn&
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
京ICP证090565号
京公网安备号
论坛法律顾问：王进律师