苹果/安卓/wp
苹果/安卓/wp
& 附件下载
Matlab学习系列12_数据预处理—剔除异常值，平滑处理，标准化(归一化).rar
157.27 KB &
游客无法下载,请后下载，熟悉论坛请点击&&&&&&&&nbsp
淘宝购物通道：
1.下载一个附件当天只会扣除您一次下载次数和一次流量费。
2.论坛支持迅雷和网际快车等p2p多线程软件下载，请在上面选择下载通道&&单击右健下载即可（不会算多次下载次数）。
3.论坛会定期自动批量更新下载地址,所以请不要浪费时间盗链&&论坛资源,盗链地址会很快失效。
4.本站为非盈利性质的学术交流网站,网站资源仅供&&教学、研究使用,请下载后24小时内自行删除。()
&&下载经管之家APP，您的掌中论坛。
CDA职业数据分析师认证！
规范标准，行业准入！
一线师资，零基础系统进阶！
咨询联系：陈老师
电话: 010-
邮箱：chengwenjing@pinggu.org
论坛好贴推荐
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
为做大做强论坛，本站接受风险投资商咨询，请联系（010-）
邮箱：service@pinggu.org
合作咨询电话：(010)
广告合作电话：（刘老师）
投诉电话：(010)
不良信息处理电话：(010)
京ICP证090565号
京公网安备号
论坛法律顾问：王进律师君，已阅读到文档的结尾了呢~~
基于MATLAB的数字图像预处理..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
基于MATLAB的数字图像预处理毕业论文
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
Matlab学习系列012. 数据预处理1剔除异常值及平滑处理.docx16页
本文档一共被下载：
次 ,您可免费全文在线阅读后下载本文档
文档加载中...广告还剩秒
需要金币：100 &&
你可能关注的文档：
··········
··········
正在加载中，请稍后...用MATLAB实现数据挖掘的一种算法
一、数据挖掘的目的&
数据挖掘(Data&Mining)阶段首先要确定挖掘的任务或目的。数据挖掘的目的就是得出隐藏在数据中的有价值的信息。数据挖掘是一门涉及面很广的交叉学科，包括器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。它也常被称为“知识发现”。知识发现(KDD)被认为是从数据中发现有用知识的整个过程。数据挖掘被认为是KDD过程中的一个特定步骤，它用专门算法从数据中抽取模式(patter，如数据分类、聚类、关联规则发现或序列模式发现等。数据挖掘主要步骤是：数据准备、数据挖掘、结果的解释评估。&二、数据挖掘算法说明&
确定了挖掘任务后，就要决定使用什么样的挖掘算法。由于条件属性在各样本的分布特性和所反映的主观特性的不同,&每一个样本对应于真实情况的局部映射。建立了粗糙集理论中样本知识与信息之间的对应表示关系,&给出了由属性约简求约简决策表的方法。基于后离散化策略处理连续属性,&实现离散效率和信息损失之间的动态折衷。提出相对值条件互信息的概念衡量单一样本中各条件属性的相关性,&可以充分利用现有数据处理不完备信息系统。&
&&&&本次数据挖掘的方法是两种，一是找到若干条特殊样本，而是找出若干条特殊条件属性。最后利用这些样本和属性找出关联规则。（第四部分详细讲解样本和属性的选择）&三&数据预处理过程&
数据预处理一般包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换(如把连续值数据转换为离散型数据，以便于符号归纳，或是把离散型数据转换为连续)。&
本文使用的数据来源是名为“CardiologyCategorical”的excel文件中的“源数据”。该数据表共303行，14个属性。即共有303个样本。将该数据表的前200行设为训练样本，剩下后的103行作为测试样本，用基于粗糙集理论的属性约简的方法生成相应的规则，再利用测试样本对这些规则进行测试。&
首先对源数据进行预处理，主要包括字符型数据的转化和数据的归一化。&数据预处理的第一步是整理源数据，为了便于matlab读取数据，把非数字数据转换为离散型数字数据。生成lisanhua.xsl文件。这一部分直接在excel工作表中直接进行。&
步骤如下：&
将属性“sex”中的“Male”用“1”表示，“Female”用“2”表示；&
将属性“chest&pain&type”中的“Asymptomatic”用“1”表示，“Abnormal&Angina”用“2”表示，“Angina”用“3”表示，“NoTang”用“4”表示；&
将属性“Fasting&blood&suga&120”与属性“angina”中的“FALSE”用“1”表示，“TRUE”用“2”表示；&
将属性“resting&ecg”中的“Hyp”&用“1”&表示，“Normal”用“2”表示，“Abnormal”用“3”表示；&
将属性“slope”中的“Down”用“1”表示，“Flat”用“2”表示，“Up”用“3”表示,；&将属性“thal”中的“Rev”用“1”表示，“Normal”用“2”表示，“Fix”用“3”表示；&将属性“class”中的“Healthy”用“1”表示，“Sick”用“2”表示；&&
数据预处理的第二步：使用&dm=xlsread('lisanhua');&&&
导入’lisanhua’.xls文件，在MATLAB中对一些连续属性值离散化。&如下：&
1、[29,48]=1，[48,62]=2，[62,77]=3&4、[94,110]=1，[110,143]=2，[143,200]=3&5、[126,205]=1，[205,293]=2，[293，564]=3&8、[71,120]=1，[120,175]=2，[175,202]=3&10、[0,1.5]=1，[1.5,2.5]=2，[2.5,6.2]=3。&然后对数据进行归一化处理：&
由于不同属性之间的属性值相同，所以利用下面语句对一共13个条件属性中的38个属性进行如下赋值，使每条属性唯一确定。从而得到38个条件属性，只不过38个里面有且只能出现13个。&程序如下：&
m1=[0,3,2,4,3,3,2,3,3,2,3,3,4,3];k=1;w=m1(k);dm3=dm2;&for&i=1:3939&
&&&&dm3(i)=dm2(i)+w;&&&&&if&rem(i,303)==0&&&&&&&&&k=k+1;&&&&&&&&&w=w+m1(k);&&&&&end&end&
从而得到dm(3)矩阵。而且决策属性分为1：healthy；2：sick。&并且在38个条件属性中没有值为0。&四、挖掘算法&
1、特殊样本&
首先在前200条样本中分别找出三条对应两种决策属性的重要样本，样本必须满足在同类决策属性下其他199条的13条决策属性中和它的13条条件属性数目大于等于10的前3条样本。&
2、特殊条件属性值&
其次分别对应两条决策属性值的5条重要条件属性值（在38个条件属性里找），特殊属性值必须满足：(1)在对应相同决策属性下，此决策属性支持率必须在前五，(2)而且如果不同决策属性出现相同条件属性。如果相同决策属性同时出现在不同决策属性中，删除这条后找支持率第六的条件属性，以此类推。&
挖掘算法在MATLAB里列出并做了标注。&五、验证程序&1、预处理&
在验证程序里面分别对测试数据和六条样本做了对比，又对其属性值和特殊属性值做了对比，最后利用加权求和算法判断测试样本的决策属性正确率。&
其中：nc，mc代表测试数据分别和两类样本属性中相同数是否大于等于9时的加权值。ncc,mcc代表测试数据分别和两类特殊属性满足几条数目的加权值。&2、关联规则&
(1)、如果(nc&=0.9&ncc&=8)|(ncc&=10&nc&=0.6)&得到决策属性healthy&
(2)、不满足以上条件的话&如果(mc&=0.9|mcc&=8)|(mcc&=9&mc&=0.6)&得到决策属性sick。&
(3)、不满足以上条件的话&如果nc&=(mc+0.3)|ncc&=(mcc+2)&得到决策属性healthy。&
(4)、不满足以上条件的话&如果mc&nc&得到决策属性为sick。&(5)、不满足以上条件的话&如果ncc&mcc&得到决策属性为healthy。&(6)、不满足以上条件的话&如果mcc&ncc&得到决策属性为sick。&(7)、不满足以上条件的话&得到决策属性为sick。&六、正确率及结果分析&正确率为82.5%&
结果分析：由于采用了两类约束方法，所以效果还可以。
a3=zeros(6,1);a4=zeros(6,1);&j=1;&while&j&7&&&&&a11=0;&&&&&a11=max(a1);&&&&&for&i=1:38&&&&&&&&&if&a1(i)==a11&&&&&&&&&&&&a3(j)=a11;&&&&&&&&&&&&&j=j+1;&&&&&&&&&&&&&if&j&6&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&a1(i)=0;&&&&&&&&&end&&&&&end&end&j=1;&while&j&7&&&&&a22=0;&&&&&a22=max(a2);&&&&&for&i=1:38&&&&&&&&&if&a2(i)==a22&&&&&&&&&&&&a4(j)=a22;&&&&&&&&&&&&&j=j+1;&&&&&&&&&&&&&if&j&6&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&a2(i)=0;&&&&&&&&&end&&&&&end&end&
b1=zeros(6,1);b2=zeros(6,1);&for&j=1:6&for&i=1:38&
&&&&if&a5(i)==a3(j)&&&&&&&&&b1(j)=i;&&&&&end&end&end&for&j=1:6&&&&&for&i=1:38&&&&&&&&&if&a6(i)==a4(j)&&&&&&&&&&&&&b2(j)=i;&&&&&&&&&end&&&&&end&end&
b3(1:5,1)=b1(2:6,1);b4(1:5,1)=b2(1:5,1);&
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%&寻找结束&&&&&&&&&
%%%%%%%%%%%%%%%%%%%%%&验证程序开始&h7=zeros(103,14);h8=zeros(103,14);tc=0;&for&i=1:103&
&&&&h7(i,1:13)=dm3(200+i,1:13);&end&
%%%%%%%%%%%%%%%%%%%%%%%%%%&特殊样本&for&i=1:103&
&&&&nc=0;mc=0;ncc=0;mcc=0;&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t1,1:13);&&&&&if&sum(h8(i,1:13))&=9&&&&&&&&nc=nc+0.3;&&&&&end&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t2,1:13);&&&&&if&sum(h8(i,1:13))&=9&&&&&&&&&nc=nc+0.3;&&&&&end&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t3,1:13);&&&&&if&sum(h8(i,1:13))&=9&
&&&&&&&&nc=nc+0.3;&&&&&end&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t4,1:13);&&&&&if&sum(h8(i,1:13))&=9&&&&&&&&&mc=mc+0.3;&&&&&end&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t5,1:13);&&&&&if&sum(h8(i,1:13))&=9&&&&&&&&&mc=mc+0.3;&&&&&end&
&&&&h8(i,1:13)=h7(i,1:13)==dm3(t6,1:13);&&&&&if&sum(h8(i,1:13))&=9&&&&&&&&&mc=mc+0.3;&&&&&end&
&&&&%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%&样本结束&
&&&&%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%&特殊属性值&
&&&&&&&&ncc=0;mcc=0;&&&&&&&&&for&j=1:13&
&&&&&&&&&&&&if&h7(i,j)==b3(1)&&&&&&&&&&&&&&&&&ncc=ncc+3;&&&&&&&&&&&&&else&if&h7(i,j)==b3(2)&&&&&&&&&&&&&&&&&&&&&ncc=ncc+3;&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b3(3)&&&&&&&&&&&&&&&&&&&&&&&&&ncc=ncc+2;&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b3(4)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&ncc=ncc+2;&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b3(5)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&ncc=ncc+2;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b4(1)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&mcc=mcc+3;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b4(2)&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&mcc=mcc+3;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b4(3)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&mcc=mcc+2;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b4(4)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&mcc=mcc+2;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&else&if&h7(i,j)==b4(5)&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&mcc=mcc+2;&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&end&&&&&&&&&end&&&&&&&&&&&&
&&&&%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%&属性值结束&
&&&&%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%&挖掘算法&&
&&&&if&(nc&=0.9&ncc&=8)|(ncc&=10&nc&=0.6)&&&&&&&&&h7(i,14)=1;&
&&&&else&if&(mc&=0.9|mcc&=8)|(mcc&=9&mc&=0.6)&&&&&&&&&&&h7(i,14)=2;&
&&&&&&&&else&if&nc&=(mc+0.3)|ncc&=(mcc+2)&&&&&&&&&&&&&&&&&h7(i,14)=1;&&&&&&&&&&&&&else&if&mc&nc&&&&&&&&&&&&&&&&&&&&&&h7(i,14)=2;&&&&&&&&&&&&&&&&&else&if&ncc&mcc&&&&&&&&&&&&&&&&&&h7(i,14)=1;&
&&&&&&&&&&&&&&&&&&&&else&if&mcc&ncc&&&&&&&&&&&&&&&&&&&&&&&&&&&&&h7(i,14)=2;&&&&&&&&&&&&&&&&&&&&&&&&&else&&&&&&&&&&&&&&&&&&&&&&&&h7(i,14)=2;&&&&&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&&&&&end&&&&&&&&&&&&&end&&&&&&&&&end&&&&&end&end&
%%%%%%%%%%%%%%%%%%%%%%%%%&&挖掘结束&%%%%%%%%%%%%%%%%%%&计算正确率&h9=zeros(103,1);&
h9=h7(:,14)==dm3(201:303,14);&tc=sum(h9)/103&&
%%%%%%%%%%%%%%%%%%%%%%%&算法完毕
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。