需要MATLAB大神帮忙做一下数据预处理程序【matlab吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：191,956贴子：
需要MATLAB大神帮忙做一下数据预处理程序收藏
本人毕业设计中需要用到数据预处理，比如ＳＧ平滑处理，二阶导数预处理，标准化预处理以及OSC预处理，楼主需要用这些预处理得到数据图像~有没有大神会的啊，如果有本人可以进行有偿回复
当然，如果有大神做好人 我也不介意呀
登录百度帐号在数据挖掘时为什么要进行数据预处理？数据预处理主要包含了哪些方面？在哪里？
全部答案（共1个回答）
文本的替换工作，就是对以 # 开头的处理 （1）#include~~的处理，把头文件进行加载 （2）#define~~的处理，对宏定义也会在预编译的过程中进行替换
入门读物：
深入浅出数据分析
这书挺简单的，基本的内容都涉及了，说得也比较清楚，最后谈到了R是大加分。难易程度：非常易。
啤酒与尿布
通过案例来说事情，而且...
打出du，然后是第五个。（45°)
0.什么是数据挖掘？
数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
数据挖掘能做什么？
1)数据挖掘能做以下六种不同事情（分析...
从国外的一些网站上获取算法所需数据。 通常这部分数据都是文本或者是csv格式。
答: 亲爱的对于精馏过程的概念设计,本人很早就注意到了aspen中的 split工具和hyprotech的distil
<a href="/b/gVPAilKj63En.html" class="trackEventQuestion" trackType="PC_detail" trackAction="skip" trackDes="PC_relevant_knowledge_1073" target="_blank" title="if(i & 1<if(i & 1<<j) printf("1");什么意思
答: IMS在企业发展过程中能起到什么作用呢？
首先，它能够帮助中小物流企业有效降低成本、提升管理效率；
其次，IMS能够帮助中小物流企业显著改善客户服务质量，建立良...
答: 1、支持网络的语言很多，没有特别说明一般都支持；
2、对网络功能各软件侧重点不同，对网络功能的支持方式与强弱各有不同；
3、使用什么语言要看你的具体要求而定。
大家还关注
Copyright &
Corporation, All Rights Reserved
确定举报此问题
举报原因(必选)：
广告或垃圾信息
激进时政或意识形态话题
不雅词句或人身攻击
侵犯他人隐私
其它违法和不良信息
报告，这不是个问题
报告原因(必选)：
这不是个问题
这个问题分类似乎错了
这个不是我熟悉的地区
相关问答：123456789101112131415数据预处理章节，整理于《数据挖掘&概念与技术》第三章，如有错误，请指正，谢谢~
　　数据清理可以去除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一个一致的数据进行存储，如数据仓库。数据规约可以通过如聚集，删除冗余特征或聚类降低数据的规模。数据变换（如规约化）可以把数据压缩到较小的区间，如0.0到1.0。这可以提高设计距离度量数据挖掘算法的准确率和效率。
　　数据质量涉及到许多因素，包括准确性、完整性、一致性、时效性、可信性和可解释性。
　　在分析中使用多个数据源的数据那就是数据集成，数据集是巨大的，要降低数据集的规模，而又不损害数据挖掘的结果--数据规约(data reduction)； 维规约：用数据编码方案，得到原始数据的简化或&压缩&表示。包括数据压缩技术(例如小波变换和主成分分析)，以及属性子集选择（例如去掉不相关的属性）和属性构造（例如从原来数据集导出更有用的小属性集）；数据规约：使用参数模型（例如回归和对数线性模型）或非参数模型（例如直方图、聚类、抽样或数据聚集）用较小的表示取代数据
　　离散化和概念分层产生 也可能是有用的。
　　规范化、数据离散化和概念分层产生都是某种形式的数据变换（data transformation）
2、数据清理
　　现实的数据一般是不完整的、有噪声的和不一致的。数据清理试图填充缺失值、光滑噪声并识别离群点、纠正数据中的不一致
2.1缺失值：
　　针对缺失值有很多种方法忽略改元组，人工填写，用一个全局变量填充，使用属性中心度量(均值或中位数)填充，使用与给定元组属同一类的样本属性均值或中位数代替， 使用最可能的值填充缺失值。
　　貌似方法"使用最可能的值填充缺失值"最靠谱：可以用回归、使用贝叶斯形式化方法的基于推理的工具或决策树归纳确定。
2.2噪声数据：
　　&噪声&(noise)是被测量的变量的随机误差或方差
　　数据光滑技术：分箱(binning)、回归(regression)、离群点分析(outlier analysis)
　　回归：用一个函数拟合数据来光滑数据，线性回归找出拟合两个属性的最佳直线。多元线性回归是线性回归的扩充，属性多于2个，数据将拟合到一个多维曲面
　　有些分类方法有内置的数据光滑机制(如神经网络)
2.3数据清理作为一个过程
　　第一步是偏差检测(discrepancy detection),例如，找出均值，中位数，众数。数据是对称的还是倾斜的？值域是什么？所有的值是否都落于期望区间？每个属性的标准差是多少？远离给定属性均值超过两个标准差的值可能标记为可能的离群点。属性之间是否存在已知的依赖关系？
　　还可以根据唯一性规则、连续性规则和空值规则考查数据。
3、数据集成
　3.1实体识别问题：
　　数据集成是将来自多个数据源的数据合并，并存放在一个一致的数据存储中。考虑多个信息源的现实世界的等价实体如何相互&匹配&？如一个customer_id字段与另一个数据库中的cust_number是否相同属性。要考虑每个属性的元数据，包括名字、含义、数据类型、和取值范围，以及处理空白，空值和null的规则。 还可以进行变换数据，如性别有的用B和G代表，还有的用1和2代表
　3.2冗余和相关性分析
　　冗余是常见的，比如一个属性（年收入）可以由其他属性导出（月收入），那么就是冗余的。
　　冗余可以被相关分析检测到。对于标称数据可以用(卡方)检验；对于数值型数据可以用相关系数(correlation coefficient)和协方差(covariance)检验，这两个都是评估一个属性的值如何随另一个属性值变化。
　　(1)标称数据的卡方相关检验：
　　有两个属性A和B，属性A有c个不同值，a1,a2&&ac；属性B有r个不同值，b1,b2,&&br；A和B两个属性描述的数据元组可以用一个相依表显示，A属性为列，B属性为行，构成的每个元组(Ai，Bj)；则卡方的表达式为：
　　Oij是联合事件(Ai，Bj)的实际观测频度，Eij则是(Ai，Bj)的期望频度。其中n是数据元组的个数，count(A=ai)表示A上具有ai值的所有个数，同理。
　　卡方统计检验假设A和B都是独立的，检验基于显著水平，具有自由度(r-1)X(c-1)，如果可以拒绝改假设，则我们可以说A和B是统计相关的。
　　例子1：性别与是否爱阅读小说的卡方检验
&其中括号内的数是期望频率，期望频率是根据两个属性的数据分布用eij式子计算得来，如(男，小说)的期望频率是e11 = count(男)Xcount(小说) / n = &300X450/1500 = 90
注意：任意行，期望频率的和必须等于改行总观测频率，并且任意列的期望频率和也必须等于该列的总观测频率。利用卡方计算公式有
=284.44+121.90+71.11+30.48 = 507.93&
对于2X2的表，自由度为(2-1)X(2-1)=1， 自由度为1，在0.001置信水平下，拒绝假设的值为10.828，我们计算值大于该值，因此我们拒绝两个属性独立的假设。
　　例2：医院分别用化疗和化疗结合放射结合两种方法，如图
有效率（%）　
化疗加放疗组　
分别计算期望频度，总数n是87，第一行第一列：count(有效)Xcount(化疗组)/n=53*43/87=26.2；第一行第二列：count(化疗)Xcount(无效)/n=43*34/87=16.8；第二行第一列：count(化疗加放疗)Xcount(有效)/n=44*53/87=26.8;第二行第二列：44*34/87=17.2
19（26.2）　
24（16.8）　
化疗加放疗组　
34（26.8）　
10（17.2）　
则卡方的值为：(19-26.2)^2/26.2 + (34-26.8)^2/26.8 +(24-16.8)^2/16.8 + (10-17.2)^2/17.2 = 10.01
在查表之前应知本题自由度。按x2检验的自由度v=（行数-1）（列数-1），则该题的自由度v=（2-1）（2-1）=1，查x2界值表（附表20-1），找到x20.001（1）=6.63，原地方是否差错了？而本题x2=10.01即x2＞x20.001（1），P＜0.01，差异有高度统计学意义，按&=0.05水准，拒绝假设独立，可以认为采用化疗加放疗治疗卵巢癌的疗效比单用化疗佳。
　　(2)数值数据的协方差与相关系数：
　　在概率论与统计学中，协方差和方差是具有类似的度量，协方差是方差在多维随机变量的扩展，即刻画随机变量在其中心位置附近散步程度的数字特征。
　　方差：Var(X)=E(X - EX)^2 ; 另EX=a,则 Var(X) = E(X^2) - 2aE(X) +a^2 = E(X^2) - (EX)^2
　　考虑两个数值属性A，B和多次观测的集合{(a1, b1), &&(an,bn)},协方差定义为：　　　　　　　　　　
　　协相关系数的定义：分子分别为A和B的标准差。 还可以证明Cov(A,B) = E(A&B) - E(A)&E(B)
　　容易发现，对于两个趋向于一起改变的属性Ａ和Ｂ，如果A大于期望A，则B很有可能大于期望B，那么此时协方差为正，且协相关系数&0,如果一个属性小于期望值，另一个属性趋向于大于期望值则，协方差为负，
　　若A，B独立(不具有相关性)，那么协方差为0，反之不成立。
　　协方差例子：
　　交易数据与股票价格的简化例子，如果股市收到相同的产业趋势影响，他们的股价会一起涨跌吗，E(electronics)=(6+5+4+3+2)/5 = 4美元，E(HighTech)=(20+10+14+5+5)/5=10.8美元
　　则协方差为Cov() = E(A&B)- E(A)&E(B) = 7,则表明是正相关。
4、数据规约(待完善)
5、数据变换与数据离散化(待完善)
阅读(...) 评论()数据预处理（完整步骤）
时间： 00:31:37
&&&& 阅读：6463
&&&& 评论：
&&&& 收藏：0
标签：原文：http://dataunion.org/5009.html
一：为什么要预处理数据？（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）（3）原始数据中存在的问题：不一致 && 数据内含出现不一致情况重复不完整 && 感兴趣的属性没有含噪声 && 数据中存在着错误、或异常（偏离期望值）的数据高维度二：数据预处理的方法（1）数据清洗 && 去噪声和无关数据（2）数据集成 && 将多个数据源中的数据结合起来存放在一个一致的数据存储中（3）数据变换 && 把原始数据转换成为适合数据挖掘的形式
（4）数据规约 && 主要方法包括：数据立方体聚集，维度归约，数据压缩，数值归约，离散化和概念分层等。
（5）图说事实
三：数据选取参考原则（1）尽可能富余属性名和属性值明确的含义（2）统一多数据源的属性编码（3）去除唯一属性（4）去除重复属性（5）去除可忽略字段（6）合理选择关联字段（7）进一步处理：
通过填补遗漏数据、消除异常数据、平滑噪声数据，以及纠正不一致数据，去掉数据中的噪音、填充空值、丢失值和处理不一致数据
四：用图说话，（我还是习惯用统计图说话）
数据清洗的路子：刚拿到的数据 &-& 和数据提供者讨论咨询 &&& 数据分析（借助可视化工具）发现脏数据 &-&清洗脏数据（借助MATLAB或者Java/C++语言） &&&再次统计分析（Excel的data analysis不错的，最大小值，中位数，众数，平均值，方差等等，以及散点图） &&& 再次发现脏数据或者与实验无关的数据（去除） &&&最后实验分析 &-& 社会实例验证 &-&结束。
一&数据清理
试图填充缺失值，光滑噪声并识别离群点，并纠正数据中的不一致。
1）处理缺失值方法：
&&&&&a.忽略元祖，挖掘任务涉及分类任务中如果缺少类标号时通常这样做
&&&&&b.人工填写缺失值，量大时行不通
&&&&&c.使用一个全局常量填充缺失值，简单但不可靠
&&&&&d.使用属性的均值填充缺失值
&&&&&e.使用与给定元组属同一类的所有样本的属性均值
&&&&&f.使用最有可能的值填充缺失值，可以用回归，使用贝叶斯形式化的基于推理的工具或决策树归纳确定，是流行的做法。
2）数据光滑技术：噪声是被测量的变量的随机误差或方差
&&&&&a.分箱，分箱方法通过考察数据的&近邻&（即周围的值）来光滑有序数据的值，有序值分布到一些&桶&或箱中。由于分箱方法考察近邻的值，因此进行局部光滑。几种分箱技术：用箱均值光滑、用箱边界光滑、用箱中位数光滑。
&&&&&b.回归：可以用一个函数（如回归函数）拟合数据来光滑数据。线性回归涉及找出拟合两个属性（或变量）的&最佳&线，是的一个属性可以用来预测另一个。多元线性回归是线性回归的扩展，其中涉及的属性多于两个，并且数据拟合到一个多维曲面。
&&&&&c.聚类：通过聚类检测离群点
3）数据清理作为一个过程的方法：过程的第一步是偏差检测，有大量商业工具帮助我们进行偏差检测，数据清洗工具、数据审计工具、数据迁移工具、ETL工具。新的数据清理方法强调加强交互性，如Potter‘s&Wheel，集成了偏差检测和数据变换。
二&数据集成和变换
1）数据集成：任务多半涉及数据集成。数据集成合并多个数据源中的数据，存放在一个一致的数据存储（如数据仓库）中。这些数据源可能包括多个数据库、数据立方体或一般文件。数据集成有三个主要问题：a.模式集成和对象匹配，实体识别问题：来自多个信息源的现实世界的等价实体如何才能匹配？元数据可以帮助避免模式集成的错误。b.冗余：有些冗余可以被相关分析检测到。通过计算属性A,B的相关系数（皮尔逊积矩系数）来判断是否冗余；对于离散数据，可通过卡方检验来判断两个属性A和B之间的相关联系。c.数据值冲突的检测与处理
2）数据变换：将数据转换或统一成适合于挖掘的形式。涉及如下内容：
&&&&a.光滑：去掉数据的噪声，包括分箱，回归和聚类
&&&&b.聚集：对数据进行汇总或聚集。这一步通常用来为多粒度数据分析构造数据立方体
&&&&c.数据泛化：使用概念分层，用高层概念替换底层或&原始&数据。
&&&&d.规范化：又称为归一化，feature&scaling特征缩放。将属性数据按比例缩放，使之落入一个小的特定区间。规范化方法：
&&&&&&&&&&&&&&&&&&&1.最小-最大规范化：v‘=[(v-min)/(max-min)]*(new_max-new_min)+new_min
&&&&&&&&&&&&&&&&&&&2.z-score规范化（或零均值规范化）：v‘=(v-属性A的均值E)/属性A的标准差∽
&&&&&&&&&&&&&&&&&&&3.小数定标规范化：v‘=v/10的j次方，j是使Max(|v‘|)&1的最小整数
&&&&e.属性构造（或特征构造）：可以构造新的属性并添加到属性集中，以帮助挖掘过程。
三&数据归约
数据集可能非常大！面对海量数据进行复杂的数据分析和挖掘将需要很长的时间。数据归约技术可以用来得到数据集的归约表示，它小很多，但仍接近保持原数据的完整性。数据归约策略如下：
1）数据立方体聚集：聚集操作用于数据立方体结构中的数据。数据立方体存储多维聚集信息。
2）属性子集选择，参见文本分类概述中特征选择算法
3）维度归约：使用数据编码或变换，以便得到原数据的归约或&压缩&表示。归约分为无损的和有损的。有效的有损维归约方法为：小波变换和主成分分析
4）数值归约：通过选择替代的、&较小的&数据表示形式来减少数据量
5）离散化和概念分层产生标签：原文地址：http://www.cnblogs.com/zhizhan/p/4870397.html
&&国之画&&&& &&&&chrome插件&&
版权所有 京ICP备号-2
迷上了代码！数据库基础：为什么要进行预处理数据
作者：用户
本文讲的是数据库基础：为什么要进行预处理数据，
当今现实世界的数据库极易受噪声、丢失数据和不一致数据的侵扰，因为数据库太大(常常多达数千兆字节，甚至更多)，并且多半来自多个异构数据源。低质量的数据将导致低质量的挖掘结果。“如何预处理数据提高数据质量，从而提高挖掘结果的质量
当今现实世界的数据库极易受噪声、丢失数据和不一致数据的侵扰，因为数据库太大(常常多达数千兆字节，甚至更多)，并且多半来自多个异构数据源。低质量的数据将导致低质量的挖掘结果。“如何预处理数据提高数据质量，从而提高挖掘结果的质量?如何预处理数据，使得挖掘过程更加有效、更加容易?”
有大量数据预处理技术。数据清理可以用来去掉数据中的噪声，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库。也可以使用数据变换，如规范化。例如，规范化可以提高涉及距离度量的挖掘算法的准确率和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来减小数据规模。这些技术不是互斥的，可以一起使用。例如，数据清理可能涉及纠正错误数据的变换，如将日期字段变换成共同的格式。这些数据处理技术在挖掘之前使用，可以显著地提高挖掘模式的总体质量和/或减少实际挖掘所需要的时间。
介绍数据预处理的基本概念，介绍作为数据预处理基础的描述性数据汇总。描述性数据汇总帮助我们研究数据的一般特征、识别噪声或离群点，对成功的数据清理和数据集成很有用。数据预处理的方法组织如下：数据清理、数据集成与变换和数据归约。概念分层可以用作数据归约的一种替换形式，其中低层数据(如年龄的原始值)用高层概念(如青年、中年或老年)替换。这种形式的数据归约，在那里我们讨论使用数据离散化技术，由数值数据自动地产生概念分层。
为什么要预处理数据
想像你是AllElectronics的经理，负责分析涉及你部门的公司销售数据。你立即着手进行这项工作，仔细地审查公司的数据库和数据仓库，识别并选择应当包含在分析中的属性或维，如item, price和units_sold。啊!你注意到许多元组在一些属性上没有值。为了进行分析，希望知道每种购进的商品是否作了销售广告，但是发现这些信息没有记录下来。此外，你的数据库系统用户已经报告某些事务记录中的一些错误、不寻常的值和不一致性。换言之，你希望
使用数据挖掘技术分析的数据是不完整的(缺少属性值或某些感兴趣的属性，或仅包含聚集数据)，含噪声的(包含错误或存在偏离期望的离群值)，并且是不一致的(例如，用于商品分类的部门编码存在差异)。欢迎来到现实世界!
存在不完整的、含噪声的和不一致的数据是现实世界大型的数据库或数据仓库的共同特点。不完整数据的出现可能有多种原因。有些感兴趣的属性，如销售事务数据中顾客的信息，并非总是可用的。其他数据没有包含在内只是因为输入时认为是不重要的。相关数据没有记录可能是由于理解错误，或者因为设备故障。与其他记录不一致的数据可能已经删除。此外，记录历史或修改的数据可能被忽略。缺失的数据，特别是某些属性上缺少值的元组可能需要推导出来。
数据含噪声(具有不正确的属性值)可能有多种原因。收集数据的设备可能出故障;人或机的错误可能在数据输入时出现;数据传输中的错误也可能出现。这些可能是由于技术的限制，如用于数据传输同步的缓冲区大小的限制。不正确的数据也可能是由命名约定或所用的数据代码不一致，或输入字段(如日期)的格式不一致而导致的。重复元组也需要数据清理。
数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。如果用户认为数据是脏的，则他们不会相信这些数据的挖掘结果。此外，脏数据造成挖掘过程陷入混乱，导致不可靠的输出。尽管大部分挖掘例程都有一些过程处理不完整或噪声数据，但它们并非总是鲁棒的。相反，它们着重于避免建模函数过分拟合数据。因此，一个有用的预处理步骤是使用一些清理例程处理数据。2.3节讨论清理数据的方法。回到你在AllElectronics的任务，假定在分析中包含来自多个数据源的数据。这涉及集成48 多个数据库、数据立方体或文件，即数据集成。代表同一概念的属性在不同的数据库中可能有不同的名字，这将导致不一致性和冗余。例如，顾客标识属性在一个数据库中可能是customer_id，而在另一个中为cust_id。命名的不一致还可能出现在属性值中。例如，同一个人的名字可能在一个数据库中登记为“Bill”，在第二个数据库中登记为“William”，而在第三个数据库中登记为“B”。此外，你可能会觉察到，有些属性可能是由其他属性(例如年收入)导出的。含大量冗余数据可能降低知识发现过程的性能或使之陷入混乱。显然，除数据清理之外，在数据集成时必须采取步骤，避免数据冗余。通常，在为数据仓库准备数据时，数据清理和集成将作为预处理步骤进行。还可以再次进行数据清理，检测和删去可能由集成导致的冗余。
以上是云栖社区小编为您精心准备的的内容，在云栖社区的博客、问答、公众号、人物、课程等栏目也有
的相关内容，欢迎继续使用右上角搜索按钮进行搜索大数据
数据库设计
，以便于您获取更多的相关知识。
...机 图形图像处理 只有C++基础，需要学MFC么？ 接下来该学些什么。 图形图像又可再分为哪些细的方向？ 各自的应用领域？也就是说这些细方向大体是从事哪方面的工作？ ...
...请查看本站标准荟萃中的UTF-16和UTF-8标准。 六.XML如何与数据库连接? XML是一种文件格式，它没有规定与数据库的连接方法，你需要用传统的方法连接数据库，进行数据库查询，然后将查询结果转化为XML格式。现在有一些工具提供...
...的概念，特别是在大负载的情况下，分表是一个良好分散数据库压力的好方法。首先要了解为什么要分表，分表的好处是什么。我们先来大概了解以下一个数据库执行SQL的过程：接收到SQL --& 放入SQL执行队列 --& 使用分析器分解SQ...
...的概念，特别是在大负载的情况下，分表是一个良好分散数据库压力的好方法。 首先要了解为什么要分表，分表的好处是什么。我们先来大概了解以下一个数据库执行SQL的过程：接收到SQL --& 放入SQL执行队列 --& 使用分析器分解S...
...会因为一个字母没写对，可能就会花上十几二十分钟在找为什么出错我都是跟着视频或者文档书写的怎么就是报错呢。（新手特别容易出现这样的错误。所以在每次报错时先快速浏览一遍变量名与下面的调用是否真的一致） 关...
弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率
40+云计算产品，6个月免费体验
稳定可靠、可弹性伸缩的在线数据库服务，全球最受欢迎的开源数据库之一
IT采购开年惠，百款产品5折起，新购满额再返最高6000！
云栖社区(yq.aliyun.com)为您免费提供相关信息，包括
，所有相关内容均不代表云栖社区的意见！