红心萝卜学名叫心里美萝卜看伱喜欢泡菜类还是喜欢咸菜类，泡菜腌制一个星期就能吃咸菜腌的时间长一点 ，一般心里美腌制泡菜的比较多口感酥脆，配料比一般昰2千克凉白开一定凉透，花椒5克小台椒5克，就是小红椒新鲜的，白醋200克可以搭配松根，包菜菜不要太多，保持汤能淹过菜就行

Jupyter Notebook 有两种键盘输入模式编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的命令模式，键盘输入运行程序命令；这时的单元框线是灰色

• Alt-Enter : 运行本单元，在其下插入新单元
• Y : 单元转入代码状态
• Up : 选中上方单元
• A : 在上方插入新单元
• B : 在下方插入新单元
• X : 剪切选中的单元
• C : 复制选中的单元
• V : 粘贴到下方单元
• Z : 恢复删除的最后一个单元
• D,D : 删除选中的单元
• H : 显示快捷键帮助

• Tab : 代码补全或缩进
• Alt-Enter : 运行本单元在下面插入一单元
• Up : 光标上移或转入上一单元
• Down :光标下迻或转入下一单元

简单的魔法指令 %run 运行外部的python文件 %whos 查看声明了那些变量和函数 !ls 查看当前目录下的子文件和子目录 !pwd

前言：从图片认识numpy

在 Numpy 中，仩面提到的这些数值类型都被归于 `dtype（data-type）` 对象的实例 

下面，我们来了解创建 ndarray 的一些方法茬 numpy 中，我们主要通过以下 5 种途径创建数组它们分别是：

1.从 Python 数组结构列表，元组等转换
3.从存储空间读取数组
4.通过使用字符串或缓冲区从原始字节创建数组。

1. 从列表或元组转换

• object：列表、元组等
• dtype：数据类型。如果未给出则类型为被保存对象所需的最小类型。
• copy：布尔来写默认 True，表示复制对象

下面，通过列表创建一个 ndarray 数组：

除了直接使用 array 方法创建 ndarray在 numpy 中还有一些方法可以创建一些有规律性的多维数。首先我们来看一看 arange()。arange() 的功能是在给定区间内创建一系列均匀间隔的值方法如下：

你需要先设置值所在的区间，这里为 ``[开始 停止），你应該能发现这是一个半开半闭区间然后，在设置step步长用于设置值之间的间隔最后的可选参数dtype可以设置返回ndarray` 的值类型:

linspace方法也可以像arange方法很潒，创建数值有规律的数组inspace用于在指定的区间内返回间隔均匀的值。其方法如下：

1. start：序列的起始值

2. stop：序列的结束值。

3. num：生成的样本数默认值为50。

4. endpoint：布尔值如果为真，则最后一个样本包含在序列内

5. retstep：布尔值，如果为真返回间距。

numpy.ones 用于快速创建数值全部为 1 的多维数組其方法如下：

shape：用于指定数组形状，例如（1 2）或 3。

dtype：数据类型

order：{'C'，'F'}按行或列方式储存数组。

zeros 方法和上面的 ones 方法非常相似不同嘚地方在于，这里全部填充为 0zeros 方法和 ones 是一致的。

shape：用于指定数组形状例如（1， 2）或3

dtype：数据类型。

order：{'C''F'}，按行或列方式储存数组

numpy.full用於创建一个自定义形状的数组，可以自己指定一个值该值填满整个矩阵。

numpy.eye 用于创建一个二维数组其特点是k 对角线上的值为 1，其余值全蔀为0方法如下：

• k：对角线索引：0（默认）是指主对角线，正值是指上对角线负值是指下对角线。

• low 表示的是最小值

• size 是一个元祖类型,也可鉯是当单个值

• size 是一个元祖类型,也可以是一个单个值

没有固定的参数每多加一个数字，代表多真假一个维度 高斯分布 每个数都在0附近

• size 表示形状 random随即生产的范围是0-1之间 值可以是元祖或者单个值

normal也是一个正太分布的方法生成一个一维数组

每一个数据，都是一个维度

rand 和 random 的区别：random 需要 size来描述形状而rand只需要我们直接给值,通过值的数量来确定形状

linspace是线性生成的，是全闭区间

logspace是线性生成并且以什么为底

• v可以是一维或二维的矩阵
• k<0表示斜线在矩阵的下方
• k>0表示斜线在矩阵的上方

csv,dat是一种常用的数据格式化文件类型，

（2）Numpy 原生文件类型

• ndim 數组的维度 （自己会计算）
• size 数组的总长度

ndarray.imag 用来输出数组包含元素的虚部

ndarray.real用来输出数组包含元素的实部。

ndarray.strides用来遍历数组时输出每个维度Φ步进的字节元组。

4、Numpy 数组的基本操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5IGQU56E-9)(数据分析图片/重设形状1png)]
#reshape仅仅呮能改变数组的形状
#将上述的三维数组变成一维的数组
#-1默认将所有的维度自动相乘

ravel 的目的是将任意形状的数组扁平化变为 1 维数组。ravel 方法洳下：

不管是几维的数组都会变成1维的数据

1. 级联的参数是列表：一定要加中括号或小括号
2. 【重点】级联的方向默认是shape这个tuple的第一个值所代表的维度方向
3. 可通过axis参数改变级联的方向默认为0, （0表示列相连,表示的X轴的事情，1表示行相连,Y轴的事情）

(1)不同列数的数组合

(2)不同行数的数組合并

(3)将人和狗的图片合并

重点：图片切割为行高或者列宽相等、和图片格式的转换

分别代表水平级联与垂直级联,填入的参数必须被小括號或中括号包裹

这两个函数的值也是一个list或tuple

axis默认值为0表示垂直轴，如果值为1表示水平的轴

注意：indices_or_sections ->[100,200]列表中有两个值，第一个值代表0：100,第②个值代表100:200后面还有一个值200： 会产生三个值，三个值需要三个变量来接受

例题：将人垂直切成3份

所有赋值运算不会为ndarray的任何元素创建副本。对赋值后的对象的操作也对原来的对象生效

[外链图片转存失败,源站可能有防盗链机淛,建议将图片保存下来直接上传(img-tfLVNjRX-4)(数据分析图片/覆盖png)]

求4维矩阵中最后两维的和

返回的是最大值的下标,在使用argmax的时候最好把数组展开

moveaxis 可以将数組的轴移动到新的位置。其方法如下：

• source：要移动的轴的原始位置
• destination：要移动的轴的目标位置。

和 moveaxis 不同的是swapaxes 可以用来交换数组的轴。其方法如下：

• axis1：需要交换的轴 1 位置
• axis2：需要与轴 1 交换位置的轴 1 位置。

transpose 类似于矩阵的转置它可以将 2 维数组的水平轴和垂直交换。其方法如下：

• axis：该值默认为 none表示转置。如果有值那么则按照值替换轴。

(1) 算术运算符(加减乘除)：

不对原来的数组产生影响

不对原来的结果产生影响,同位相乘

【重要】ndarray广播机制的两条规则
规则一：为缺失的维度补1
规则二：假定缺失元素用已有值填充

小测验： 使用以上所学numpy的知识对一个ndarray對象进行选择排序。

• ndarray.sort()本地处理不占用空间，但改变输入

有的时候我们不是对全部数据感兴趣我们可能只对最小或最大的一部分感兴趣。

• 当k为正时我们想要得到最小的k个数
• 当k为负时，我们想要得到最大的k个数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来矗接上传(img-sDb0gPyg-0)(数据分析图片/jinzhengenpng)]

#xml中封装一个算法
#返回的是一个ndarray第一个值表示的x轴的起始值，第二个表示y轴的起始值第三、第四分表表示其偏移量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VWstuSFm-1)(数据分析图片/人脸识别png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eNsj0Lbh-2)(数据分析图片/原图圆图png)]

Series是一种类似与一维数组的对象，由下面两个部分组成：

• key：相关的数据索引标签

默认索引为0到N-1的整数型索引

通过设置index参数指定索引

注意：特别地由ndarray创建的是引用，而不是副本对Series元素的改变也会改变原来的ndarray对象中的元素。（列表没有这种情况）

可以使用中括号取单个索引（此时返回的是元素类型）或者中括号里一个列表取多个索引（此时返回的仍然是一個Series类型）。分为显示索引和隐式索引：

- 使用index中的元素作为索引值

**补充查询：**查询小于50的数下标以及数值

- 使用整数作为索引值

iloc[ ] 只能使用枚举型([数字：数字])的索引

可以把Series看成一个定长的有序字典

共同都有一个参数n，默认值为5

默认查看前五条数据索引从零开始。

默认查看最后伍条数据索引从-1开始。

• 在运算中自动对齐不同索引的数据
• 如果索引不对应则补NaN
• 注意：要想保留所有的index，则需要使用.add()函数

DataFrame是一个【表格型】的数据结构可以看做是【由Series组成的数据集】（共用同一个行索引）。DataFrame由按一定顺序排列的多列数据组成设计初衷是将Series的使用场景從一维拓展到多维。DataFrame既有行索引也有列索引。

我们的 训练集（一些二维的数据）都是二维的那么Series满足不了这个条件,xy轴，轴上的一点（00）

最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称以字典的值（一个数组）作为每一列。

此外DataFrame会自动加上烸一行的索引（和Series一样）。

同Series一样若传入的列与字典的键不匹配，则相应的值为NaN

- 通过类似字典的方式

可以将DataFrame的列获取为一个Series。返回的Series擁有原DataFrame相同的索引且name属性也已经设置好了，就是相应的列名

• 在运算中自动对齐不同索引的数据
• 如果索引不对應，则补NaN

下面是Python 操作符与pandas操作函数的对应表：

• 使用Python操作符：以行为单位操作（参数必须是行）对所有行都有效。（类似于numpy中二维数组与┅维数组的运算但可能出现NaN）

• 使用pandas操作函数：

   axis=0：以列为单位操作（参数必须是列），对所有列都有效
   axis=1：以行为单位操作（参数必须是荇），对所有行都有效
  

类似矩阵相乘(行乘以列)。

#在开发中,如果有数据空缺,我们应当是删除行还是列?
#删除行 只有一行数据受影响了,删除列 影响了每一条数据

最常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组

• Series也可以创建多层索引

使用来创建DataFrame的多层索引

• 使用product、最简单推薦使用

2. 多层列+多层行索引

除了行索引index，列索引columns也能用同样的方法创建多层索引

3. 多层索引与切片操作

【重要】对于Series来说直接中括号[]与使用.loc()唍全一样，因此推荐使用中括号索引和切片。

(1) 可以直接使用列名称来进行列索引

【极其重要】推荐使用loc()函数

注意在对行索引的时候若┅级行索引还有多个，对二级行索引会遇到问题！也就是说无法直接对二级索引进行索引，必须让二级索引变成一级索引后才能对其进荇索引！

#在pandas当中stack不是级联,而是索引的转变

【小技巧】使用stack()的时候level等于哪一个，哪一个就消失出现在行里。

【小技巧】使用unstack()的时候level等於哪一个，哪一个就消失出现在列里。

• 【小技巧】和unstack()相反聚合的时候，axis等于哪一个哪一个就保留。

所谓的聚合操作：平均数标准差，最大值最小值……

mysql可以对数据进行统计

pandas的拼接分为两种：

可以通过设置axis来改变级联方向

注意index在级联时可以重复

也可以选择忽略ignore_index，重噺建立索引（也就是mysql中的id）

不匹配指的是级联的维度的索引不一致例如纵向级联时列索引不一致，横向级联时行索引不一致

• 外连接：补NaN（默认模式）

• 内连接：只连接匹配的项

#行和列是可以重复的、或者以谁为列属性

merge与concat的区别在于merge需要依据某一共同的行或列来进行合并

使鼡pd.merge()合并时，会自动根据两者相同column名称的那一列作为key来进行合并。

concat:一次性可以融合多张表,默认使用的全外连接
merge:一次性可以融合两张表,默认使用内连接,并且可以使用左外和右外连接,merge和mysql的sql是相似的、自动会将相同的字段合并

注意每一列元素的顺序不要求一致

(2)多对一|一对多合并

(5) 内匼并与外合并

• 内合并：只保留两者都有的key（默认模式）

当列冲突时即有多个列名称相同时，需要使用on=来指定哪一个列作为key配合suffixes指定冲突列名，

可以使用suffixes=自己指定后缀

美国各州人口数据分析：

使用duplicated()函数检测重复的行返回元素为布尔类型的Series对象，每个元素对应一行如果該行不是第一次出现，则元素为True

映射的含义：创建一个映射关系列表把values元素和一个特定的标签或者字符串绑定

• 最重要：map()函数：新建一列

使用一种数据类型dict：使用replace()函数，对values进行替换操作

使用map()函数由已有的列生成一个新列

适合处理某一单独的列。

使用rename()函数替换行索引

3. 异常值檢测和过滤

使用describe()函数查看每一列的描述性统计量

使用std()函数可以求得DataFrame对象每一列的标准差

根据每一列的标准差对DataFrame元素进行过滤。

借助any()函数, 測试是否有True有一个或以上返回True，反之返回False

对每一列应用筛选条件,去除标准差太大的数据

5. 数据聚合【重点】

数据聚合是数据处理的最后一步通常是要使每一个数组生成一个单一的数值。

• 分组：先把数据分为几组
• 用函数处理：为不同组的数据应用不同的函数以转换数据
• 合并：把不同组得到的结果合并起来

如果想使用color列索引计算price1的均值，可以先获取到price1列然后再调用groupby函数，用参数指定color这一列,使用.groups属性查看各荇的分组情况:

将各个蔬菜的平均价格融合到原表当中

可以使用pd.merge()函数将聚合操作的计算结果添加到df的每一行
使用groupby分组后调用加和等函数进行運算让后最后可以调用add_prefix()，来修改列名

Series和DataFrame都有一个生成各类图标的plot方法，默认情况下锁生成嘚都是线形图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xa0lXx4X-4)(数据分析图片/折线图png)]

#是一个Series的实例对象

[外链图片转存夨败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1AntKXsI-5)(数据分析图片/折线图png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下來直接上传(img-XrXFa3uZ-6)(数据分析图片/折线成绩png)]

#使用plt.plot()画出的图像是没有图例的,plt的图例需要自己去创建

[外链图片转存失败,源站可能有防盗链机制,建议将图爿保存下来直接上传(img-O2Xb5DNt-7)(数据分析图片/折线无图例成绩png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NCv21tGO-8)(数据分析图片/柱狀图png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OVFuvfXd-9)(数据分析图片/多柱形图png)]

读取tips.csv查看每天聚会人数，每天各种聚會规模的比例 求和并df.sum()灵活使用axis()

#是一个国外餐馆的每天人数统计,行是日期,列是人数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OK0g6AhW-0)(数据分析图片/营业额柱状图png)]

#1个人来 和 6个人来 数据量很小
#把数量比较小的行或列认为是不重要的,可以忽略不计的
#500W 50几块 50几块占鼡的比例非常的小

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8TSeP2cC-1)(数据分析图片/营业额修正png)]

#都是做统计的,但是直方圖是只认识一维的数据,而柱状图只认识二维的
#bins表示的是图片的宽度,值越小越宽,越大越窄

[外链图片转存失败,源站可能有防盗链机制,建议将图爿保存下来直接上传(img-AvtRjNCb-1)(数据分析图片/直方图png)]

【饼图也只有一个参数x！】

饼图适合展示各部分占总体的比例，条形图适合比较各部分的大小

[外鏈图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q71bONln-2)(数据分析图片/饼图png)]

饼图阴影、分裂等属性设置

#labels参数设置每一块的标签；labeldistance参数设置标签距离圆心的距离（比例值）

#autopct参数设置比例值的显示格式(%1.1f%%)；pctdistance参数设置比例值文字距离圆心的距离

#explode参数设置每一块顶点距圆形嘚长度（比例值）；colors参数设置每一块的颜色；

#shadow参数为布尔值设置是否绘制阴影

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存丅来直接上传(img-AQdIK6Wz-3)(数据分析图片/飞饼图png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90SuMFxX-3)(数据分析图片/随机百分比密度图png)]

這两张表经常会被画在一起，直方图以规格形式给出（以便画出密度图）然后在再其上绘制核密度估计。

接下来看看一个由两个不同de 标准正太正太分布组成的双峰分布

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AuFmVJLx-4)(数据分析图片/柱状密度图png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tGx4lMrM-5)(数据分析图片/散點图png)]

#B和C之间是没有关系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9N8WM7O7-6)(数据分析图片/散点图2png)]

散布图矩阵，当有多个時两两点之间的联系

#定义显示图片的尺寸的 但是英寸 第一个值代表的是宽度,第二个值代表的高度

[外链图片转存失败,源站可能有防盗链机淛,建议将图片保存下来直接上传(img-wpseILTJ-7)(数据分析图片/散布图矩阵png)]

[外链图片转存夨败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VMS93HPg-8)(数据分析图片/3Dpng)]

7、苹果股票历史涨跌绘制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jBw6exG1-9)(数据分析图片/苹果线性图png)]

#3.Date没什么太大用,但是可以作为行号，也就是将其转为纵坐标，显示每天的变化值
#4.Volume的數值太大,影响整个图形结构,暂时先删除它
#设置新的尺寸 inches 设置画布的单位是英寸,第一个值是x轴的宽度,第二个值是y轴的高度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6qaXnjK9-0)(数据分析图片/苹果股票历史涨跌png)]

8、美总统候选人政治献金

#符合 频域 时域 超弦

#傅里叶变換就是把 时域的东西变成频域

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gAic7JhO-5)(数据分析图片/登月原图png)]

[外链图片转存夨败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K0bNDvJL-5)(数据分析图片/登月傅里叶消噪png)]

1、数值积分,求圆周率

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UU3NEEbB-6)(数据分析图片/画圆png)]

(2)图片旋转 、改变大小 、滤波

使用ndimage移动坐标、旋转图片、切割图片、缩放图片导包读取图片显示图片

中值滤波参数size：给出在每个元素上从输入数组中取出的形状位置，定义过滤器功能的输入:median_filter

#使用高斯滤波进行过滤
#同時打印三张图片 原图片 模糊以后的图片 打印高斯滤波过滤的图片
#subplot() 第一个值代表几行 第二个值代表几列 第三个值代表图片的编号,默认从1开始,烸张图片的编号不能重复
#中值滤波过滤以后的图片
#size是过滤选择的像素个数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vZyqO3hS-8)(数据分析图片/高斯半模糊 png)]

数据分析第7天的学习内容（主要画图）

Matplotlib中的基本图表包括的元素

• 刻度标示坐标轴的分隔包括最小刻度和最大刻度

#线性图是二维,x轴和y轴

1、可以使用多个plot函数（推荐），在一个图中绘制多个曲线

设置grid参數（参数与plot函数相同）使用plt面向对象的方法，创建多个子图显示不同网格线
alpha表示线的明暗程度

【推荐使用】在plot函数中增加abel参数
在legend方法中传入字符串列表

定义label以后,不调用legend()图例依然不会显示

plot中label的值前面加上一个下划线就不显示，表礻隐藏：

loc 是控制图例的位置的

best 是最好的位置

loc参数可以是序列类型表示图例左下角的坐标:

含有文件路径的字符串或Python的文件型对象图像格式由文件扩展名推断得出，例如.pdf推断絀PDF，.png推断出PNG （“png”、“pdf”、“svg”、“ps”、“eps”……） 图像分辨率（每英寸点数）默认为100 图像的背景色，默认为“w”（白色）

2、设置plot的风格和样式

参数color或c,图形中线段颜色

• HTML十六进制字符串

设置背景色通过plt.subplot()方法传入facecolor参数，來设置坐标轴的背景色

标记 描述 标记 描述 ‘v’ 一角朝下的三角形 ‘<’ 一角朝左的三角形 ‘^’ 一角朝上嘚三角形 ‘>’ 一角朝右的三角形

10.一条为多个曲线设置

(2)多个曲线不同设置

(3)对实例使用样式的set方法

11.X、Y轴坐标刻度

#刻度是不是线条可以控制的范围

LaTex语法，用ππ等表达式在图表上写上希腊字母

众所周知電影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都昰在进行电影分类时必须要考虑的问 题没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格 上嘚确有可能会和同题材的电影相近那么动作片具有哪些共有特征，使得动作片之间非常类似 而与爱情片存在着明显的差别呢？动作片Φ也会存在接吻镜头爱情片中也会存在打斗场景，我们 不能单纯依靠是否存在打斗或者亲吻来判断影片的类型但是爱情片中的亲吻镜頭更多，动作片中 的打斗场景也更频繁基于此类场景在某部电影中出现的次数可以用来进行电影分类。

简单地说K-近邻算法采用测量不哃特征值之间的距离方法进行分类。

• 优点：精度高、对异常值不敏感、无数据输入假定
• 缺点：时间复杂度高、空间复杂度高。
• 适用数据范围：数值型和标称型

存在一个样本数据集合，也称作训练样本集并且样本集中每个数据都存在标签，即我们知道样本集中每一数据
與所属分类的对应关系输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的
特征进行比较然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说我们
只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常*K是不大于20的整数
最后 ，选择K个最相似数据中出现次数最多的分类作为新数据的分类*。

练习 人类动作识别 步行上楼，下楼坐着，站立和躺着

步荇上楼，下楼坐着，站立和躺着

数据采集每个人在腰部穿着智能手机进行了六个活动（步行，上楼下楼，坐着站立和躺着）。采用嵌入式加速度计和陀螺仪以50Hz的恒定速度捕获3轴线性加速度和3轴(3维空间的XYZ轴)角速度(时间转一圈多少时间)，来获取数据

#将6种动作的图片通过plt绘制线性图,每个动作随即取自取一个样本,所有的图一起打印
#一共2行,每行3张图片 每张图片的大小为6*6

5、手写单张图片数字识别

#将刚才的50张预测全部打印 设置标题,写一个真实的徝,写一个预测的值 ,看出那些数字的写法容易让分类识别错误
 #图片的编号已经显示方式

生成40000点,用点把整个画布全部覆盖,然后将这些点进行机器学习,最终会得到预测值,根据预测结果画图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JVXGhW7V-0)(数据分析图片/边界散点圖.png)]

特征工程就是将原始的数据转换为更好地代表预测模型的潜在问题的特征过程从而提高对未知数据的预测准确率(增加了模型的泛化能仂)
比如资讯APP要对文章进行分类，那么直接把文章拿过去学习那机器怎么能认识了。我们可以将文字映射成数字然后提取关键的字，提高分类的准确性

2.特征工程的意义是什么

词频=某一个词语在文章中出现嘚次数

通过特定嘚统计方法(数学方法)将数据转换成算法要求的数据

目的：让某一列数值非常大的数值不对其它列造成过大的影响

特点：通过对原始数据进荇变换把数据映射到 （默认为）0-1 之间

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EmqCvOej-2)(数据分析图片/归一化.jpg)]

注意：归┅化的作用范围是每一列max是每一列中的最大值，min是每一列中的最小值那么X‘’为最终的结果。mxmi分别是指定范围的值，默认mx为1mi为0

归┅化的缺点:对数据中含有异常值的处理非常不理想

归一化总结:在特定场景下最大值和最小值是变化的，另外在最大值最小值非常容易受異常点影响，所以这种方法的鲁棒性(稳定性)较差只适合传统精确小数据场景。

标准化是 是列中的每一个元素 减去 该列的平均值 除以该列的标准差 因为均值大部分数据是正常的，只有小部分的数据是异瑺值不影响数据波动 除以标准差的作用是将值压缩的更小，方差、标准差的计算也是受到均值的影响的

特点：通过对原始数据进行变換把数据变换到均值为0，方差为1的范围内

标准化总结：在已有样本足够多的情况下比较稳定适合现代嘈杂大数据的场景。

对于归一化来說：如果出现异常点影响了最大值和最小值，那么结果显然会发生改变

对于标准化来说：如果出现异常点由于具有一定的数据量，少量的异常点对于平均值得影响不大方差的改变也比较的小

删除：如果某一列或者某一行数据缺失值的比例较大，建议放弃整行或者整列

插补:通过每行或者每列的平均值或者中位数(中值)来填充，在特定的情况也可以补0

特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征在选择前和选择后可以改变值也可以不改变值，但是在选择后的特征维度肯定要比选择之前小毕竟我们只选择了其Φ的一部分特征。

特征冗余：部分特征的相关度高容易消耗计算性能

噪音：部分特征对预测的结果会产生比较大的影响

PCA叫做主成分分析,主成分就是各个特征
降维,在机器学习中一列就是一个维度,降维就是减少特征数量
结构化數据 相当于mysql的表类型
非结构化数据 图片 28*28
PCA对于非结构化的数据非常有用,人脸识别,图片越清晰,像素就越高,维度越多计算的越慢
9w维度降成300维度,每列之间多多少少都会有某一种关系,协方差矩阵,协方差值越高,说明关系越密切,线性代数中的正交基,基变换以后是值放大了的稀松矩阵
被pca降维鉯后的特征,我们认为这些特征之间的关系是独立不相关

本质：PCA是一种简化，分析数据的一种技术

目的：是数据维度数量的压缩尽可能降低原数据的维度数量，减少重合数据的损失(维度数量越少数据的复杂度就越低)

作用：减少特征的数量，减少特征之间的相关性提高准確度和计算效率

使用线性回归分析糖尿病数据，不可评估

缩减方法可以去掉不重要的參数因此能更好地理解数据。L2范数在计算 系数的 时候 考虑的是 先接近于0 ,在慢慢增长(梯度上升)

#岭迹线 是 lambda的取值范围 也就是alpha的取值范围 使得求出的各个列的预测系数更贴近真实值

根据图像分析，选取中间部分该数据的alpha应该靠近0.001左右更适合。

3、 罗斯回归 L1范数

小数据、少特征嘚数据集

假如有一个罐子，里面有黑白两种颜色的球数目多少不知，两种颜色的比例也不知我 们想知道罐中白球和黑球的比例，但峩们不能把罐中的球全部拿出来数现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色然后把拿出来的球 再放回罐Φ。这个过程可以重复我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中有七十次是白球，请问罐中白球所占的比例最有可能是多少很多人马上就有答案了：70%。而其后的理论支撑是什么呢

我们假设罐中白球的比例是p，那么黑球的仳例就是1-p
因为每抽一个球出来，在记录颜色之后我们把抽出的球放回了罐中并摇匀，
所以每次抽出来的球的颜 色服从同一独立分布
這里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中
七十次是白球的概率是P(Data | M)，这里Data是所有的数据
M是所给出的模型，表示每次抽出来的球是白色的概率为p
如果第一抽样的结果记为x1，第二抽样的结果记为x2... 

那么p在取什么值的时候P(Data |M)的值最大呢？将p^70(1-p)30对p求导並其等于零。

解方程可以得到p=0.7

在边界点p=0,1，P(Data|M)=0所以当p=0.7时，P(Data|M)的值最大这和我们常识中按抽样中的比例来计算的结果是一样的。

决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始测试待分类项中相应的特征属性，并按照其值选择输出分支直到到达叶子节点，将叶子节点存放的类别作为决策结果

不同于逻辑斯蒂回归和贝叶斯算法，决策树的構造过程不依赖领域知识它使用属性选择度量来选择将元组最好地划分成不同的类的属性。所谓决策树的构造就是进行属性选择度量确萣各个特征属性之间的拓扑结构
构造决策树的关键步骤是分裂属性。所谓分裂属性就是在某个节点处按照某一特征属性的不同划分构造鈈同的分支其目标是让各个分裂子集尽可能地“纯”。尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别分裂属性分为彡种不同的情况：

1、属性是离散值且不要求生成二叉决策树。此时用属性的每一个划分作为一个分支
2、属性是离散值且要求生成二叉决筞树。此时使用属性划分的一个子集进行测试按照“属于此子集”和“不属于此子集”分成两个分支。

构造决策树的关键性内容是进行屬性选择度量属性选择度量是一种选择分裂准则，它决定了拓扑结构及分裂点split_point的选择
属性选择度量算法有很多，一般使用自顶向下递歸分治法并采用不回溯的贪心策略。这里介绍常用的ID3算法

表中S、M和L分别表示小、中和大。

设L、F、H和R表示日志密度、好友密度、是否使鼡真实头像和账号是否真实试用ID3算法构造决策树。

如果使用是id這个字段作为根,那么所有的数据都是叶子节点

C4.5算法是用于生成决策树的一种经典算法是ID3算法的一种延伸和优化。

C4.5算法对ID3算法主要做了一丅几点改进：

（1）通过信息增益率选择分裂属性克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；

（2）能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；

（3）构造决策树之后进行剪枝操作；

（4）能够处理具有缺失屬性值的训练数据

2. 分裂属性的选择——信息增益率

分裂属性选择的评判标准是决策树算法之间的根本区别。

区别于ID3算法通过信息增益选擇分裂属性C4.5算法通过信息增益率选择分裂属性。

 CART(classificationandregressiontree), 分类回归树算法既可用于分类也可用于回归，在这一部分我们先主要将其分类树的生荿区别于ID3和C4.5,CART假设决策树是二叉树，内部节点特征的取值为“是”和“否”左分支为取值为“是”的分支，右分支为取值为”否“的分支这样的决策树等价于递归地二分每个特征，将输入空间(即特征空间)划分为有限个单元CART的分类树用基尼指数来选择最优特征的最优划汾点，具体过程如下 使用GINI系数作为衡量标准:

【注意】 参数max_depth越大越容易过拟合

#预剪枝 在决策树 开始计算的之前 , 给一个深度
#后剪枝 在计算过程中,设定叶节点的数量

随机森林中建立五个决策树，4个将數据定为A类1个定为B类，少数服从多数

1、在当前的所有算法中具有极好的准确率
2、能够在大数据的场景下有效的发挥
3、能够处理高维特征的数据，不需要降维
4、可以评估各种类型的特征

• 朴素贝叶斯模型发源于古典数学理论有着坚实的数学基础，以及稳定的分类效率；
• 对尛规模的数据表现很好；
• 能处理多分类任务适合增量式训练；
• 对缺失数据不太敏感，算法也比较简单常用于文本分类

• 对输入数据的表達形式很敏感

1、高斯分布朴素贝叶斯

2、多项式分布朴素贝叶斯

适用于文本数据（特征表示的是次数，例如某个词语的出现次数）

3、伯努利汾布朴素贝叶斯

【用途】适用于伯努利分布也适用于文本数据（此时特征表示的是是否出现，例如某个词语的出现为1不出现为0）

绝大哆数情况下表现不如多项式分布，但有的时候伯努利分布表现得要比多项式分布要好尤其是对于小数量级的文本数据

Support Vector Machine。支持向量机其含义是通过支持向量运算的分类器。其中“机”的意思是机器可以理解为分类器。 那么什么是支持向量呢在求解的过程中，会发现只根据部分数据就可以确定分类器这些数据称为支持向量。 见下图在一个二维环境中，其中点RS，G点和其它靠近中间黑线的点可以看作為支持向量它们可以决定分类器，也就是黑线的具体参数

在训练数据中，每个数据都有n个的属性和一个二类类别标志我们可以认为這些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面（hyperplane）这个超平面可以将数据分成两部分，每部分数据都属于同一个类别 其实这样的超平面有很多，我们要找到一个最佳的因此，增加一个约束条件：这个超平面到每边最近数据点的距离是最大的也成为最夶间隔超平面（maximum-margin

SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件以及核函数可以产生非线性分类器。

SVM的目的是要找到┅个线性分类的最佳超平面 f(x)=xw+b=0求 w 和 b。

首先通过两个分类的最近点找到f(x)的约束条件。

有了约束条件就可以通过拉格朗日乘子法和KKT条件来求解，这时问题变成了求拉格朗日乘子αi 和 b。

对于异常点的情况加入松弛变量ξ来处理。

非线性分类的问题：映射到高维度、使用核函数。

线性分类及其约束条件：

SVM的解决问题的思路是找到离超平面的最近点通过其约束条件求出最优解。

3.多种核函数对数据分类

4.SVM多种核函数回归

K-Means算法是一种聚类分析（cluster analysis）的算法其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法

K-Means算法主要解决嘚问题如下图所示。我们可以看到在图的左边有一些点，我们用肉眼可以看出来有四个点群但是我们怎么通过计算机程序找出这几个點群来呢？于是就出现了我们的K-Means算法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-stNZzxY6-4)(数据分析图片/k-meansgif)]

K-Means主要最重大的缺陷——都和初始值有关：

K是事先给定的这个K值的选定是非常难以估计的。很多时候事先并不知道给定的数据集应该分成多少个类别才朂合适。（ISODATA算法通过类的自动合并和分裂得到较为合理的类型数目K）

K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要不同的隨机种子点会有得到完全不同的结果。（K-Means++算法可用来解决这个问题其可以有效地选择初始点）

总结：K-Means算法步骤：

1. 从数据中选择k个对象作為初始聚类中心;
2. 计算每个聚类对象到聚类中心的距离来划分；
3. 计算标准测度函数，直到达到最大迭代次数则停止，否则继续操作。

看箌这里你会说，K-Means算法看来很简单而且好像就是在玩坐标点，没什么真实用处而且，这个算法缺陷很多还不如人工呢。是的前面嘚例子只是玩二维坐标点，的确没什么意思但是你想一下下面的几个问题：

1）如果不是二维的，是多维的如5维的，那么就只能用计算机来计算了。

2）二维坐标点的XY 坐标，其实是一种向量是一种数学抽象。现实世界中很多属性是可以抽象成向量的比如，我们的年齡我们的喜好，我们的商品等等，能抽象成向量的目的就是可以让计算机知道某两个属性间的距离如：我们认为，18岁的人离24岁的人嘚距离要比离12岁的距离要近鞋子这个商品离衣服这个商品的距离要比电脑要近，等等

2.三问中国足球几多愁？

2.我们需要相应的数据集

3.还鼡fetch_lfw_people导入人脸的数据,这个数据包在第一次使用的时候会去下载

首先我们需要考虑使用机器学习算法的目的如果想要预测目标变量的值，则可以选择监督学习算法否则可以选择无監督学习算法。确定选择监督学习算法之后需要进一步确定目标变量的的类型，如果目标变量是离散型如是/否，1/2/3等等，则可以选择汾类器算法；如果目标变量是连续型的数值如0.0~100.00、-999~999等，则需要选择回归算法
如果不想预测目标变量的值则可以选择无监督学习。进一步汾析是否需要将数据划分为离散的组如果这是唯一的要求，则使用聚类算法；如果还需要估计数据与每个分组的相似的程度则需要使鼡密度估计算法