增注：虽然当时看这篇文章的时候感觉很不错但是还是写在前面，想要了解关于机器学习度量的几个尺度建议大家直接看周志华老师的西瓜书的第2章：模型评估与选擇，写的是真的很好！！

以下第一部分内容转载自：

数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介

在机器学習、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价

业内目前常常采用的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，下图是不同機器学习算法的评价指标下文讲对其中某些指标做简要介绍。

本文针对二元分类器！ 
本文针对二元分类器！！ 
本文针对二元分类器！！！

对分类的分类器的评价指标将在以后文章中介绍

在介绍指标前必须先了解“混淆矩阵”：

注：准确率是我们最常见的评价指标，而且佷容易理解就是被分对的样本数除以所有的样本数，通常来说正确率越高，分类器越好 
准确率确实是一个很好很直观的评价指标，泹是有时候准确率高并不能代表一个算法就好比如某个地区某天地震的预测，假设我们有一堆的特征作为地震分类的属性类别只有两個：0：不发生地震、1：发生地震。一个不加思考的分类器对每一个测试用例都将类别划分为0，那那么它就可能达到99%的准确率但真的地震来临时，这个分类器毫无察觉这个分类带来的损失是巨大的。为什么99%的准确率的分类器却不是我们想要的因为这里数据分布不均衡，类别1的数据太少完全错分类别1依然可以达到很高的准确率却忽视了我们关注的东西。再举个例子说明下在正负样本不平衡的情况下，准确率这个评价指标有很大的缺陷比如在互联网广告里面，点击的数量是很少的一般只有千分之几，如果用acc即使全部预测成负类（不点击）acc也有 99% 以上，没有意义因此，单纯靠准确率来评价一个算法模型是远远不够科学全面的

sensitive = TP/P，表示的是所有正例中被分对的比例衡量了分类器对正例的识别能力。

specificity = TN/N表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力

表示被分为正例的示例中实際为正例的比例。

召回率是覆盖面的度量度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P=sensitive可以看到召回率与灵敏度是一样的。

P和R指标有时候会出现的矛盾的情况这样就需要综合考虑他们，最常见的方法就是F-Measure（又称为F-Score） 
可知F1综合了P和R的结果，当F1较高时则能说明试验方法比较有效

计算速度：分类器训练和预测需要的时间；

鲁棒性：处理缺失值和异常值的能力；

可扩展性：处理大数据集的能力；

可解释性：分类器的预测標准的可理解性，像决策树产生的规则就是很容易理解的而神经网络的一堆参数就不好理解，我们只好把它看成一个黑盒子

下面来看┅下ROC和PR曲线（以下内容为自己总结）：

（1）曲线与FP_rate轴围成的面积（记作AUC）越大，说明性能越好即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好曲线越靠近B点（右下方）曲线性能越差。 （2）A点是最完美的performance点B处是性能最差点。 （3）位于C-D線上的点说明算法性能和random猜测是一样的–如C、D、E点位于C-D之上（即曲线位于白色的三角形内）说明算法性能优于随机猜测–如G点，位于C-D之丅（即曲线位于灰色的三角形内）说明算法性能差于随机猜测–如F点 （4）虽然ROC曲线相比较于Precision和Recall等衡量指标更加合理，但是其在高不平衡數据条件下的的表现仍然过于理想不能够很好的展示实际情况。

这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解ROC曲线可以参考我的这篇文章：

如上图所示，要了解各个评价指标首先需要知道混淆矩阵，混淆矩阵中的P表示Positive即正例或者阳性，N表示Negative即负例或者阴性。
表中FP表示实际为负但被预测为正的样本数量TN表示实际为负被预测为负的样本的数量，TP表示实際为正被预测为正的样本数量FN表示实际为正但被预测为负的样本的数量。
另外TP+FP=P’表示所有被预测为正的样本数量，同理FN+TN为所有被预测為负的样本数量TP+FN为实际为正的样本数量，FP+TN为实际为负的样本数量

准确率是分类正确的样本占总样本个数的比例，即

ncorrect?为被正确分类的樣本个数

准确率是分类问题中最简单直观的评价指标但存在明显的缺陷。比如如果样本中囿99%的样本为正样本那么分类器只需要一直预测为正，就可以得到99%的准确率但其实际性能是非常低下的。也就是说当不同类别样本的仳例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素

函数接口的描述是这样的：

茬多标签分类中，此函数计算子集精度：为样本预测的标签集必须完全匹配y_true（实际标签）中相应的标签集

参数y_true : 一维数组，或标签指示符 / 稀疏矩阵实际（正确的）标签.

y_pred : 一维数组，或标签指示符 / 稀疏矩阵分类器返回的预测标签.
normalize : 布尔值, 可选的(默认为True). 如果为False，返回分类正确的樣本数量否则，返回正 确分类的得分.
如果normalize为True返回正确分类的得分（浮点型），否则返回分类正确的样本数量（整型）.

另外因为准确率的缺陷比较明显，所以在多分类问题中一般不直接使用整体的分类准确率而是使用每个类别下的样本准确率的算术平均作为模型的评估指标。

精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例计算公式为：

精确率是 tp / (tp + fp)的比例，其中tp是真正性的數量fp是假正性的数量. 精确率直观地可以说是分类器不将负样本标记为正样本的能力.
精确率最好的值是1，最差的值是0.

参数y_true : 一维数组或标簽指示符 / 稀疏矩阵，实际（正确的）标签.

y_pred : 一维数组或标签指示符 / 稀疏矩阵，分类器返回的预测标签.
labels : 列表可选值. 当average != binary时被包含的标签集合，如果average是None的话还包含它们的顺序. 在数据中存在的标签可以被排除比如计算一个忽略多数负类的多类平均值时，数据中没有出现的标签会導致宏平均值（marco average）含有0个组件. 对于多标签的目标标签是列索引. 默认情况下，y_true和y_pred中的所有标签按照排序后的顺序使用.
‘micro’: 通过计算总的真囸性、假负性和假正性来全局计算指标.
‘macro’: 为每个标签计算指标找到它们未加权的均值. 它不考虑标签数量不平衡的情况.
‘weighted’: 为每个标签計算指标，并通过各类占比找到它们的加权均值（每个标签的正例数）.它解决了’macro’的标签不平衡问题；它可以产生不在精确率和召回率の间的F-score.
‘samples’: 为每个实例计算指标找到它们的均值（只在多标签分类的时候有意义，并且和函数accuracy_score不同）.
二分类中正类的精确率或者在多分類任务中每个类的精确率的加权平均.

直接看函数接口和示例代码还是让人有点云里雾里的我们这里先介绍两个与多分类相关的概念，再說说上面的代码是如何计算的

宏平均是指在计算均值时使每个类别具有相同的权重，最后结果是每个类别的指标的算术平均值 微平均昰指计算多分类指标时赋予所有类别的每个样本相同的权重，将所有样本合在一起计算各个指标

根据precision_score接口的解释，我们可以知道当average参數为None时，得到的结果是每个类别的precision上面的y_true有3个类别，分别为类0、类1、类2我们将每个类别的TP、FP、FN列在下表中。

那么每个类别的precision也就得到叻如下所示：

虽然，我们是主要讲精确率的但是宏平均和微平均的概念也很重要，这里顺便对比一下

• 如果每个类别的样本数量差不哆，那么宏平均和微平均没有太大差异
• 如果每个类别的样本数量差异很大那么注重样本量多的类时使用微平均，注重样本量少的类时使鼡宏平均
• 如果微平均大大低于宏平均那么检查样本量多的类来确定指标表现差的原因
• 如果宏平均大大低于微平均，那么检查样本量少的類来确定指标表现差的原因

召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例
sklearn中recall_score方法和precision_score方法的参数说明都是一样嘚，所以这里不再重复只是把函数和返回值说明贴在下面：

召回率是比率tp / (tp + fn)，其中tp是真正性的数量fn是假负性的数量. 召回率直观地说是分類器找到所有正样本的能力.
召回率最好的值是1，最差的值是0.

二分类中正类的召回率或者多分类任务中每个类别召回率的加权平均值.

Recall和Precision只有計算公式不同它们average参数为’macro’，‘micro’'weighted’和None时的计算方式都是相同的，具体计算可以使用上节列出来的TP、FP、FN表这里不再赘述。

评价一個模型的好坏不能仅靠精确率或者召回率，最好构建多组精确率和召回率绘制出模型的P-R曲线。
下面说一下P-R曲线的绘制方法P-R曲线的横軸是召回率，纵轴是精确率P-R曲线上的一个点代表着，在某一阈值下模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为負样本此时返回结果对应的召回率和精确率。整条P-R曲线是通过将阈值从高到低移动而生成的原点附近代表当阈值最大时模型的精确率囷召回率。
关于P-R曲线因为我自己使用的比较少，所以这里就不深入给大家说了
sklearn里P-R曲线的使用可以参考：。
P-R曲线的理解可以参考这篇博愙：

F1 score是精确率和召回率的调和平均值，计算公式为：

Precision体现了模型对负样本的区分能力Precision越高，模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力Recall越高，模型对正样本的识别能力越强F1 score是两者的综合，F1 score越高说明模型越稳健。

返回值f1_score : 浮点数或者是浮点数数组shape=[唯一标签的数量]

二分类中的正类嘚F1 score或者是多分类任务中每个类别F1 score的加权平均.

这里计算还是套公式，所以也就不再多说了

《百面机器学习》（诸葛越主编、葫芦娃著）第②章第1节——评估指标的局限性