为什么重要？

评估分类器通常比评估回归算法困难得多。一个很好的例子是着名的MNIST数据集，其中包含从0到9的手写数字的图像。如果我们想要构建一个对6进行分类的分类器，算法可以将每个输入分类为非6，并获得90％的准确性，因为数据集中仅约10％的图像为6。这是机器学习中的一个主要问题，也是您需要查看分类系统的多个评估指标的原因。

混乱矩阵

首先，您可以查看也称为错误矩阵的混淆矩阵。它是一张描述监督机器学习模型在测试数据上的性能的表格，其中真实值是未知的。矩阵的每一行表示预测类中的实例，而每列表示实际类中的实例（反之亦然）。它被称为“混淆矩阵”，因为它可以很容易地发现你的系统混淆了两个类。

在下面，您可以看到在mnist数据集上使用的sklearn的“confusion_matrix（）”函数的输出。

每行代表一个实际的类，每一列代表一个预测的类。

第一行是关于非6张图片（否定类），其中53459张图片被正确分类为非6张（称为真实负片）。其余的623张图片被错误地归类为6秒（误报）。

第二行代表实际的6个图像。473被错误地归类为非6s（漏报）。5445被正确分类为6（真正的正面）。请注意，完美的分类器是100％的时间，这意味着他只有真正的肯定和真正的否定。

精确度和召回率

混淆矩阵为您提供了很多关于模型运行情况的信息，但有一种方法可以获得更多信息，如计算分类器精度。这基本上是积极预测的准确性，它通常与“召回”一起查看，这是正确检测到的正实例的比率。

幸运的是，sklearn提供了内置函数来计算它们：

现在我们对分类器有了更好的评估。我们的模型将89％的时间图像正确地分类为6.精度告诉我们，它预测6的92％为6。但是仍然有更好的方法！

F-分数

您可以将精确度和召回率结合到一个称为F分数（也称为F1分数）的单一指标中。如果您想比较2个分类器，F分数非常有用。它使用精确度和召回率的调和平均值来计算，并给予低值更多的权重。因此，如果召回率和精确度都很高，分类器只会得到较高的F分数。您可以使用sklearn轻松计算F-Score。

以下您可以看到我们的模型获得了90％的F分数：

但不幸的是，F-分数不是圣杯，而是有其折衷。它倾向于具有类似的精度和召回率的分类器。这是一个问题，因为你有时需要高精度，有时需要高回忆。问题在于，越来越高的精度会导致召回率下降，反之亦然。这就是所谓的精度/召回折衷，我们将在下一节中介绍。

精确/回收权衡

为了更好地说明这种权衡，我会举例说明何时需要高精度以及何时需要高回忆。

高精准度：

如果您训练了分类器来检测适合儿童的视频，您可能需要高精度。这意味着您需要一个分类器，可能会拒绝大量实际适用于儿童的视频，但从未向您显示包含成人内容的视频。因此只显示安全的（例如高精度）

high recall:

一个你需要高回忆的例子是，如果你训练一个分类器来检测试图闯入建筑物的人。如果分类器只有25％的精确度（会导致一些虚假警报），只要它有99％的召回率并在几乎每次有人试图进入时发出警报即可。

为了更好地理解这种折衷，我们将看看SGDClassifier如何使它成为关于MNIST数据集的分类决策。对于每个图像必须进行分类，它根据决策函数计算得分，并将图像分类为一个数字（当分数大于阈值时）或另一个（当分数小于阈值时）。

下图显示数字，从最低（左）到最高分数（右）排序。假设您有一个应该检测5秒的分类器，并且阈值位于图片的中间（在中心箭头处）。然后你会发现它右边的4个真正的肯定（实际5s）和一个误报（实际上是6）。该阈值的定位将导致80％的精确度（5分之4），但在图片上的6个实际5s中，他只能识别4，因此召回率将为67％（6分之4）。如果您现在将阈值移至右箭头，则会导致更高的精度，但回调更低，反之亦然，如果将阈值移至左箭头。

精确/回调曲线

精确度和召回率之间的平衡可以通过精确度召回曲线来观察，并且可以让您发现哪个阈值最好。

另一种方法是绘制精确度和相互召回：

在上面的图片中，您可以清楚地看到召回正在以大约95％的精度大幅下降。因此，您可能希望在此之前选择精确度/回调权衡 - 可能在85％左右。由于上面的两个图，您现在可以选择一个阈值，从而为您当前的机器学习问题提供最佳的精度/回调权衡。如果您想要例如85％的精度，则可以轻松查看第一张图上的图，并看到您需要大约50,000的阈值。

ROC AUC曲线和ROC AUC评分

ROC曲线是评估和比较二元分类器的另一种工具。它与精度/回忆曲线有很多相似之处，尽管它有很大的不同。它绘制了真正的阳性率（也称为召回率）与假阳性率（不正确分类的阴性实例的比率）之间的关系，而不是绘制精确度与召回率之间的关系。

当然，我们在这里也有一个权衡，因为分类器产生更多的误报，真正的正确率越高。中间的红线是一个纯粹的随机分类器，因此您的分类器应该尽可能远离它。

通过测量曲线下面积（称为AUC），ROC曲线还提供了将两个分类器相互比较的方法。这是ROC AUC评分。请注意，100％正确的分类器的ROC AUC为1.完全随机分类器的分数为0.5。您可以在下面看到mnist模型的输出：