用Python进行机器学习(9)-ROC曲线与AUC

在我们前面讲到分类任务的模型评估的时候，已经介绍了四个指标（准确率、精确率、召回率和F1指标），本节继续介绍另一个有用的评估方式，ROC曲线及其AUC值。ROC曲线是Receiver Operating Characteristic的简写，如果翻译成汉语就是“受试者工作特征”，这个名称听上去有点怪怪的，但是这个指标却不难理解，先看一个具体的ROC曲线是什么吧，如下所示：

上面就是一个具体的ROC曲线，先看一下它的两个坐标轴，横轴即x轴也就是FPR，是False Positive Rate的简写，它是FP/(FP+TN)，关于FP、FN、TP、TN的概念可以去参考我前两篇的文章，简单来说就是把所有为负的样本错误的预测为正样本的概率。它的纵轴即y轴也就是TPR，是True Positive Rate的简写，它是TP/(TP+FN)，简单来说就是把所有的正样本预测为正样本的概率。

还有一个比较重要的概念，就是上图中的area=0.92，它表示这个曲线的面积，也就是AUC值，它是Area Under the Curve的简写，它是一个介于0到1之间的数值，越接近1表示效果越好，越接近0表示效果越差，在我们这个例子中它的值是0.92。

然后我们举一个具体的例子来运行一下吧，如下所示：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc, accuracy_score, classification_report


# 生成自定义分类数据
X, y = make_classification(
    n_samples=1000, # 样本数量
    n_features=10, # 特征数量
    n_informative=2, # 信息特征数量
    n_redundant=5, # 冗余特征数量
    random_state=42 # 随机种子
)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建并训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)


# 预测
y_pred = model.predict(X_test)
# 评估模型
print("准确率:", accuracy_score(y_test, y_pred))
print("分类报告:\n", classification_report(y_test, y_pred))

# 预测测试集的概率
y_score = model.predict_proba(X_test)[:, 1]
#print(f"预测概率数据: {y_score}")
# 计算 ROC 曲线的假正率、真正率和阈值
fpr, tpr, thresholds = roc_curve(y_test, y_score)
# print(f"假正率数据:{fpr}") # 假正率
# print(f"真正率数据: {tpr}") # 真正率
# print(f"阈值数据:{thresholds}") # 阈值

# 计算 AUC 值
roc_auc = auc(fpr, tpr)
print(f"ROC AUC值: {roc_auc}")

# 可视化 ROC 曲线
plt.figure(figsize=(10, 7))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

在上面的例子中，我们随机生成的数据，并且进行训练，这里使用的是逻辑回归，由于之前已经介绍过了，就不再赘述了，这里看一下运行结果并且进行分析，如下：

可以看到现在的预测准确率是0.84，它的AUC值是0.9199左右，接近0.92，假如我们修改生成的数据，比如把n_features这个参数修改为5，那么它预测的准确率和AUC值都会发生变化，可以看到准确率已经下滑到0.786，它的AUC值也会降低到0.88479左右，如下图所示：

这里也给一下在这种情况下的ROC曲线吧，如下所示：

通常来说，ROC曲线可以让我们对整个过程有一个更好的评估结果，而不再只是盯着最终的一个结果数据，它能够让我们对整个过程都能够有一个更加完整的掌握。