百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

生信文章中高频出现、模型评估必备分析——ROC曲线图,怎么看?

bigegpt 2025-05-27 12:48 3 浏览

尔云间 一个专门做科研的团队

关注我们

做了生信分析,拿到一堆数据,看不懂图怎么办?

火山图、热图、散点图、箱线图、瀑布图···这么多类型的图都咋看?

风险模型预后评估图、GO-KEGG富集分析图、GSEA富集分析图···这些图又代表了什么结果?

小云新栏目【小云解读生信图】上线以后,讲了火山图、热图、相关性散点图、GSEA图、箱线图···,阅读反馈都还不错

感谢粉丝朋友们的关注,小云的新栏目可以继续更新

应粉丝朋友的要求,这次讲讲ROC曲线图

ROC曲线图可是评价预后/诊断模型的预测性能的必备分析,经常跟K-M生存曲线图手拉手出现,基本上只要构建模型就会用到ROC曲线分析,生信文章中出现频率相当高,赶紧学起来吧!

话不多说,先看图,这应该是大家最常见到的ROC曲线图


1. 什么是ROC曲线图?

ROC曲线全称为Receiver Operating Characteristic Curve,受试者工作特征曲线。由于可以反映模型在选取相同阈值或不同阈值时候的模型敏感性和准确性的走向,也将该曲线称为感受性曲线(sensitivity curve)。


2. ROC曲线图怎么用?

1)评价某个或多个指标(比如建立的模型或多个关键基因)对两类测试者(如患者和正常人)分类及诊断的效果。通过绘制某个指标或多个指标的ROC曲线并计算各自的AUC,就可以知道哪个指标的分类/诊断效果更好;(小云划重点:这是ROC曲线在目前生信文章里最主要的作用,也是用的最多的功能哦)

2)寻找最佳的指标阈值(也就是cutoff值)使得分类效果最佳。


3. ROC曲线图怎么看?

1) 先介绍几个小概念:

  • 真阳性率(TPR):所有实际为阳性的样本被正确地判断为阳性的个数与所有实际为阳性的样本个数之比(也就是真的是真的),TPR又称为Sensitivity(灵敏度);
  • 假阳性概率(FPR):所有实际为阴性的样本被错误地判断为阳性的个数与所有实际为阴性的样本个数之比(即假的误认为是真的,被误报了),FPR等于1-Specificity(特异度);
  • Specificity(特异度):所有实际为阴性的样本被正确地判断为阴性的个数与所有实际为阴性的样本个数之比(也就是假的是假的),Specificity又称为真阴性率(TNR);
  • 约登指数(Youden Index):也称正确指数,其反映了区分真正的患者与非患者的总能力。Youden index = Sensitivity + Specificity - 1=TRP-FRP,范围取值介于0-1之间,约登指数越大,表示分类模型性能越好。约登指数最大值也就对应着该方法的最佳诊断临界值,即cutoff值;
  • AUC (Area under Curve):ROC 曲线下的面积,介于 0.1 和 1 之间,作为数值可以直观的评价模型的预测准确性AUC值越大预测准确率越高


2) 坐标轴:

  • 横坐标1-Specificity(FPR)是特异性,即假阳性率(False Positive Rate, FPR)
  • 纵坐标Sentivity(TPR) 是敏感性,即真阳性率(True Positive Rate, TPR)
  • ROC曲线图是反映敏感性与特异性之间关系的曲线,X轴越接近零准确率越高,Y轴越大代表准确率越好。


3)AUC判断预测性能:

1) 理论上来说如果AUC值越接近于1,说明曲线下方面积越大,表明预测模型的准确率越高,反之则说明预测模型的准确率较低。如果曲线越接近左上角,即横坐标越小,纵坐标越大,表明预测预测模型的准确率越高。


4)结果示例

下图中表示预测模型的1、3、5年的ROC曲线,AUC值均大于/等于0.8,表示预测准确性良好,其中第3和5年准确率最高。



ROC曲线图的解读有没有让生信小白们豁然开朗呀?还有问题的话欢迎给小云留言哦

小云有话说

如果时间和精力有限或者缺乏相关经验,对生信分析和思路设计有兴趣,“云生信”为您提供免费思路评估等,欢迎咨询!

相关推荐

机器学习分类模型评估(三)-F值(F-Measure)、AUC、P-R曲线

概述上二篇文章分别讲述了准确率(accuracy)、精确率(Precision)、查准类、召回率(Recall)、查全率、ROC曲线,本文讲述机器学习分类模型评估中的F值(F-Measure)、AUC...

SPSS ROC曲线诊断临界值确定

ROC曲线是在临床医学和流行病学研究中一种常用的在诊断试验、预测模型中用于决定最佳临界点的方法。ROC曲线用真阳性率和假阳性率作图得出曲线,其横轴表示假阳性率(1-特异度),纵轴表示真阳性率(灵敏度)...

分类器模型检测--ROC曲线和AUC值

在监督学习建模中有一个重要的模块是模块的检测,就是怎样判断一个模型的好坏?那么常用的的检测的指标有P值、R值、F值、ROC曲线、AUC值等,今天来学习他们都是怎么来的,有什么用处。这里为二分类问题,即...

【Python机器学习系列】建立梯度提升模型预测心脏疾病

这是Python机器学习系列原创文章,我的第204篇原创文章。一、引言对于表格数据,一套完整的机器学习建模流程如下:针对不同的数据集,有些步骤不适用即不需要做,其中橘红色框为必要步骤,由于数据质量较高...

如何Keras自动编码器给极端罕见事件分类

全文共7940字,预计学习时长30分钟或更长本文将以一家造纸厂的生产为例,介绍如何使用自动编码器构建罕见事件分类器。现实生活中罕见事件的数据集:背景1.什么是极端罕见事件?在罕见事件问题中,数据集是...

机器学习分类问题:9个常用的评估指标总结

对机器学习的评估度量是机器学习核心部分,本文总结分类问题常用的metrics分类问题评估指标在这里,将讨论可用于评估分类问题预测的各种性能指标1ConfusionMatrix这是衡量分类问题性能的...

基于R语言的ROC曲线绘制及最佳阈值点(Cutoff)选择

ROC曲线在介绍ROC曲线之前,我们首先需要介绍混淆矩阵(ConfusionMatrix)。在统计分类模型的评估过程中分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来的表格...

R数据分析:多分类问题预测模型的ROC做法及解释

有同学做了个多分类的预测模型,结局有三个类别,做的模型包括多分类逻辑回归、随机森林和决策树,多分类逻辑回归是用ROC曲线并报告AUC作为模型评估的,后面两种模型报告了混淆矩阵,审稿人就提出要统一模型评...

SPSS实战:多个指标ROC曲线方向不一致的解决办法汇总(收藏)

在诊断实验和预测模型的临床效能评价中,我们常常用到ROC曲线分析。在SPSS中绘制ROC曲线操作比较简单,但如果将多个指标的ROC曲线绘制在同一个图中,有时候会碰到有些指标的ROC曲线在对角线上面,一...

小果教你快速分析ROC生存曲线图

尔云间一个专门做科研的团队原创小果生信果小伙伴们,大家好呀,很高兴和大家见面,前段时间应小伙伴出的解读ROC曲线图,小伙伴反应很是积极,这不最近小伙伴对于不同年份的ROC曲线图的分析呼声很高,...

生信文章中高频出现、模型评估必备分析——ROC曲线图,怎么看?

尔云间一个专门做科研的团队关注我们做了生信分析,拿到一堆数据,看不懂图怎么办?火山图、热图、散点图、箱线图、瀑布图···这么多类型的图都咋看?风险模型预后评估图、GO-KEGG富集分析图、GSEA...

如何看懂文献里那些图——ROC曲线图

ROC曲线的基本思想是把敏感度和特异性看作一个连续变化的过程,用一条曲线描述诊断系统的性能,其制作原理是在连续变量中不同界值点处计算相对应的灵敏度和特异度,然后以敏感度为纵坐标、1-特异性为横坐标绘制...

超强,必会的机器学习评估指标

大侠幸会,在下全网同名[算法金]0基础转AI上岸,多个算法赛Top[日更万日,让更多人享受智能乐趣]构建机器学习模型的关键步骤是检查其性能,这是通过使用验证指标来完成的。选择正确的验证指...

准确性检验 (ROC曲线)的SPSS操作教程及结果解读

作者/风仕在上一期,我们已经讲完了诊断试验的基础知识,这期开始讲准确性检验(ROC曲线),我们主要从准确性检验(ROC曲线)的介绍、基本概念、绘制原理、统计量、使用条件及案例的SPSS操作演示这几...

SPSS:ROC 曲线为什么反了?

【作者介绍】李志辉,长期从事各类统计软件应用研究,主编或参编SPSS、MINITAB、STATISTICA多个统计软件教材共8本。代表作:电子工业出版社《SPSS常用统计分析教程(SPSS22.0中...