理解 ROC 和 PRC

最新推荐文章于 2023-10-20 21:00:12 发布
原创 最新推荐文章于 2023-10-20 21:00:12 发布 · 1.9k 阅读 · 1
标签
#人工智能 #python #算法

前两天看到了一篇关于 ROC 的推送文章，突然发现这块上学时的知识已经逐渐开始忘却了，顺便复习一下这部分知识顺手记录下来。

混淆矩阵

![image.png](https://img-blog.csdnimg.cn/img_convert/1fbd7cacd6bb8d6dbd213086b3cfdd19.png#averageHue=#f7f7f7&clientId=u2599aa41-afb4-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=247&id=u1d8a3ada&margin=[object Object]&name=image.png&originHeight=493&originWidth=986&originalType=binary&ratio=1&rotation=0&showTitle=false&size=56543&status=done&style=none&taskId=u0bd1d5ba-2478-487d-8e39-d31b679c343&title=&width=493)
二分类问题的混淆矩阵可以衍生出 Precision 和 Recall。F1 是这两个指标的几何平均。这个指标的问题在于类别不平衡的时候，比如 99 个 A 类，1 个 B 类，分类器全部预测成 A，此时，P=0.99，R=0.99，F1=0.99，这肯定不行的对吧。

PR 曲线

PR 曲线要做的事情是对于所有的待预测 instance，计算出 positive 的概率，首先认为没有正例。
那么显然此时的 P 可以认为是 1，R 则是 0.（实际上是 P=0/0，不过我们可以暂时这么记住，初始点就是在左上角就可以。） 如下图所示。

P N
Y 0 0
N A B

下一步我们把 positive概率最大的判断为正例，那么势必会从 A 里面移上来一个。只要我们的模型不太拉胯，那么大概率 top1 的正例是对的，也就是说，从 A 里面移上来一个（如下图所示）。此时，P=1，R=1/A。这意味着，在 PR 图上，从初始点向右画的一小段曲线。

P N
Y 1 0
N A-1 B

以此类推，假设前十个我们从预测对了，都是成功的从 PN 位置把真正例移动到 YP 一格中，那么在 PR 图上就是从起始点不停向右画出了 10 个 point，最后一个点是 （P=1，R=10/A）。直到第 11 个，我们预测错了（如下图所示）。那么注意这个点是 （P=10/11，R=10/A）。相比第十个点，是 P 下降，R 不变，体现在 PR 图中就是在第十个

最低0.47元/天 解锁文章
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 10万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
ROC曲线和PR曲线的区别及相应的应用场景
m0_48520385的博客
07-11 1万+
ROC曲线和PR曲线都是用来衡量分类器分类性能的好坏的标准 ROC曲线和PR曲线的区别 ROC曲线 关于ROC曲线的具体含义详见我之前的博文：ROC曲线的含义以及画法 ROC曲线所在的二维坐标轴空间的横轴为FPR，纵轴为TPR； 其中 ROC曲线如下图所示 相对来说，ROC曲线越靠近左上角表示分类器的效果越好 PR曲线 要评价信息检索系统的性能水平，就必须在一个检索系统中进行多次检索。每进行一次检索（每改变一次阈值后重新对样本进行分类），都计算其查准率和查全率，并以此作为坐标值，在平面坐标图上标示出来。
【学习笔记】ROC简介
Canon__的博客
09-26 2199
上次我们谈到逻辑回归，我们用sigmoid(仅用于二分法，至于多分类以后会谈(softmax)。 输出的值在0～1之间，这时输出的是一个概率。我们也可以将输出结果改成二元值(是垃圾邮件或者不是垃圾邮件)。 我们要设定一个概率，超过这个概率我们则认为是"垃圾邮件",低于的话，我们则认为不是。 这个设定的概率就被称为 分类阈值(判定阈值)。 之前在《深入浅出的数据分析》中我们提到过分类问题，这...
PRC 和ROC
u010398562的博客
09-02 6786
一、指标定义 准确率：策略命中的所有相关订单/策略命中的所有订单 召回率：策略命中的所有相关订单/所有的相关订单（包括策略未被命中的） F1-score(F1-分数)：2×准确率×召回率/（准确率+召回率），是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0。（详细介绍见下） ROC:ROC曲线的横坐标为false positive rate（FPR,假正率），纵坐标为true
分析与可视化ROC——plotROC、pROC
XIUXIU179的博客
01-11 3441
ROC曲线的本质以及如何计算和绘制ROC曲线。注意，我这里谈到的ROC并未曾涉及机器学习模型的拟合与预测，而是指存在一组真实的连续型数值数据设定阈值的不同对响应变量（二分类）的影响（真阳性率、假阳性率）。 这一篇文章我们学习两个跟ROC相关的R包： plotROC - Generate ROC Curve Charts for Print and Interactive Use pROC -...
对accuracy、precision、recall、F1-score、ROC-AUC、PRC-AUC的一些理解
huguozhiengr的博客
09-02 2504
　　最近做了一些分类模型，所以打算对分类模型常用的评价指标做一些记录，说一下自己的理解。使用何种评价指标，完全取决于应用场景及数据分析人员关注点，不同评价指标之间并没有优劣之分，只是各指标侧重反映的信息不同。为了便于后续的说明，先建立一个二分类的混淆矩阵 ，以下各参数的说明都是针对二元分类 ...
roc曲线的意义_混淆矩阵、准确率、精确率、召回率、真正率、假正率、ROC/AUC、PRC理解与感悟...
weixin_39520979的博客
12-19 2253
由于工作的需要，最近对一些常见的评价指标重新温习了一下，其中对混淆矩阵、准确率、精确率、召回率、真正率、假正率、ROC/AUC、PRC等概念进行了重点的温习和理解，并结合自己的感悟，总结和梳理了一下。首先说明一下，以上指标主要针对分类问题的，其中的根源和核心是二分类混淆矩阵。1.混淆矩阵下面展开说明都是以二分类混淆矩阵为基础，多分类可以将除目标类之外的其他类别当成一类（反例）。二分类混淆矩阵由2个...
prc曲线 sklearn_精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
weixin_36221149的博客
12-29 616
前面各位大神总结的都非常的好，也说一下自己的总结和理解。ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题(80%都会问到)。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是：每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。还有的朋友面试之前背下来了，但是一紧张大脑一片空白全忘了，导致回答的很差。我在之前的面试过程中也遇到过类似的问题，我的面试经...
roc与prc
lala_001的专栏
03-16 2585
1.准确率与召回率 数据集中 ： 正例 反例 你的预测 正例 ： A B 你的预测 反例 ： C D 准确率就是A/(A+B) 就是“你的预测中有多少是对的” 召回率就是A/(A+C) 就是“正例里你的预测对的覆盖了多少” A为被模型预测为正的正样本，真正（True Positive , TP）--预测正确 B为被模型预测为正的负样本，假正（False Positive , FP
ROC曲线与PR曲线
abc200941410128的博客
07-22 5189
之前一直知道怎么看ROC，没有过深理解相关概念（真阳假阳等）最近重新细看ROC和PR发现很多资料把这些概念搞得乱七八糟的，所以围绕ROC和PR阐述一下，并且比较两者在评价模型时的优劣。 一、概念介绍 1、混淆矩阵 2、重要概念 真正率(True Positive Rate, TPR)，又名灵敏度(Sensitivity)：分类正确的正样本个数占整个正样本个数的比例，即：TPR=TP
机器学习——ROC曲线、PR曲线
TXQIHYJ的博客
10-20 3323
目录背景介绍ROC曲线介绍深入ROC曲线的主要用途及其优点补充PR曲线介绍深入使用场景ROC曲线和PR曲线关系具体实现ROC曲线的实现PR曲线的实现实验总结ROC曲线（receiver operating characteristic）是一种对于灵敏度进行描述的功能图像，又称为感受性曲线（sensitivity curve。ROC曲线可以通过描述真阳性率（TPR）和假阳性率（FPR）来实现。由于是通过比较两个操作特征（TPR和FPR）作为标准，ROC曲线也叫做相关操作特征曲线。
二分类模型评价指标-ROC&PRC
此心安处是吾乡
05-07 4321
先Mark~一定补 2017-05-07符号TP、FN、FP、TN解释见下图： - 精确率(Precision）：预测为“真”的样本中，确实是真的的占比 - 召回率（Recall）：所有确实为真的样本中，被判为的“真”的占比 - TPR（True Positive Rate）：真阳性、同Recall - FPR（False Positive Rate）：假阳性，所有确实为假的样本
ROC曲线 vs Precision-Recall曲线
ytusdc的博客
07-30 2852
参考1：https://www.cnblogs.com/JesusAlone/p/9762352.html 参考2：https://www.pianshen.com/article/8810789641/ ROC曲线和AUC的定义可以参看“ROC曲线于AUC”，Precision-Recall曲线顾名思义即Precision为纵轴，Recall为横轴的曲线，作图方法与AUC曲线一致，只是横纵轴坐标意义不同。 ROC曲线 vs PR曲线——ROC曲线的优势 　　相比P-R曲线，ROC曲线有个很好的特性
样本不平衡时ROC稳定不变而PRC非常敏感
euler1983的专栏
03-16 1506
ROC曲线 1. ROC曲线的X轴是误诊率，Y轴代表了召回率。 2.曲线上每一个点，都对应一个阈值，按照这个阈值，可以将预测概率cut成0或者1。以点A为例，以60%的误诊率为代价，可以达到90%的确诊率，可以假设该阈值为0.2，预测概率大于0.2的都挑出来，认为是阳性。 3. 如果阴性、阳性样本比例为1：1，那么这个预测情况为： 真实阳性 ...
ROC AUC PRC 详细
qq_20449731的博客
02-05 2139
ROC（receiver operating characteristic curve）受试者工作特征曲线，下图 此图引入了假正率，和真正率。（感觉在读红楼梦） TPR ：True Positive Rate（真正率 , TPR）或灵敏度（sensitivity）（就是前文的召回率R） 　　 TPR = TP /（TP + FN） 正样本预测结果数 / 正样本实际数 TNR ：Tr
ROC,PR,AUC的基本概念
chen_yiwei的博客
03-03 1773
常见评测指标 TP:将正类预测为正类数 FP:将负类预测为正类数 FN:将正类预测为负类数 TN:将负类预测为负类数 准确率 准确率（正确率）=所有预测正确的样本/总的样本 （TP+TN）/总 精确率 表示的是预测为正的样本中（一种是把正类预测为正类即TP，一种是把负类预测为正类即FP）有多少是真正的正样本 精确率= 将正类预测为正类 / 所有预测为正类 TP/（TP+FP） 召回率 召回率（...
ROC曲线、PRC曲线
klzhang的专栏
04-13 1万+
转载自　http://www.zhizhihu.com/html/y2012/4076.html（大牛） 分类、检索中的评价指标很多，Precision、Recall、Accuracy、F1、ROC、PR Curve...... 一、历史 wiki上说，ROC曲线最先在二战中分析雷达信号，用来检测敌军。诱因是珍珠港事件；由于比较有用，慢慢用到了心理学、医学中的一些检测等应用，慢慢
PR曲线、ROC曲线、AUC、AP简单梳理
weixin_42926836的博客
08-28 7019
是不是对一堆PR曲线、ROC曲线、AUC、AP傻傻分不清楚？是不是学完就忘忘了又学？希望这篇文章能帮你梳理清楚一坨乱麻。 1、混淆矩阵 每次在重温理解AUC、PR曲线、ROC曲线的时候，第一步就是在纸上画出来这个混淆矩阵，方便后序进阶。 预测/真实 1（Postive） 0（Negative） 1 (Postive) TP（True Postive:真阳） FP (False Postive:假阳) 0 (Negative FN (False Negative:假阴) TN (True
机器学习（一）PR曲线和ROC曲线
weixin_52833736的博客
10-17 1810
P-R曲线和ROC曲线
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值