1. 图像分类
在图像分类过程的研究中,一般运用多类别混杂矩阵及其衍生的统计量评价各个算法的功能。得到混杂矩阵后,能够对分类器全体功能和单一分类器功能评价,然后全面地评价分类模型的功能。
关于多分类问题的全体分类精度,一般运用全体分类精度(Overall accuracy)进行评价。总体分类精度只考虑了对角线方向上被正确分类的像元数,而Kappa系数则同时考虑了对角线以外的各种漏分和错分像元。能够利用Kappa系数评价分类模型的全体精度,当Kappa系数的值大于0.80时,意味着分类数据和查验数据的共同性较高,即分类精度较高。
关于全体分类精度的评价并不能彻底反应单个分类器的功能。一般能够根据混杂矩阵得到每个分类器的准确率(accuracy) 、准确率(precision)、召回率(recall),绘制ROC曲线、PR曲线,然后评价表分类器精度的凹凸。
均匀正确率(Average Precision, AP)开始用于信息检索IR的评价方针,它是对不同召回率点上的正确率进行均匀。直观地来看,AP就是PR曲线下的面积,这里average的意义是对recall取均匀。而均匀正确率均值mean average precision,其间mean的意义是对一切类别取均匀(每一个类当做一次二分类使命)。现在的图像分类论文根本都是用mAP作为规范。
关于大规模的数据集,比方ImageNet[Olga Russakovsky*]有1000类共一千万张图像,对大量样本的分类计算量非常巨大。该数据集的分类使命评价选用了总体错误率,当分类错误时累加1终究求均值,该方针是总体正确率(Overall Accuracy)的补集。在该数据集上选用top-1 error和top-5 error对各个模型评价、排序的成果根本共同,终究单独运用top-5 error作为图像分类的评价方针。
2. 方针检测
方针检测需求同时实现方针定位和方针辨认两项使命。其间,通过比较预测边框和ground truth边框的堆叠程度和阈值的大小判定方针定位的正确性;通过置信度分数和阈值的比较确定方针辨认的正确性。以上两步归纳判定方针检测是否正确,终究将方针检测转换为“检测正确、检测错误”的分类问题,然后能够结构混杂矩阵,运用方针分类的方针评价模型精度。
**要点内容**PASCAL Visual Object Classes Challenge2007 (VOC2007) [Everingham]数据集运用P-R曲线进行定性分析,运用average precision(AP)定量分析模型精度。重复检测同一方针只算一次正确,其余判为错误。
要点内容关于大规模数据集ImageNet[Olga Russakovsky*],为每一个类别的检测成果计算准确率(Precision)、召回率(Recall)。关于每个方针类别的终究评测方针是均匀精度(AP),即P-R曲线的积分值。单方针类别检测AP最高者获胜,检测方针类别获胜数目最多的团队赢得方针检测的应战。
3. 图像分割
像素级图像分割的评价问题也能够转换为分类模型的评价。ISPRS[ISPRS]提出了一种经典的根据累加混杂矩阵的分类精度评价方法。首先将原始图像划分为treue ortho photo (TOP) tiles,然后统计tile中每一个像素点所属的类别,然后构建根据像素的混杂矩阵,终究将每个tile的混杂矩阵累加起来得到累加混杂矩阵(accumulated confusion matrix)。得到累加混杂矩阵后,就能够计算准确率(Precision)、召回率(Recall)、F1 score等精度方针,然后评价分割功能。
PASCAL Visual Object Classes Challenge2007 (VOC2007) [Everingham]数据集选用的评价方针是均匀分割准确率,即一切类的分割准确率的算术均匀值。每一类的分割准确率是正确分割的像素点数目除以该类ground truth的像素点数目(实际上是准确率Precision)。