1 模型评估

模型评估是对训练好的模型性能进行评估,机器学习的任务有回归,分类和聚类,(见博客:机器学习基础概念),针对不同的任务有不同的评价指标,下文详解.

2 分类模型评价指标

2.1 一级指标

2.2 二级指标

2.3 三级指标

$F_{1}Score$是精度和召回率的调和平均数,通过该方法,取值较小会分配更高的权重,因此,只有当召回率和精度都很高时,分类器才会获得较高的$F_1$分数.
【F1 Score】
计算:
$$F_{1}Score=\frac{2}{\frac{1}{P}+\frac{1}{R}}=\frac{2PR}{P+R}$$
其中,P为Precision,R为Recall,该参数综合了Precision和Recall的结果,取值范围[0, 1],0表示模型预测效果最差,1表示模型预测效果最好.

2.4 混淆矩阵

混淆矩阵是监督学习中的可视化工具,用于比较分类结果即预测结果和实际数据的匹配度,行表示预测类别,列表示实际类别.

2.4.1 矩阵

2.4.2 例证

以人脸识别为例,人脸识别图片中的人脸是否在人脸库中,约定如下:若在则记为合法,不在则记为非法,人脸库共有250张人脸.

【(1) 混淆矩阵】

【(2) 二级指标】

2.5 ROC和AUC

2.5.1 ROC

接受者操作特征曲线(Reciver Operating Characteristic Curve,ROC)曲线用于描述二分类系统性能(分类器阈值是变化的),反应敏感性和特异性连续变化的综合指标,ROC曲线上的点反应对同一信号刺激的感受性.ROC三种形式:

2.5.2 AUC

曲线面积(Area Under Curve,AUC)模型评价中定义为ROC曲线下的面积,取值[0, 1],由于ROC曲线一般在$y=x$上方,因此AUC取值[0.5, 1],值越大,表明分类器效果越好.AUC三种取值:

2.6 AP与mAP

2.6.1 AP

精度平均值(Average Precision, AP)表征模型对某一类别物品评估的平均精度,即2.2节中二级指标:精度的平均值.
$$AP=\frac{\sum Precisio{n}_c}{Numbe{r}_c}$$
其中,Precision为模型精度,见2.2节,c为某一物品类别,Number为某类物品验证集数量.
如有验证集自行车有200张图片,计算每张图片的精度,然后求200张图片精度的平均值,即为精度平均值.
$$AP=\frac{\sum Precisio{n}_{bike}}{200_{bike}}$$

2.6.2 mAP

平均精度的均值(Mean Average Precision, mAP)即所有类别的平均精度.如10个类别,计算10个类别的平均精度的平均值.
$$mAP=\frac{{\sum }_i^{n}A{P}_i}{n}$$
其中,AP为某一类别物品的平均识别精度,i为某一物品,n为物品种类数量.
如10个类别,计算10个类别的平均精度的平均值.
$$mAP=\frac{{\sum }_i^{10}A{P}_i}{10}$$

3 回归模型评价指标

3.1 方差

方差(Variance, Var），反映数据集中数据离散程度。
$$Var=\frac{1}{n}\sum _{i=1}^n(y_{real}-\mu {)}^2$$
其中,$n$为数据集数据数量,$y_{real}$训练数据集即真实的数据集, $\mu =\frac{1}{n}{\sum }_{i=1}^n{y}_i$为数据集均值.

3.2 标准差

标准差(Standard Deviation, SD)方差的平方根,反映数据集中数据离散程度.
$$SD=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_{real}-\mu {)}^2}$$
其中,$n$为数据集数据数量,$y_{real}$训练数据集即真实的数据集, $\mu =\frac{1}{n}{\sum }_{i=1}^n{y}_i$为数据集均值.

3.3 平均绝对误差

平均绝对误差(Mean Absolute Error, MAE),反映预测值和真实值的误差,更接近于实际情况.
$$MAE=\frac{1}{n}\sum _{i=1}^n|(y_{real}-y_{predict})|$$
其中,$n$为数据集数据数量,$y_{real}$训练数据集即真实的数据集,$y_{predict}$模型预测数据集.

3.4 平均平方误差

平均平方误差(Mean Squared Error, MSE)即均方误差,评价数据的变化程度,MSE越小,说明预测模型描述实验数据的准确率越高, 表示:
$$MSE=\frac{1}{n}\sum _{i=1}^n(y_{real}-y_{predict}{)}^2$$
其中,$n$为数据集数据数量,$y_{real}$训练数据集即真实的数据集,$y_{predict}$模型预测数据集,神经网络中的梯度下降方法中优化的数据就是均方误差.

3.5 均方根误差

均方根误差(Root Mean Squared Error)是均方根误差的算数平方根, 应用广泛,但是,它使用平均误差,对异常点(outliers)较敏感,如果回归器对某个点的回归值不理性,误差就会很大,从而对RMSE的值影响较大,平均值是非鲁棒性的,在训练神经网络模型时,为提高神经网络的鲁棒性(Robust),引入滑动平均模型,控制模型跟新速度,提高模型健壮性.
$$RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^n(y_{real}-y_{predict}{)}^2}$$
其中,$n$为数据集数据数量,$y_{real}$训练数据集即真实的数据集,$y_{predict}$模型预测数据集.

4 总结

(1) 模型评估分为分类模型和回归模型评估,评估指标分别针对模型训练结束和训练过程中;
(2) 分类模型评估是模型训练结束后的评估,主要指标是$F_1$分数和ROC曲线和AUC曲线;
(3) 回归模型评估是模型训练过程的评估,这个评估是在训练时使用的手段,如训练神经网络过程中,梯度下降使用的均方误差进行优化,使用滑动平均模型提高模型鲁棒性;
(4) 机器学习训练分类模型的过程是先回归,回归评估(优化),在分类,分类优化,最后评估分类模型;

[参考文献]
[1]https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839
[2]http://www.cnblogs.com/guoyunzhe/p/6063495.html
[3]https://blog.csdn.net/tanzuozhev/article/details/79109311
[4]http://m.elecfans.com/article/712572.html
[5]https://www.cnblogs.com/zongfa/p/9431807.html
[6]https://blog.csdn.net/qq_31821675/article/details/82025527
[7]https://www.cnblogs.com/zongfa/p/9783972.html