## 分类模型评估指标 ### 混淆矩阵系指标 #### 混淆矩阵 - TP: True Positives - TN: True Negatives - FP: FALSE Positives - FN: FALSE Negatives #### 准确率: Accuracy `$ Accuracy=\frac{TP+FN}{TP+TN+FP+FN} $` #### 精确率和召回率 精确率：Precision `$ Precision = \frac{TP}{TP+FP} $` 反馈率：Recall `$ Recall = \frac{TP}{TP+TN} $` #### 多分类的指标 ### 评估曲线 #### ROC曲线 Receiver Operating Characteristic X轴: 1-特异性，(1 - Specificity) Y轴: 灵敏度，Sensitivity #### AUC指标 ### Kappa统计 `$ kappa = \frac{\rho_0-\rho_e}{1-\rho_e} $` Kappa统计是比较两个或多个观测者对同一事物，或观测者对同一事物的两次或多次观测结果是否一致，以由机遇造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标 Kappa统计量和加权Kappa统计量不仅可以用于无序和有序分类变量资料的一致性、重现性检验，而且能给出一个反映一致性大小的量值。 Kappa取值在[-1, 1]，不同取值有不同意义： - Kappa = 1: 说明两次判断完全一致 - Kappa = -1: 完全不一致 - Kappa = 0: 说明两次判断结果是机遇造成 - Kappa < 0: 说明一致程度比机遇造成的还差，两次结果很不一致，在实际应用中无意义 - Kappa > 0: 此时说明有意义，数值越大，说明一致性越好 - Kappa >= 0.75: 说明已经取得相当满意的一致程度 - Kappa < 0.4: 说明一致程度不够 来自百度： 但通常kappa是落在 0~1 间，可分为五组来表示不同级别的一致性： - 0.0~0.20极低的一致性(slight) - 0.21~0.40一般的一致性(fair) - 0.41~0.60 中等的一致性(moderate) - 0.61~0.80 高度的一致性(substantial) - 0.81~1几乎完全一致(almost perfect) ## 回归模型评估指标 ### MAE: 平均绝对误差 `$ MAE:mean\_absolute\_error=\frac{1}{n}\sum^n_{i=1}|y_i-y\_pred_i| $` ### 中位绝对误差 `$ median\_absolute\_error=median(|y_i-y\_pred_i|) $` ### MSE: 均方差误差 `$ MSE:mean\_squared\_error=\frac{1}{n}\sum^n_{i=1}(y_i-y\_pred_i)^2 $` ### RMSE: 均方根差误差 代表预测值的离散程度，也叫标准误差 `$ RMSE:root\_mean\_squared\_error=\sqrt{\frac{1}{n}\sum^n_{i=1}(y_i-y\_pred_i)^2} $` ### MAPE: 平均绝对百分误差 `$ MAPE= \frac{1}{n}\sum^n_{i=1}|\frac{y_i-y\_pred_i}{y_i}| $` 一般认为MAPE小于10时，预测精度较高 ### R方 `$ SSE=\sum^n_{i=1}(y_i-y\_pred_i)^2 $` `$ SST=\sum^n_{i=1}(y_i-y\_mean)^2 $` `$ r^2=1-\frac{SSE}{SST} $`