作為一名數(shù)據(jù)科學(xué)家，評估機(jī)器學(xué)習(xí)模型性能是您工作的一個關(guān)鍵方面。為了有效地做到這一點，您可以使用各種統(tǒng)計指標(biāo)，每種指標(biāo)都有自己獨特的優(yōu)勢和劣勢。通過對這些指標(biāo)的深入理解，您不僅可以更好地選擇最佳指標(biāo)來優(yōu)化模型，還可以向業(yè)務(wù)利益相關(guān)者解釋您的選擇及其影響。

在這篇文章中，我重點討論了用于評估回歸問題的指標(biāo)，這些回歸問題涉及到預(yù)測一個數(shù)值，無論是房價還是下個月公司銷售額的預(yù)測。由于回歸分析可以被認(rèn)為是數(shù)據(jù)科學(xué)的基礎(chǔ)，因此理解其中的細(xì)微差別至關(guān)重要

殘留物快速入門

殘差是大多數(shù)度量的構(gòu)建塊。簡單地說，殘差是實際值和預(yù)測值之間的差值

residual = actual - prediction

紅線是機(jī)器學(xué)習(xí)模型的擬合，在這種情況下線性回歸橙色線表示觀測值與該觀測的預(yù)測值之間的差異。正如您所看到的，殘差是為樣本中的每個觀測值計算的，無論是訓(xùn)練集還是測試集。

回歸評估指標(biāo)

本節(jié)討論了一些最流行的回歸評估指標(biāo)，這些指標(biāo)可以幫助您評估模型的有效性。

偏見

最簡單的誤差度量是殘差之和，有時被稱為偏差。由于殘差既可以是正的（預(yù)測值小于實際值）也可以是負(fù)的（預(yù)測大于實際值），所以偏差通常會告訴你的預(yù)測值是高于還是低于實際值

然而，由于相反符號的殘差相互抵消，您可以獲得一個生成偏差非常低的預(yù)測的模型，而該模型根本不準(zhǔn)確。

或者，您可以計算平均殘差，或者平均偏誤（ MBE ）。

R 平方

下一個指標(biāo)可能是你在學(xué)習(xí)回歸模型時遇到的第一個指標(biāo)，尤其是在統(tǒng)計學(xué)或計量經(jīng)濟(jì)學(xué)課程中。R 平方 （ R 2），也稱為決定系數(shù)，表示由模型解釋的方差比例。更準(zhǔn)確地說， R 2對應(yīng)于因變量（目標(biāo)）的方差可以由自變量（特征）解釋的程度

以下公式用于計算 R 2：

RSS 是殘差平方和，即殘差平方和。此值捕獲模型的預(yù)測誤差。

TSS 是平方的總和。為了計算這個值，假設(shè)一個簡單的模型，其中每個觀測的預(yù)測是所有觀測到的實際值的平均值。 TSS 與因變量的方差成比例，如下所示是的實際方差y哪里N是觀測次數(shù).把 TSS 想象成一個簡單的均值模型無法解釋的方差

實際上，您正在比較模型（由圖 2 中的紅線表示）與簡單平均模型（由綠線表示）的擬合。

知道 R 2的組成部分代表什么，你可以看到表示您的模型無法解釋的目標(biāo)中總方差的分?jǐn)?shù)

在使用 R 2時，需要記住以下幾點。

R 2是一個相對度量；也就是說，它可以用來與在同一數(shù)據(jù)集上訓(xùn)練的其他模型進(jìn)行比較。值越高表示擬合效果越好。

R 2也可以用來粗略估計模型的總體性能。然而，在使用 R 2進(jìn)行此類評估時要小心：

首先，不同的領(lǐng)域（社會科學(xué)、生物學(xué)、金融等）認(rèn)為 R 2的不同值是好是壞。

其次， R 2沒有給出任何偏差的度量，所以你可以有一個 R 2值很高的過擬合（高偏差）模型。因此，您還應(yīng)該查看其他指標(biāo)，以更好地了解模型的性能。

R 2的一個潛在缺點是，它假設(shè)每個特征都有助于解釋目標(biāo)的變化，而事實并非總是如此。因此，如果繼續(xù)將特征添加到使用普通最小二乘法（ OLS ）估計的線性模型中， R 2的值可能會增加或保持不變，但永遠(yuǎn)不會減少。

為什么？通過設(shè)計， OLS 估計使 RSS 最小化。假設(shè)一個具有附加特征的模型不能提高第一個模型的 R 2值。在這種情況下， OLS 估計技術(shù)將該特征的系數(shù)設(shè)置為零（或一些統(tǒng)計上不重要的值）。反過來，這會有效地將您帶回初始模型。在最壞的情況下，你可以得到起點的分?jǐn)?shù)。

上一點提到的問題的解決方案是調(diào)整后的 R2，它額外懲罰添加對預(yù)測目標(biāo)無用的特征。如果由于添加新功能而導(dǎo)致的 R2 增加不夠顯著，則調(diào)整后的 R2 的值會降低。

如果使用 OLS 擬合線性模型，則 R 2的范圍為 0 到 1 。這是因為當(dāng)使用 OLS 估計（使 RSS 最小化）時，一般屬性是RSS ≤ TSS 。在最壞的情況下， OLS 估計將導(dǎo)致獲得平均模型。在這種情況下， RSS 將等于 TSS ，并導(dǎo)致 R 2的最小值為 0 。另一方面，最好的情況是 RSS = 0 和 R 2= 1 。

在非線性模型的情況下， R 2可能是負(fù)的。由于此類模型的模型擬合過程不是基于迭代最小化 RSS ，因此擬合模型的 RSS 可能大于 TSS 。換句話說，該模型的預(yù)測比簡單均值模型更適合數(shù)據(jù)。有關(guān)更多信息，請參閱When is R squared negative?

額外的好處：使用 R 2，您可以評估與簡單均值模型相比，您的模型更適合數(shù)據(jù)。從提高基線模型性能的角度來考慮一個正的 R 2值——類似于技能得分。例如， 40% 的 R 2表示您的模型與基線（即均值模型）相比，均方誤差減少了 40% 。

均方誤差

均方誤差（ MSE ）是最流行的評估指標(biāo)之一。如以下公式所示， MSE 與殘差平方和密切相關(guān)。不同的是，您現(xiàn)在感興趣的是平均誤差，而不是總誤差。

使用 MSE 時需要考慮以下幾點：

MSE 使用平均值（而不是總和）來保持度量與數(shù)據(jù)集大小無關(guān)。

隨著殘差的平方， MSE 對大誤差的懲罰要大得多。其中一些可能是異常值，因此 MSE 對它們的存在并不穩(wěn)健。

由于度量是用平方、和和常數(shù)來表示的 () ，它是可微的。這對優(yōu)化算法很有用。

在對 MSE 進(jìn)行優(yōu)化（將其導(dǎo)數(shù)設(shè)置為 0 ）時，該模型的目標(biāo)是預(yù)測的總和等于實際的總和。也就是說，它導(dǎo)致了平均正確的預(yù)測。因此，他們是不偏不倚的。

MSE 不是以原始單位測量的，這可能會使其更難解釋

MSE 是尺度相關(guān)度量的一個例子，也就是說，誤差以基礎(chǔ)數(shù)據(jù)的單位表示（即使它實際上需要一個平方根來以相同的尺度表示）。因此，此類度量不能用于比較不同數(shù)據(jù)集之間的性能。

均方根誤差

均方根誤差（ RMSE ）與 MSE 密切相關(guān)，因為它只是后者的平方根。取平方將度量帶回目標(biāo)變量的刻度，這樣更容易解釋和理解。然而，請注意：一個經(jīng)常被忽視的事實是，盡管 RMSE 與目標(biāo)的規(guī)模相同，但 RMSE 為 10 并不意味著你平均減少了 10 個單位。

除了規(guī)模之外， RMSE 具有與 MSE 相同的屬性。事實上，在訓(xùn)練模型的同時對 RMSE 進(jìn)行優(yōu)化將產(chǎn)生與在對 MSE 進(jìn)行優(yōu)化時獲得的模型相同的模型。

平均絕對誤差

要計算的公式平均絕對誤差（ MAE ）類似于 MSE 公式。將正方形替換為絕對值

MAE 的特點包括：

由于缺乏平方，度量以與目標(biāo)變量相同的比例表示，因此更容易解釋

所有誤差都被同等對待，因此度量對異常值是魯棒的。

絕對值忽略了誤差的方向，因此欠填=過填。

與 MSE 和 RMSE 類似， MAE 也依賴于規(guī)模，因此無法在不同的數(shù)據(jù)集之間進(jìn)行比較。

當(dāng)您為 MAE 進(jìn)行優(yōu)化時，預(yù)測值必須比實際值高出許多倍，因為它應(yīng)該更低。這意味著你正在有效地尋找中位數(shù)；也就是說，一個將數(shù)據(jù)集拆分為兩個相等部分的值

由于公式包含絕對值，因此 MAE 不容易微分。

平均絕對百分比誤差

平均絕對百分比誤差（ MAPE ）是商業(yè)方面最受歡迎的指標(biāo)之一。這是因為它是以百分比表示的，這使得它更容易理解和解釋。

為了使度量更容易閱讀，將其乘以 100% ，以百分比表示數(shù)字。

需要考慮的要點：

MAPE 以百分比表示，這使它成為一個與尺度無關(guān)的度量。它可以用來比較不同尺度上的預(yù)測

MAPE 可以超過 100% 。

當(dāng)實際值為零時（除以零）， MAPE 是未定義的。此外，當(dāng)實際值非常接近零時，它可以取極值。

MAPE 是不對稱的，對負(fù)誤差（當(dāng)預(yù)測高于實際值時）的懲罰比對正誤差的懲罰更重。這是因為對于過低的預(yù)測，百分比誤差不能超過 100% 。同時，對于過高的預(yù)測沒有上限。因此，對 MAPE 的優(yōu)化將有利于預(yù)測不足而不是預(yù)測過度的模型。

Hyndman （ 2021 ）闡述了 MAPE 的常見假設(shè)；也就是說，變量的測量單位有一個有意義的零值。因此，預(yù)測需求和使用 MAPE 不會引發(fā)任何危險信號。然而，當(dāng)預(yù)測以攝氏度表示的溫度時，你會遇到這個問題（不僅僅是這個）。這是因為溫度有一個任意的零點，在它們的上下文中談?wù)摪俜直仁菦]有意義的。

MAPE 不是處處可微的，這可能會導(dǎo)致在使用它作為優(yōu)化準(zhǔn)則時出現(xiàn)問題。

由于 MAPE 是一個相對度量，相同的誤差可能會導(dǎo)致不同的損失，具體取決于實際值。例如，對于 60 的預(yù)測值和 100 的實際值， MAPE 將是 40% 。對于 60 的預(yù)測值和 20 的實際值，標(biāo)稱誤差仍然是 40 ，但在相對尺度上，它是 300% 。

不幸的是， MAPE 并不能提供一種很好的方法來區(qū)分重要的和不相關(guān)的。假設(shè)你正在進(jìn)行需求預(yù)測，在幾個月的時間里，你會得到兩種不同產(chǎn)品 10% 的 MAPE 。然后，事實證明，第一款產(chǎn)品平均每月銷售 100 萬臺，而另一款只有 100 臺。兩者具有相同的 10%MAPE 。當(dāng)對所有產(chǎn)品進(jìn)行匯總時，這兩種產(chǎn)品的貢獻(xiàn)是相等的，這可能遠(yuǎn)遠(yuǎn)不夠理想。在這種情況下，考慮加權(quán) MAPE （ wMAPE ）是有意義的。

對稱平均絕對百分比誤差

在討論 MAPE 時，我提到它的一個潛在缺點是它的不對稱性（不限制高于實際值的預(yù)測）。對稱平均絕對百分比誤差（ sMAPE ）是一個試圖解決該問題的相關(guān)指標(biāo)。

使用 sMAPE 時需要考慮的要點：

它表示為有界百分比，也就是說，它有下限（ 0% ）和上限（ 200% ）。

當(dāng)真實值和預(yù)測值都非常接近零時，度量仍然不穩(wěn)定。當(dāng)它發(fā)生時，你將處理一個非常接近零的數(shù)字的除法。

0% 到 200% 的范圍解釋起來并不直觀。分母中的除以二經(jīng)常被省略。

每當(dāng)實際值或預(yù)測值為 0 時， sMAPE 將自動達(dá)到上限值。

sMAPE 包括與 MAPE 相同的關(guān)于有意義零值的假設(shè)。

在固定無邊界的不對稱性的同時， sMAPE 引入了另一種由公式的分母引起的微妙不對稱性。想象兩個案例。在第一個例子中， A = 100 ， F = 120 。 sMAPE 為 18 . 2% ?，F(xiàn)在，在類似的情況下，當(dāng) a = 100 和 F = 80 時， sMAPE 是 22 . 2% 。因此， sMAPE 傾向于比過度加注更嚴(yán)厲地懲罰加注不足。

sMAPE 可能是最具爭議的誤差度量之一，尤其是在時間序列預(yù)測中。這是因為文獻(xiàn)中至少有幾個版本的這種度量，每個版本都有輕微的差異，影響其性質(zhì)。最后，度量的名稱表明不存在不對稱性，但事實并非如此。

需要考慮的其他回歸評估指標(biāo)

我沒有描述所有可能的回歸評估指標(biāo)，因為有幾十個（如果不是幾百個的話）。以下是評估模型時需要考慮的其他一些指標(biāo)：

均方對數(shù)誤差（ MSLE ）是 MSE 的表親，不同之處在于，在計算平方誤差之前，您需要對實際值和預(yù)測值進(jìn)行對數(shù)。在減法中取兩個元素的對數(shù)，結(jié)果是測量實際值和預(yù)測值之間的比率或相對差異，而忽略了數(shù)據(jù)的規(guī)模。這就是為什么 MSLE 減少了異常值對最終得分的影響。 MSLE 還加大了對欠充注的懲罰力度

均方根對數(shù)誤差（ RMSLE ）是一個以 MSLE 的平方根為單位的度量。它具有與 MSLE 相同的屬性

Akaike 信息準(zhǔn)則（ AIC ）和貝葉斯信息準(zhǔn)則（ BIC ）是信息標(biāo)準(zhǔn)的例子。它們用于在良好的擬合和模型的復(fù)雜性之間找到平衡。如果你從一個簡單的模型開始，添加一些參數(shù)，你的模型可能會更好地適應(yīng)訓(xùn)練數(shù)據(jù)。然而，它的復(fù)雜性也會增加，并有過度擬合的風(fēng)險。另一方面，如果從許多參數(shù)開始，并系統(tǒng)地刪除其中一些參數(shù)，則模型會變得更簡單。同時，您可以降低過擬合的風(fēng)險，但可能會損失性能（擬合優(yōu)度）。 AIC 和 BIC 之間的區(qū)別在于復(fù)雜性懲罰的權(quán)重。請記住，將不同數(shù)據(jù)集甚至同一數(shù)據(jù)集的子樣本上的信息標(biāo)準(zhǔn)與不同數(shù)量的觀測值進(jìn)行比較是無效的。

何時使用每個評估指標(biāo)

與大多數(shù)數(shù)據(jù)科學(xué)問題一樣，沒有單一的最佳指標(biāo)來評估回歸模型的性能。為用例選擇的度量將取決于用于訓(xùn)練模型的數(shù)據(jù)、您試圖幫助的商業(yè)案例等等。因此，您可能經(jīng)常使用單個度量來訓(xùn)練模型（為其優(yōu)化的度量），但在向利益相關(guān)者報告時，數(shù)據(jù)科學(xué)家通常會提供一系列度量。

在選擇指標(biāo)時，請考慮以下幾個問題：

您預(yù)計數(shù)據(jù)集中會出現(xiàn)頻繁的異常值嗎？如果是這樣的話，你想如何解釋它們？

是否存在過度加注或加注不足的商業(yè)偏好？

您想要一個與規(guī)模相關(guān)的度量還是與規(guī)模無關(guān)的度量？

我認(rèn)為探索一些玩具箱的指標(biāo)以充分理解它們的細(xì)微差別是有用的。雖然大多數(shù)指標(biāo)在metrics的模塊scikit-learn對于這個特定的任務(wù)，好的舊電子表格可能是一個更合適的工具。

以下示例包含五個觀察結(jié)果。表 1 顯示了用于計算大多數(shù)考慮的度量的實際值、預(yù)測和一些度量。

表 1 。根據(jù)五個觀察結(jié)果計算性能指標(biāo)的示例

表 2 。使用表 1 中的值計算的性能指標(biāo)

前三行包含實際值和預(yù)測值之間的絕對差為 20 的場景。前兩行顯示了 20 的過量和不足，實際情況相同。第三行顯示了 20 的超額預(yù)測，但實際值較小。在這些行中，很容易觀察到 MAPE 和 sMAPE 的特殊性。

表 1 中的第五行包含比實際值小 8x 的預(yù)測。為了實驗起見，將預(yù)測值替換為比實際值高 8 倍的預(yù)測值。表 3 包含修訂后的意見。

表 3 。將單個觀測修改為更極端后的性能指標(biāo)

表 4 。使用表 3 中的修改值計算的性能指標(biāo)

基本上，所有指標(biāo)的大小都呈爆炸式增長，這在直覺上是一致的。 sMAPE 的情況并非如此，在兩種情況下都保持不變

我強(qiáng)烈鼓勵您參考這些玩具示例，以便更充分地了解不同類型的場景如何影響評估指標(biāo)。這個實驗應(yīng)該讓你更容易決定優(yōu)化哪個指標(biāo)以及這種選擇的后果。這些練習(xí)也可以幫助你向利益相關(guān)者解釋你的選擇。

總結(jié)

在這篇文章中，我介紹了一些最流行的回歸評估指標(biāo)。正如所解釋的，每一個都有自己的優(yōu)點和缺點。這取決于數(shù)據(jù)科學(xué)家來理解這些，并選擇哪一個（或多個）適合特定的用例。所提到的度量也可以應(yīng)用于純回歸任務(wù)，例如基于與經(jīng)驗相關(guān)的特征選擇來預(yù)測工資，也可以應(yīng)用到時間序列預(yù)測領(lǐng)域。