在前面的部分中，我們完成了機(jī)器學(xué)習(xí)的一些實(shí)踐應(yīng)用，將模型擬合到各種數(shù)據(jù)集。然而，我們從未停下來思考數(shù)據(jù)最初來自何處，或者我們最終計(jì)劃如何處理模型的輸出。很多時(shí)候，擁有數(shù)據(jù)的機(jī)器學(xué)習(xí)開發(fā)人員急于開發(fā)模型而沒有停下來考慮這些基本問題。

許多失敗的機(jī)器學(xué)習(xí)部署都可以追溯到這種模式。有時(shí)，根據(jù)測(cè)試集的準(zhǔn)確性衡量，模型似乎表現(xiàn)出色，但當(dāng)數(shù)據(jù)分布突然發(fā)生變化時(shí)，部署就會(huì)出現(xiàn)災(zāi)難性的失敗。更陰險(xiǎn)的是，有時(shí)模型的部署本身就是擾亂數(shù)據(jù)分布的催化劑。舉例來說，我們訓(xùn)練了一個(gè)模型來預(yù)測(cè)誰(shuí)將償還貸款與違約貸款，發(fā)現(xiàn)申請(qǐng)人選擇的鞋類與違約風(fēng)險(xiǎn)相關(guān)（牛津鞋表示還款，運(yùn)動(dòng)鞋表示違約）。此后，我們可能傾向于向所有穿著牛津鞋的申請(qǐng)人提供貸款，而拒絕所有穿著運(yùn)動(dòng)鞋的申請(qǐng)人。

在這種情況下，我們從模式識(shí)別到?jīng)Q策制定的考慮不周的飛躍以及我們未能批判性地考慮環(huán)境可能會(huì)產(chǎn)生災(zāi)難性的后果。首先，一旦我們開始根據(jù)鞋類做出決定，客戶就會(huì)了解并改變他們的行為。不久之后，所有的申請(qǐng)者都會(huì)穿著牛津鞋，而信用度卻沒有任何同步提高?；ㄒ稽c(diǎn)時(shí)間來消化一下，因?yàn)轭愃频膯栴}在機(jī)器學(xué)習(xí)的許多應(yīng)用中比比皆是：通過將我們基于模型的決策引入環(huán)境，我們可能會(huì)破壞模型。

雖然我們不可能在一個(gè)部分中對(duì)這些主題進(jìn)行完整的處理，但我們的目的是在此揭露一些常見的問題，并激發(fā)早期發(fā)現(xiàn)這些情況、減輕損害和負(fù)責(zé)任地使用機(jī)器學(xué)習(xí)所需的批判性思維。有些解決方案很簡(jiǎn)單（要求“正確的”數(shù)據(jù)），有些在技術(shù)上很困難（實(shí)施強(qiáng)化學(xué)習(xí)系統(tǒng)），而另一些則需要我們完全走出統(tǒng)計(jì)預(yù)測(cè)的領(lǐng)域，解決有關(guān)倫理的哲學(xué)難題算法的應(yīng)用。

4.7.1. 分配轉(zhuǎn)移的類型

首先，考慮到數(shù)據(jù)分布可能發(fā)生變化的各種方式以及可以采取哪些措施來挽救模型性能，我們堅(jiān)持使用被動(dòng)預(yù)測(cè)設(shè)置。在一個(gè)經(jīng)典設(shè)置中，我們假設(shè)我們的訓(xùn)練數(shù)據(jù)是從某個(gè)分布中采樣的 pS(x,y)但是我們的測(cè)試數(shù)據(jù)將由來自不同分布的未標(biāo)記示例組成 pT(x,y). 我們已經(jīng)必須面對(duì)一個(gè)發(fā)人深省的現(xiàn)實(shí)。沒有關(guān)于如何做的任何假設(shè)pS和pT相互關(guān)聯(lián)，學(xué)習(xí)一個(gè)魯棒的分類器是不可能的。

考慮一個(gè)二元分類問題，我們希望區(qū)分狗和貓。如果分布可以以任意方式移動(dòng)，那么我們的設(shè)置允許輸入分布保持不變的病態(tài)情況：pS(x)=pT(x)，但標(biāo)簽都被翻轉(zhuǎn)了： pS(y∣x)=1?pT(y∣x). 換句話說，如果上帝可以突然決定未來所有的“貓”現(xiàn)在都是狗，而我們以前所說的“狗”現(xiàn)在是貓——投入的分配沒有任何變化p(x)，那么我們就不可能將這種設(shè)置與分布根本沒有改變的設(shè)置區(qū)分開來。

幸運(yùn)的是，在對(duì)我們的數(shù)據(jù)未來可能發(fā)生變化的方式的一些限制性假設(shè)下，有原則的算法可以檢測(cè)到變化，有時(shí)甚至可以即時(shí)適應(yīng)，從而提高原始分類器的準(zhǔn)確性。

4.7.1.1. 協(xié)變量偏移

在分布偏移的類別中，協(xié)變量偏移可能是研究最廣泛的。在這里，我們假設(shè)雖然輸入的分布可能會(huì)隨時(shí)間變化，但標(biāo)簽函數(shù)，即條件分布P(y∣x)沒有改變。統(tǒng)計(jì)學(xué)家將此稱為協(xié)變量偏移，因?yàn)閱栴}是由于協(xié)變量（特征）分布的偏移而產(chǎn)生的。雖然我們有時(shí)可以在不調(diào)用因果關(guān)系的情況下推理分布偏移，但我們注意到協(xié)變量偏移是在我們認(rèn)為的設(shè)置中調(diào)用的自然假設(shè)x原因y.

考慮區(qū)分貓和狗的挑戰(zhàn)。我們的訓(xùn)練數(shù)據(jù)可能包含圖 4.7.1中的那種圖像 。

在測(cè)試時(shí)，我們被要求對(duì)圖 4.7.2中的圖像進(jìn)行分類 。

訓(xùn)練集包含照片，而測(cè)試集僅包含卡通。如果沒有關(guān)于如何適應(yīng)新領(lǐng)域的連貫計(jì)劃，在??與測(cè)試集具有顯著不同特征的數(shù)據(jù)集上進(jìn)行訓(xùn)練可能會(huì)帶來麻煩。

4.7.1.2. 標(biāo)簽轉(zhuǎn)移

標(biāo)簽移位描述了相反的問題。在這里，我們假設(shè)標(biāo)簽邊緣P(y)可以改變但類條件分布P(x∣y)跨域保持固定。當(dāng)我們相信 y原因x. 例如，我們可能希望根據(jù)癥狀（或其他表現(xiàn)）來預(yù)測(cè)診斷，即使診斷的相對(duì)流行率隨時(shí)間而變化。標(biāo)簽轉(zhuǎn)移在這里是合適的假設(shè)，因?yàn)榧膊?huì)引起癥狀。在一些退化的情況下，標(biāo)簽偏移和協(xié)變量偏移假設(shè)可以同時(shí)成立。例如，當(dāng)標(biāo)簽是確定性的時(shí)，協(xié)變量偏移假設(shè)將得到滿足，即使y原因 x. 有趣的是，在這些情況下，使用源自標(biāo)簽轉(zhuǎn)移假設(shè)的方法通常是有利的。這是因?yàn)檫@些方法往往涉及操縱看起來像標(biāo)簽（通常是低維）的對(duì)象，而不是看起來像輸入的對(duì)象，后者在深度學(xué)習(xí)中往往是高維的。

4.7.1.3. 概念轉(zhuǎn)變

我們可能還會(huì)遇到概念轉(zhuǎn)換的相關(guān)問題，當(dāng)標(biāo)簽的定義可能發(fā)生變化時(shí)就會(huì)出現(xiàn)這種情況。這聽起來很奇怪——貓就是貓，不是嗎？但是，隨著時(shí)間的推移，其他類別的使用情況可能會(huì)發(fā)生變化。精神疾病的診斷標(biāo)準(zhǔn)、流行的標(biāo)準(zhǔn)和工作頭銜，都受到相當(dāng)大的概念轉(zhuǎn)變的影響。事實(shí)證明，如果我們環(huán)游美國(guó)，按地域轉(zhuǎn)移數(shù)據(jù)源，我們會(huì)發(fā)現(xiàn)關(guān)于軟飲料名稱分布的相當(dāng)大的概念轉(zhuǎn)變， 如圖4.7.3所示。

如果我們要構(gòu)建一個(gè)機(jī)器翻譯系統(tǒng)，分發(fā) P(y∣x)根據(jù)我們的位置可能會(huì)有所不同。這個(gè)問題可能很難發(fā)現(xiàn)。我們可能希望利用這樣的知識(shí)，即轉(zhuǎn)移只會(huì)在時(shí)間或地理意義上逐漸發(fā)生。

4.7.2. 分配轉(zhuǎn)移的例子

在深入研究形式主義和算法之前，我們可以討論一些協(xié)變量或概念轉(zhuǎn)移可能不明顯的具體情況。

4.7.2.1. 醫(yī)療診斷

想象一下，您想設(shè)計(jì)一種算法來檢測(cè)癌癥。你從健康人和病人那里收集數(shù)據(jù)，然后訓(xùn)練你的算法。它運(yùn)行良好，為您提供高精度，您得出結(jié)論，您已準(zhǔn)備好在醫(yī)療診斷領(lǐng)域取得成功。沒那么快。

產(chǎn)生訓(xùn)練數(shù)據(jù)的分布與您將在野外遇到的分布可能有很大差異。這發(fā)生在我們中的一些人（作者）多年前合作過的一家不幸的初創(chuàng)公司身上。他們正在開發(fā)一種主要影響老年男性的疾病的血液測(cè)試，并希望使用他們從患者身上收集的血液樣本來研究它。然而，從健康男性身上獲取血液樣本比系統(tǒng)中已經(jīng)存在的病人要困難得多。作為補(bǔ)償，這家初創(chuàng)公司向大學(xué)校園的學(xué)生征集獻(xiàn)血，作為開發(fā)測(cè)試的健康對(duì)照。然后他們問我們是否可以幫助他們建立一個(gè)分類器來檢測(cè)這種疾病。

正如我們向他們解釋的那樣，以近乎完美的準(zhǔn)確度區(qū)分健康人群和患病人群確實(shí)很容易。然而，這是因?yàn)闇y(cè)試對(duì)象在年齡、激素水平、體力活動(dòng)、飲食、飲酒量以及許多與疾病無關(guān)的因素方面存在差異。真實(shí)患者不太可能出現(xiàn)這種情況。由于他們的抽樣程序，我們可能會(huì)遇到極端的協(xié)變量偏移。此外，這種情況不太可能通過傳統(tǒng)方法糾正。簡(jiǎn)而言之，他們浪費(fèi)了一大筆錢。

4.7.2.2. 自動(dòng)駕駛汽車

假設(shè)一家公司想要利用機(jī)器學(xué)習(xí)來開發(fā)自動(dòng)駕駛汽車。這里的一個(gè)關(guān)鍵組件是路邊檢測(cè)器。由于獲得真正的帶注釋數(shù)據(jù)的成本很高，因此他們有一個(gè)（聰明但值得懷疑的）想法，即使用來自游戲渲染引擎的合成數(shù)據(jù)作為額外的訓(xùn)練數(shù)據(jù)。這對(duì)從渲染引擎中提取的“測(cè)試數(shù)據(jù)”非常有效。唉，在一輛真正的汽車?yán)?，這是一場(chǎng)災(zāi)難。事實(shí)證明，路邊的紋理非常簡(jiǎn)單。更重要的是，所有的路邊都被渲染成 相同的紋理，路邊檢測(cè)器很快就了解了這個(gè)“特征”。

當(dāng)美軍第一次嘗試在森林中探測(cè)坦克時(shí)，類似的事情也發(fā)生了。他們航拍了沒有坦克的森林，然后把坦克開進(jìn)森林里，又拍了一組照片。分類器似乎工作得很好。不幸的是，它只是學(xué)會(huì)了如何區(qū)分有陰影的樹和沒有陰影的樹——第一組照片是清晨拍攝的，第二組是中午拍攝的。

4.7.2.3. 非平穩(wěn)分布

當(dāng)分布變化緩慢（也稱為非平穩(wěn)分布）并且模型未充分更新時(shí)，會(huì)出現(xiàn)更微妙的情況。以下是一些典型案例。

我們訓(xùn)練了一個(gè)計(jì)算廣告模型，然后未能經(jīng)常更新它（例如，我們忘記將剛剛推出的一款不起眼的新設(shè)備 iPad 納入其中）。

我們建立了一個(gè)垃圾郵件過濾器。它可以很好地檢測(cè)我們目前看到的所有垃圾郵件。但隨后垃圾郵件發(fā)送者變得聰明起來，制作了看起來與我們以前見過的任何東西都不一樣的新消息。

我們建立了一個(gè)產(chǎn)品推薦系統(tǒng)。它在整個(gè)冬天都有效，但在圣誕節(jié)后很長(zhǎng)一段時(shí)間內(nèi)繼續(xù)推薦圣誕老人的帽子。

4.7.2.4. 更多軼事

我們構(gòu)建了一個(gè)人臉檢測(cè)器。它適用于所有基準(zhǔn)測(cè)試。不幸的是，它在測(cè)試數(shù)據(jù)上失敗了——令人反感的例子是臉部填滿整個(gè)圖像的特寫鏡頭（訓(xùn)練集中沒有這樣的數(shù)據(jù)）。

我們?yōu)槊绹?guó)市場(chǎng)構(gòu)建了一個(gè)網(wǎng)絡(luò)搜索引擎，并希望將其部署在英國(guó)。

我們通過編譯一個(gè)大型數(shù)據(jù)集來訓(xùn)練圖像分類器，其中大量類別中的每個(gè)類別在數(shù)據(jù)集中均等表示，例如 1000 個(gè)類別，每個(gè)類別由 1000 張圖像表示。然后我們將系統(tǒng)部署到現(xiàn)實(shí)世界中，照片的實(shí)際標(biāo)簽分布顯然是不均勻的。

4.7.3. 分布偏移的校正

正如我們所討論的，在許多情況下，訓(xùn)練和測(cè)試分布P(x,y)是不同的。在某些情況下，我們很幸運(yùn)，盡管存在協(xié)變量、標(biāo)簽或概念轉(zhuǎn)變，但模型仍然有效。在其他情況下，我們可以通過采用有原則的策略來應(yīng)對(duì)這種轉(zhuǎn)變來做得更好。本節(jié)的其余部分變得更加技術(shù)化。不耐煩的讀者可以繼續(xù)閱讀下一節(jié)，因?yàn)樵摬牧喜皇呛罄m(xù)概念的先決條件。

4.7.3.1. 經(jīng)驗(yàn)風(fēng)險(xiǎn)和風(fēng)險(xiǎn)

讓我們首先反思模型訓(xùn)練期間到底發(fā)生了什么：我們迭代訓(xùn)練數(shù)據(jù)的特征和相關(guān)標(biāo)簽{(x1,y1),…,(xn,yn)}并更新模型的參數(shù)f在每個(gè)小批量之后。為簡(jiǎn)單起見，我們不考慮正則化，因此我們?cè)诤艽蟪潭壬蠝p少了訓(xùn)練的損失：

(4.7.1)minimizef?1n∑i=1nl(f(xi),yi),

在哪里l是衡量預(yù)測(cè)“有多糟糕”的損失函數(shù) f(xi)被賦予相關(guān)標(biāo)簽yi. 統(tǒng)計(jì)學(xué)家將(4.7.1) 中的術(shù)語(yǔ)稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)。經(jīng)驗(yàn)風(fēng)險(xiǎn)是訓(xùn)練數(shù)據(jù)的平均損失，以近似于風(fēng)險(xiǎn)，這是對(duì)從真實(shí)分布中提取的整個(gè)數(shù)據(jù)群的損失的期望。p(x,y):

(4.7.2)Ep(x,y)[l(f(x),y)]=∫∫l(f(x),y)p(x,y)dxdy.

然而，在實(shí)踐中，我們通常無法獲得全部數(shù)據(jù)。因此，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，即最小化(4.7.1)中的經(jīng)驗(yàn)風(fēng)險(xiǎn)，是機(jī)器學(xué)習(xí)的一種實(shí)用策略，希望能夠近似地最小化風(fēng)險(xiǎn)。

4.7.3.2. 協(xié)變量偏移校正

假設(shè)我們要估計(jì)一些依賴 P(y∣x)我們?yōu)槠錁?biāo)記了數(shù)據(jù) (xi,yi). 不幸的是，觀察 xi是從一些源分布中提取的 q(x)而不是目標(biāo)分布 p(x). 幸運(yùn)的是，依賴假設(shè)意味著條件分布不會(huì)改變： p(y∣x)=q(y∣x). 如果源分發(fā)q(x)是“錯(cuò)誤的”，我們可以通過在風(fēng)險(xiǎn)中使用以下簡(jiǎn)單標(biāo)識(shí)來糾正它：

(4.7.3)∫∫l(f(x),y)p(y∣x)p(x)dxdy=∫∫l(f(x),y)q(y∣x)q(x)p(x)q(x)dxdy.

換句話說，我們需要根據(jù)從正確分布中提取數(shù)據(jù)的概率與從錯(cuò)誤分布中提取數(shù)據(jù)的概率之比來重新權(quán)衡每個(gè)數(shù)據(jù)示例：

(4.7.4)βi=defp(xi)q(xi).

插入重量βi對(duì)于每個(gè)數(shù)據(jù)示例 (xi,yi)我們可以使用加權(quán)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化來訓(xùn)練我們的模型：

(4.7.5)minimizef?1n∑i=1nβil(f(xi),yi).

唉，我們不知道那個(gè)比率，所以在我們做任何有用的事情之前，我們需要估計(jì)它。許多方法都可用，包括一些奇特的算子理論方法，這些方法試圖直接使用最小范數(shù)或最大熵原理重新校準(zhǔn)期望算子。請(qǐng)注意，對(duì)于任何此類方法，我們都需要從兩個(gè)分布中抽取樣本——“真實(shí)”p，例如，通過訪問測(cè)試數(shù)據(jù)，以及用于生成訓(xùn)練集的數(shù)據(jù)q（后者很容易獲得）。但是請(qǐng)注意，我們只需要功能 x～p(x); 我們不需要訪問標(biāo)簽 y～p(y).

在這種情況下，存在一種非常有效的方法，其結(jié)果幾乎與原始方法一樣好：邏輯回歸，它是用于二元分類的 softmax 回歸（參見第 4.1 節(jié)）的特例。這就是計(jì)算估計(jì)概率比所需的全部?jī)?nèi)容。我們學(xué)習(xí)了一個(gè)分類器來區(qū)分從中提取的數(shù)據(jù)p(x)和從中提取的數(shù)據(jù) q(x). 如果無法區(qū)分這兩個(gè)分布，則意味著相關(guān)實(shí)例同樣可能來自這兩個(gè)分布中的任何一個(gè)。另一方面，任何可以被很好區(qū)分的實(shí)例都應(yīng)該相應(yīng)地被顯著地高估或低估。

為了簡(jiǎn)單起見，假設(shè)我們有來自兩個(gè)分布的相同數(shù)量的實(shí)例p(x)和q(x)， 分別。現(xiàn)在表示為z標(biāo)簽是1對(duì)于從中提取的數(shù)據(jù)p和?1對(duì)于從中提取的數(shù)據(jù)q. 那么混合數(shù)據(jù)集中的概率由下式給出

(4.7.6)P(z=1∣x)=p(x)p(x)+q(x)and henceP(z=1∣x)P(z=?1∣x)=p(x)q(x).

因此，如果我們使用邏輯回歸方法，其中 P(z=1∣x)=11+exp?(?h(x)) (h是參數(shù)化函數(shù)），因此

(4.7.7)βi=1/(1+exp?(?h(xi)))exp?(?h(xi))/(1+exp?(?h(xi)))=exp?(h(xi)).

因此，我們需要解決兩個(gè)問題：第一個(gè)是區(qū)分從兩個(gè)分布中提取的數(shù)據(jù)，然后是 ( 4.7.5)中的加權(quán)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題，我們通過 βi.

現(xiàn)在我們準(zhǔn)備好描述一個(gè)校正算法。假設(shè)我們有一個(gè)訓(xùn)練集 {(x1,y1),…,(xn,yn)}和未標(biāo)記的測(cè)試集{u1,…,um}. 對(duì)于協(xié)變量偏移，我們假設(shè)xi對(duì)全部 1≤i≤n是從一些源分布中提取的，并且 ui對(duì)全部1≤i≤m從目標(biāo)分布中提取。這是校正協(xié)變量偏移的原型算法：

生成二元分類訓(xùn)練集： {(x1,?1),…,(xn,?1),(u1,1),…,(um,1)}.

使用邏輯回歸訓(xùn)練二元分類器以獲得函數(shù) h.

使用權(quán)衡訓(xùn)練數(shù)據(jù)βi=exp?(h(xi))或更好βi=min(exp?(h(xi)),c)對(duì)于一些常數(shù)c.

使用權(quán)重βi用于培訓(xùn) {(x1,y1),…,(xn,yn)}在 (4.7.5)中。

請(qǐng)注意，上述算法依賴于一個(gè)關(guān)鍵假設(shè)。為了使該方案起作用，我們需要目標(biāo)（例如，測(cè)試時(shí)間）分布中的每個(gè)數(shù)據(jù)示例在訓(xùn)練時(shí)出現(xiàn)的概率非零。如果我們找到一個(gè)點(diǎn)p(x)>0但 q(x)=0，那么對(duì)應(yīng)的重要性權(quán)重應(yīng)該是無窮大。

4.7.3.3. 標(biāo)簽偏移校正

假設(shè)我們正在處理分類任務(wù)k 類別。在第 4.7.3.2 節(jié)中使用相同的符號(hào) ，q和p 分別是源分布（例如，訓(xùn)練時(shí)間）和目標(biāo)分布（例如，測(cè)試時(shí)間）。假設(shè)標(biāo)簽的分布隨時(shí)間變化：q(y)≠p(y)，但類條件分布保持不變： q(x∣y)=p(x∣y). 如果源分發(fā)q(y)是“錯(cuò)誤的”，我們可以根據(jù) （4.7.2）中定義的風(fēng)險(xiǎn)中的以下恒等式進(jìn)行更正：

(4.7.8)∫∫l(f(x),y)p(x∣y)p(y)dxdy=∫∫l(f(x),y)q(x∣y)q(y)p(y)q(y)dxdy.

在這里，我們的重要性權(quán)重將對(duì)應(yīng)于標(biāo)簽似然比

(4.7.9)βi=defp(yi)q(yi).

標(biāo)簽偏移的一個(gè)好處是，如果我們?cè)谠捶植忌嫌幸粋€(gè)相當(dāng)好的模型，那么我們就可以得到這些權(quán)重的一致估計(jì)，而無需處理環(huán)境維度。在深度學(xué)習(xí)中，輸入往往是圖像等高維對(duì)象，而標(biāo)簽通常是類別等更簡(jiǎn)單的對(duì)象。

為了估計(jì)目標(biāo)標(biāo)簽分布，我們首先使用我們相當(dāng)好的現(xiàn)成分類器（通常在訓(xùn)練數(shù)據(jù)上訓(xùn)練）并使用驗(yàn)證集（也來自訓(xùn)練分布）計(jì)算其混淆矩陣?；煜仃?C, 只是一個(gè)k×k矩陣，其中每一列對(duì)應(yīng)于標(biāo)簽類別（基本事實(shí)），每一行對(duì)應(yīng)于我們模型的預(yù)測(cè)類別。每個(gè)單元格的值cij是真實(shí)標(biāo)簽在驗(yàn)證集上的總預(yù)測(cè)的分?jǐn)?shù) j我們的模型預(yù)測(cè)i.

現(xiàn)在，我們無法直接計(jì)算目標(biāo)數(shù)據(jù)的混淆矩陣，因?yàn)槲覀兛床坏轿覀冊(cè)谝巴饪吹降氖纠臉?biāo)簽，除非我們投資復(fù)雜的實(shí)時(shí)注釋管道。然而，我們可以做的是在測(cè)試時(shí)對(duì)我們所有的模型預(yù)測(cè)進(jìn)行平均，從而產(chǎn)生平均模型輸出 μ(y^)∈Rk，誰(shuí)的 ith元素μ(y^i)是我們的模型預(yù)測(cè)的測(cè)試集上總預(yù)測(cè)的分?jǐn)?shù)i.

事實(shí)證明，在一些溫和的條件下——如果我們的分類器一開始就相當(dāng)準(zhǔn)確，如果目標(biāo)數(shù)據(jù)只包含我們之前見過的類別，如果標(biāo)簽轉(zhuǎn)移假設(shè)首先成立（這里最強(qiáng)的假設(shè)), 然后我們可以通過求解一個(gè)簡(jiǎn)單的線性系統(tǒng)來估計(jì)測(cè)試集標(biāo)簽分布

(4.7.10)Cp(y)=μ(y^),

因?yàn)樽鳛楣烙?jì) ∑j=1kcijp(yj)=μ(y^i)對(duì)所有人都成立 1≤i≤k， 在哪里p(yj)是個(gè) jth的元素k維標(biāo)簽分布向量p(y). 如果我們的分類器一開始就足夠準(zhǔn)確，那么混淆矩陣 C將是可逆的，我們得到一個(gè)解決方案 p(y)=C?1μ(y^).

因?yàn)槲覀冇^察源數(shù)據(jù)上的標(biāo)簽，所以很容易估計(jì)分布q(y). 然后對(duì)于任何訓(xùn)練示例i 帶標(biāo)簽yi，我們可以采用我們估計(jì)的比率 p(yi)/q(yi)計(jì)算重量βi，并將其代入 (4.7.5)中的加權(quán)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

4.7.3.4. 概念轉(zhuǎn)變修正

概念轉(zhuǎn)變很難以有原則的方式解決。例如，在問題突然從區(qū)分貓和狗變成區(qū)分白色和黑色動(dòng)物的情況下，假設(shè)我們可以做得比僅僅收集新標(biāo)簽和從頭開始訓(xùn)練好得多是不合理的。幸運(yùn)的是，在實(shí)踐中，這種極端的轉(zhuǎn)變很少見。相反，通常發(fā)生的是任務(wù)不斷緩慢變化。為了使事情更具體，這里有一些例子：

在計(jì)算廣告中，推出新產(chǎn)品，舊產(chǎn)品變得不那么受歡迎。這意味著廣告的分布及其受歡迎程度逐漸變化，任何點(diǎn)擊率預(yù)測(cè)指標(biāo)都需要隨之逐漸變化。

交通攝像機(jī)鏡頭由于環(huán)境磨損而逐漸退化，逐漸影響圖像質(zhì)量。

新聞內(nèi)容逐漸變化（即大部分新聞保持不變，但出現(xiàn)新故事）。

在這種情況下，我們可以使用與訓(xùn)練網(wǎng)絡(luò)相同的方法來使它們適應(yīng)數(shù)據(jù)的變化。換句話說，我們使用現(xiàn)有的網(wǎng)絡(luò)權(quán)重并簡(jiǎn)單地使用新數(shù)據(jù)執(zhí)行一些更新步驟，而不是從頭開始訓(xùn)練。

4.7.4. 學(xué)習(xí)問題的分類

有了關(guān)于如何處理分布變化的知識(shí)，我們現(xiàn)在可以考慮機(jī)器學(xué)習(xí)問題公式化的其他方面。

4.7.4.1. 批量學(xué)習(xí)

在批量學(xué)習(xí)中，我們可以訪問訓(xùn)練特征和標(biāo)簽 {(x1,y1),…,(xn,yn)}，我們用它來訓(xùn)練模型f(x). 稍后，我們部署此模型來對(duì)新數(shù)據(jù)進(jìn)行評(píng)分(x,y)從同一個(gè)分布中抽取。這是我們?cè)诖擞懻摰娜魏螁栴}的默認(rèn)假設(shè)。例如，我們可能會(huì)根據(jù)大量貓狗圖片來訓(xùn)練貓檢測(cè)器。一旦我們對(duì)其進(jìn)行了訓(xùn)練，我們就會(huì)將其作為智能貓門計(jì)算機(jī)視覺系統(tǒng)的一部分進(jìn)行運(yùn)送，該系統(tǒng)只允許貓進(jìn)入。然后將其安裝在客戶家中并且永遠(yuǎn)不會(huì)再次更新（除非出現(xiàn)極端情況）。

4.7.4.2. 在線學(xué)習(xí)

現(xiàn)在假設(shè)數(shù)據(jù)(xi,yi)一次到達(dá)一個(gè)樣品。更具體地說，假設(shè)我們首先觀察 xi, 然后我們需要估計(jì) f(xi)只有當(dāng)我們這樣做了，我們才會(huì)觀察到 yi有了它，我們會(huì)根據(jù)自己的決定獲得獎(jiǎng)勵(lì)或蒙受損失。許多實(shí)際問題都屬于這一類。例如，我們需要預(yù)測(cè)明天的股票價(jià)格，這允許我們根據(jù)該估計(jì)進(jìn)行交易，并在一天結(jié)束時(shí)發(fā)現(xiàn)我們的估計(jì)是否允許我們獲利。換句話說，在在線學(xué)習(xí)中，我們有以下循環(huán)，我們根據(jù)新觀察不斷改進(jìn)我們的模型：

(4.7.11)modelft?dataxt?estimateft(xt)?observationyt?lossl(yt,ft(xt))?modelft+1

4.7.4.3. 土匪

Bandits是上述問題的特例。雖然在大多數(shù)學(xué)習(xí)問題中我們有一個(gè)連續(xù)參數(shù)化的函數(shù)f 在我們想要學(xué)習(xí)它的參數(shù)（例如，深度網(wǎng)絡(luò)）的地方，在 老虎機(jī)問題中，我們只有有限數(shù)量的手臂可以拉動(dòng)，即我們可以采取的有限數(shù)量的行動(dòng)。對(duì)于這個(gè)更簡(jiǎn)單的問題，可以在最優(yōu)性方面獲得更強(qiáng)的理論保證，這并不奇怪。我們列出它主要是因?yàn)檫@個(gè)問題經(jīng)常（令人困惑地）被視為一個(gè)獨(dú)特的學(xué)習(xí)環(huán)境。

4.7.4.4?？刂?/p>

在許多情況下，環(huán)境會(huì)記住我們的所作所為。不一定以敵對(duì)的方式，但它只會(huì)記住并且響應(yīng)將取決于之前發(fā)生的事情。例如，咖啡鍋爐控制器將根據(jù)之前是否加熱鍋爐來觀察不同的溫度。PID（比例-積分-微分）控制器算法在那里是一種流行的選擇。同樣，用戶在新聞?wù)军c(diǎn)上的行為將取決于我們之前向他展示的內(nèi)容（例如，他只會(huì)閱讀大部分新聞一次）。許多這樣的算法形成了它們所處環(huán)境的模型，從而使它們的決策看起來不那么隨機(jī)。最近，控制理論（例如，PID 變體）也被用于自動(dòng)調(diào)整超參數(shù)以實(shí)現(xiàn)更好的解纏結(jié)和重建質(zhì)量， ( Shao et al. , 2020 )。

4.7.4.5。強(qiáng)化學(xué)習(xí)

在具有記憶的環(huán)境的更一般情況下，我們可能會(huì)遇到環(huán)境試圖與我們合作的情況（合作游戲，特別是非零和游戲），或者環(huán)境試圖取勝的其他情況。國(guó)際象棋、圍棋、西洋雙陸棋或星際爭(zhēng)霸是強(qiáng)化學(xué)習(xí)中的一些案例。同樣，我們可能想為自動(dòng)駕駛汽車構(gòu)建一個(gè)好的控制器。其他汽車可能會(huì)以非平凡的方式對(duì)自動(dòng)駕駛汽車的駕駛方式做出反應(yīng)，例如，試圖避開它、試圖造成事故以及試圖與其合作。

4.7.4.6. 考慮環(huán)境

上述不同情況之間的一個(gè)關(guān)鍵區(qū)別是，在靜止環(huán)境中可能始終有效的相同策略，在環(huán)境可以適應(yīng)時(shí)可能無法始終有效。例如，交易者發(fā)現(xiàn)的套利機(jī)會(huì)一旦開始利用就很可能消失。環(huán)境變化的速度和方式在很大程度上決定了我們可以采用的算法類型。例如，如果我們知道事情可能只會(huì)緩慢變化，我們就可以強(qiáng)制任何估計(jì)也只能緩慢變化。如果我們知道環(huán)境可能會(huì)瞬間發(fā)生變化，但發(fā)生的頻率非常低，那么我們就可以考慮到這一點(diǎn)。這些類型的知識(shí)對(duì)于有抱負(fù)的數(shù)據(jù)科學(xué)家處理概念轉(zhuǎn)變至關(guān)重要，即

4.7.5. 機(jī)器學(xué)習(xí)中的公平性、問責(zé)制和透明度

最后，重要的是要記住，當(dāng)您部署機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，您不僅僅是在優(yōu)化一個(gè)預(yù)測(cè)模型——您通常是在提供一個(gè)將用于（部分或全部）自動(dòng)化決策的工具。這些技術(shù)系統(tǒng)可能會(huì)影響受最終決策影響的個(gè)人的生活。從考慮預(yù)測(cè)到?jīng)Q策的飛躍不僅提出了新的技術(shù)問題，而且還提出了一系列必須仔細(xì)考慮的倫理問題。如果我們要部署醫(yī)療診斷系統(tǒng)，我們需要知道它可能適用于哪些人群，哪些可能無效。忽視亞人群福利的可預(yù)見風(fēng)險(xiǎn)可能導(dǎo)致我們提供低劣的護(hù)理。此外，一旦我們考慮決策系統(tǒng)，我們就必須退后一步，重新考慮我們?nèi)绾卧u(píng)估我們的技術(shù)。準(zhǔn)確性很少是正確的衡量標(biāo)準(zhǔn)。例如，在將預(yù)測(cè)轉(zhuǎn)化為行動(dòng)時(shí)，我們通常會(huì)考慮以各種方式犯錯(cuò)的潛在成本敏感性。如果將圖像錯(cuò)誤分類的一種方法可以被視為種族花招，而將錯(cuò)誤分類到不同類別是無害的，那么我們可能希望相應(yīng)地調(diào)整我們的閾值，在設(shè)計(jì)決策協(xié)議時(shí)考慮到社會(huì)價(jià)值觀。我們還希望注意預(yù)測(cè)系統(tǒng)如何導(dǎo)致反饋循環(huán)。例如，考慮預(yù)測(cè)性警務(wù)系統(tǒng)，它將巡邏人員分配到預(yù)測(cè)犯罪率高的地區(qū)。很容易看出令人擔(dān)憂的模式是如何出現(xiàn)的：

犯罪率較高的社區(qū)需要更多的巡邏。

因此，在這些街區(qū)發(fā)現(xiàn)了更多的犯罪活動(dòng)，輸入了可用于未來迭代的訓(xùn)練數(shù)據(jù)。

暴露于更多的積極因素，該模型預(yù)測(cè)這些街區(qū)的犯罪率更高。

在下一次迭代中，更新后的模型更嚴(yán)重地針對(duì)同一社區(qū)，導(dǎo)致發(fā)現(xiàn)更多的犯罪活動(dòng)，等等。

通常，模型的預(yù)測(cè)與其訓(xùn)練數(shù)據(jù)耦合的各種機(jī)制在建模過程中未被考慮在內(nèi)。這會(huì)導(dǎo)致研究人員稱之為失控的反饋回路。此外，我們要注意我們是否首先解決了正確的問題。預(yù)測(cè)算法現(xiàn)在在調(diào)節(jié)信息傳播方面發(fā)揮著巨大作用。個(gè)人遇到的新聞是否應(yīng)該由他們點(diǎn)贊的Facebook 頁(yè)面集決定？這些只是您在機(jī)器學(xué)習(xí)職業(yè)中可能遇到的許多緊迫的道德困境中的一小部分。

4.7.6. 概括

在許多情況下，訓(xùn)練集和測(cè)試集并不來自同一個(gè)分布。這稱為分配轉(zhuǎn)移。風(fēng)險(xiǎn)是對(duì)從真實(shí)分布中提取的整個(gè)數(shù)據(jù)群的損失的預(yù)期。然而，這整個(gè)人口通常是不可用的。經(jīng)驗(yàn)風(fēng)險(xiǎn)是訓(xùn)練數(shù)據(jù)的平均損失以近似風(fēng)險(xiǎn)。在實(shí)踐中，我們執(zhí)行經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

在相應(yīng)的假設(shè)下，可以在測(cè)試時(shí)檢測(cè)和校正協(xié)變量和標(biāo)簽偏移。如果不考慮這種偏差，在測(cè)試時(shí)可能會(huì)出現(xiàn)問題。在某些情況下，環(huán)境可能會(huì)記住自動(dòng)操作并以令人驚訝的方式做出響應(yīng)。我們必須在構(gòu)建模型時(shí)考慮到這種可能性，并繼續(xù)監(jiān)控實(shí)時(shí)系統(tǒng)，對(duì)我們的模型和環(huán)境以意想不到的方式糾纏在一起的可能性持開放態(tài)度。

4.7.7. 練習(xí)

當(dāng)我們改變搜索引擎的行為時(shí)會(huì)發(fā)生什么？用戶可能會(huì)做什么？廣告商呢？

實(shí)施協(xié)變量移位檢測(cè)器。提示：建立一個(gè)分類器。

實(shí)施協(xié)變量偏移校正器。

除了分布轉(zhuǎn)移，還有什么會(huì)影響經(jīng)驗(yàn)風(fēng)險(xiǎn)如何近似風(fēng)險(xiǎn)？

Discussions