商品搜索引擎是電商平臺(tái)滿足用戶購(gòu)物需求的一個(gè)重要系統(tǒng)，它根據(jù)用戶輸入的搜索詞，返回個(gè)性化的排序列表。商品一般會(huì)被歸為某一大類(lèi)下某個(gè)小類(lèi)目，例如電子產(chǎn)品，在電子產(chǎn)品這個(gè)大類(lèi)目下面還有更細(xì)粒度的類(lèi)目（冰箱或者電視）。這種體系用于構(gòu)造查詢類(lèi)別的層次結(jié)構(gòu)。在不同的查詢類(lèi)別中，價(jià)格和品牌知名度等特征的分布差異很大。在CTR（點(diǎn)擊率）/CVR（轉(zhuǎn)化率）預(yù)估問(wèn)題中，特征重要性在不同類(lèi)目間也是不一樣的。本文主要介紹專家混合模型（MoE）在京東搜索精排中的應(yīng)用，以及結(jié)合實(shí)際場(chǎng)景對(duì)MoE模型進(jìn)行的一系列改進(jìn)。

Part1. 背景介紹

越來(lái)越多的人轉(zhuǎn)向電子商務(wù)來(lái)滿足他們的購(gòu)物需求，這給搜索排名帶來(lái)了新的挑戰(zhàn)。電子商務(wù)搜索排名的一個(gè)關(guān)鍵輸入是產(chǎn)品類(lèi)別標(biāo)簽，店主通常被要求用特定的類(lèi)別來(lái)標(biāo)記他們的產(chǎn)品，以方便搜索索引。從這些產(chǎn)品類(lèi)別中，可以構(gòu)造查詢類(lèi)別的概念，通常是通過(guò)聚合在查詢下正確檢索到的最頻繁出現(xiàn)的產(chǎn)品類(lèi)別。目前大多數(shù)電子商務(wù)排名系統(tǒng)都沒(méi)有為每個(gè)查詢類(lèi)別部署專用模型的工程資源，即使是主要的查詢類(lèi)別也是如此。但是作為人工編目員，自然的策略是首先確定查詢最可能屬于的類(lèi)別，然后檢索該類(lèi)別中的項(xiàng)目。不同類(lèi)別的特性對(duì)于產(chǎn)品排名的重要性可能不同。直觀地說(shuō)，根據(jù)用戶購(gòu)買(mǎi)反饋判斷，不同類(lèi)別的單獨(dú)排名策略應(yīng)該能夠提高整體產(chǎn)品搜索相關(guān)性。
??京東電商平臺(tái)有一套完整的以樹(shù)形結(jié)構(gòu)組織的多層級(jí)類(lèi)目結(jié)構(gòu)。下圖是一個(gè)兩層級(jí)類(lèi)目結(jié)構(gòu)的示意圖，不同的Top-Categories 之間，用戶的購(gòu)物行為會(huì)有比較明顯的差異，例如：當(dāng)用戶搜索食品相關(guān)商品時(shí)，可能選擇銷(xiāo)量高的；而當(dāng)搜索服飾相關(guān)商品時(shí)，可能會(huì)更關(guān)注風(fēng)格、品牌等信息。相反同一個(gè)Top-Categories下的Sub-Categories之間，用戶的購(gòu)物行為一般比較接近。

此外，對(duì)于一些小類(lèi)目的商品，在訓(xùn)練集樣本量上和大類(lèi)目相比差距懸殊，在模型訓(xùn)練過(guò)程中會(huì)被大類(lèi)目商品的樣本所影響和主導(dǎo)。針對(duì)類(lèi)目差異和小類(lèi)目學(xué)習(xí)這兩個(gè)問(wèn)題，本文提出了一種多類(lèi)目MoE(Mixture of Experts)模型。

Part2. 多類(lèi)目MoE模型

MoE模型

MoE 主要包括兩個(gè)核心部分：門(mén)網(wǎng)絡(luò)（gating network）和專家網(wǎng)絡(luò)（expert network）。門(mén)網(wǎng)絡(luò)的輸出作為對(duì)應(yīng)的專家網(wǎng)絡(luò)的權(quán)重，用于對(duì)專家網(wǎng)絡(luò)的輸出進(jìn)行加權(quán)求和。MoE 模型的輸出可以寫(xiě)成下面的公式:

其中，N表示專家網(wǎng)絡(luò)的個(gè)數(shù)，G表示門(mén)網(wǎng)絡(luò)，Q表示專家網(wǎng)絡(luò)。

Top-K gating MoE模型

模型會(huì)根據(jù)門(mén)網(wǎng)絡(luò)的輸出，選擇最大的K個(gè)權(quán)重所對(duì)應(yīng)的專家網(wǎng)絡(luò)進(jìn)行激活，然后只對(duì)選中的K個(gè)專家網(wǎng)絡(luò)的輸出進(jìn)行加權(quán)求和。計(jì)算公式如下：

在Top_k MoE模型中，如果一個(gè)專家網(wǎng)絡(luò)對(duì)應(yīng)的權(quán)重值不在最高的K個(gè)集合里，那么經(jīng)過(guò)softmax函數(shù)之后權(quán)重會(huì)變?yōu)?。從而在模型訓(xùn)練中這些專家網(wǎng)絡(luò)不會(huì)被激活，能降低模型的計(jì)算復(fù)雜度。

多類(lèi)目MoE的模型

針對(duì)上述提到的類(lèi)目差異和小類(lèi)目學(xué)習(xí)兩個(gè)問(wèn)題，本文在Top_K MoE 的基礎(chǔ)上加入了兩種改進(jìn)方法，提出了多類(lèi)目MoE的模型結(jié)構(gòu)，如下圖：

（1）Hierarchical Soft Constraint（HSC）網(wǎng)絡(luò)

針對(duì)小類(lèi)目樣本學(xué)習(xí)問(wèn)題，本文的改進(jìn)是增加一個(gè)與MoE門(mén)網(wǎng)絡(luò)結(jié)構(gòu)相同的HSC門(mén)網(wǎng)絡(luò)（圖種藍(lán)色部分）。HSC門(mén)網(wǎng)絡(luò)的輸入是Top-Category，輸出與MoE的門(mén)網(wǎng)絡(luò)結(jié)構(gòu)維度一致，代表了不同專家網(wǎng)絡(luò)對(duì)于Top-Category 的重要程度。同時(shí)將激活的專家網(wǎng)絡(luò)對(duì)應(yīng)的權(quán)重和HSC門(mén)網(wǎng)絡(luò)對(duì)應(yīng)的權(quán)重的L2距離作為模型訓(xùn)練的一個(gè)損失項(xiàng)，加入到模型的訓(xùn)練過(guò)程中。
??具體來(lái)說(shuō)，圖2中的Top-Category和Sub-Category具有層次關(guān)系，Top-Category是父節(jié)點(diǎn)，Sub-Category是子節(jié)點(diǎn)。為了進(jìn)一步強(qiáng)調(diào)不同門(mén)網(wǎng)絡(luò)的功能，我們分別將它們稱之為inference MoE gate（綠色部分）和constraint HSC gate（藍(lán)色部分）。

a. Inference MoE Gate

將Sub-Category的嵌入向量，輸入inference gate，其輸出代表專家的權(quán)重。定義inference gate函數(shù)如下：

其中，是一個(gè) q×N的可訓(xùn)練的權(quán)重矩陣，q表示embedding的維度，N表示expert的個(gè)數(shù)。
??為了節(jié)省計(jì)算，只在中保留前K個(gè)值，并將其余值設(shè)置為?∞。然后應(yīng)用softmax函數(shù)從前K個(gè)中得到如下的概率分布:
，如果
，如果<

由于有K個(gè)大于0的值，為了節(jié)省計(jì)算，只激活這些對(duì)應(yīng)的專家。模型的計(jì)算復(fù)雜度取決于單個(gè)專家的網(wǎng)絡(luò)和K的取值。

b. Inference MoE Gate

在模型中，constraint gate和inference gate具有相同的結(jié)構(gòu)。用表示constraint gate，表示inference gate，constraint gate的輸入特征記為，是Top-Category的嵌入向量，定義inference gate和constraint gate之間的分層軟約束(HSC)如下:



??通過(guò)上述HSC網(wǎng)絡(luò)，可以讓相同Top-Category下的所有Sub-Category所激活的專家網(wǎng)絡(luò)盡量的接近。尤其對(duì)于樣本量少的小類(lèi)目，可以利用到相同Top-category下的其他類(lèi)目信息，能一定程度上解決小樣本學(xué)習(xí)難的問(wèn)題。

（2）Adversarial Regularization

第二個(gè)改進(jìn)是Adversarial Regularization。在Top_K門(mén)網(wǎng)絡(luò)結(jié)構(gòu)中，對(duì)于每條樣本，專家網(wǎng)絡(luò)都會(huì)分為激活的專家網(wǎng)絡(luò)和沒(méi)有激活的專家網(wǎng)絡(luò)。Adversarial Regularization的目的是在訓(xùn)練過(guò)程中讓不同專家網(wǎng)絡(luò)盡量區(qū)別開(kāi)，避免專家網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果相同。即鼓勵(lì)激活的專家網(wǎng)絡(luò)和沒(méi)有被激活的專家網(wǎng)絡(luò)給出的預(yù)測(cè)結(jié)果差異較大。Adversarial Regularization計(jì)算公式如下：
其中， 表示激活的專家網(wǎng)絡(luò)集合， 表示沒(méi)有被激活的專家網(wǎng)絡(luò)集合。
??增加了HSC網(wǎng)絡(luò)和Adversarial Regularization之后，模型的損失函數(shù)如下所示：

Part3. 實(shí)驗(yàn)結(jié)論

作者在Amazon和In-house兩個(gè)數(shù)據(jù)集上分別評(píng)估了所提出模型的效果。表格中的Adv-MoE和HSC-MoE分別表示只有Adversarial Regularization和HSC loss的兩個(gè)模型，Adv&HSC-MoE表示作者提出的最終多類(lèi)目模型。
??作者首先在In-house數(shù)據(jù)集上測(cè)試了模型的整體效果、類(lèi)目差異的效果以及在小樣本類(lèi)目上的提升效果。表3給出了各個(gè)模型在AUC和NDCG兩個(gè)指標(biāo)上結(jié)果。與DNN模型相比，本文提出的Adv&HSC-MoE模型在AUC指標(biāo)上實(shí)現(xiàn)了0.96%的增益（NDCG為0.99%），具有較好的泛化性能。

同時(shí)，作者也在amazon數(shù)據(jù)集上做了實(shí)驗(yàn)，下表顯示改進(jìn)后的Adv-MoE、HSC-MoE和Adv& HSC-MoE結(jié)果與In-house一致，驗(yàn)證了對(duì)抗正則化和分層軟約束技術(shù)的一般適用性。

MoE模型門(mén)網(wǎng)絡(luò)的輸出代表了各個(gè)專家網(wǎng)絡(luò)的權(quán)重，作者同樣測(cè)試了不同類(lèi)目下門(mén)網(wǎng)絡(luò)的輸出結(jié)果，以評(píng)估模型對(duì)于類(lèi)目差異的學(xué)習(xí)效果。本文將門(mén)網(wǎng)絡(luò)的輸出結(jié)果使用T-SNE降維展示出來(lái)，以便觀察不同類(lèi)目的聚類(lèi)效果。圖5中藍(lán)色表示日用百貨類(lèi)目，綠色表示電器類(lèi)目，紅色表示流行服飾類(lèi)目。結(jié)果顯示，本文的方法聚類(lèi)效果更好，這表明對(duì)于相似的類(lèi)目，本文提出的模型更傾向于選擇相似的專家網(wǎng)絡(luò)，差異大的類(lèi)目，更傾向于選擇不同的專家網(wǎng)絡(luò)。

Part4. 總結(jié)

本文提出的對(duì)抗性正則化和層次軟約束技術(shù)是在產(chǎn)品搜索中開(kāi)發(fā)類(lèi)別感知排名模型的有效方法。它在行業(yè)規(guī)模的數(shù)據(jù)集上取得了顯著的改進(jìn)，主要體現(xiàn)在以下幾個(gè)方面：（1）同一Top-Categories下的Sub-Categories可以共享相似的專家，從而克服了有限訓(xùn)練數(shù)據(jù)下的參數(shù)稀疏性；（2）對(duì)抗性正則化鼓勵(lì)專家“獨(dú)立思考”，從不同角度處理每個(gè)問(wèn)題。

審核編輯 ：李倩