電子發(fā)燒友App
摘要：?本文將與大家分享機(jī)器翻譯相關(guān)背景知識，再深入介紹機(jī)器翻譯在阿里生態(tài)中的具體應(yīng)用實踐，介紹基于機(jī)器翻譯技術(shù)搭建的一套完善的電商多語言解決方案，最后將會從技術(shù)角度介紹阿里機(jī)器翻譯在解決實際業(yè)務(wù)問題中的技術(shù)創(chuàng)新和亮點(diǎn)。
摘要：阿里機(jī)器翻譯團(tuán)隊在阿里巴巴業(yè)務(wù)場景主要應(yīng)用在電商、溝通等垂直領(lǐng)域，服務(wù)的業(yè)務(wù)方包括AliExpress、Lazada、ICBU、天貓國際、淘寶海外、釘釘、阿里云等重要國際化業(yè)務(wù)，幫助這些業(yè)務(wù)解決在國際化發(fā)展中各國家本地化過程最基本的語言問題。本文將與大家分享機(jī)器翻譯相關(guān)背景知識，再深入介紹機(jī)器翻譯在阿里生態(tài)中的具體應(yīng)用實踐，介紹基于機(jī)器翻譯技術(shù)搭建的一套完善的電商多語言解決方案，最后將會從技術(shù)角度介紹阿里機(jī)器翻譯在解決實際業(yè)務(wù)問題中的技術(shù)創(chuàng)新和亮點(diǎn)。
發(fā)布會視頻回顧，戳這里！https://yq.aliyun.com/webinar/play/469
發(fā)布會PPT鏈接，戳這里！https://yq.aliyun.com/download/2880
演講嘉賓介紹
施楊斌，阿里巴巴機(jī)器智能技術(shù)實驗室翻譯平臺高級技術(shù)專家，目前擔(dān)任阿里巴巴機(jī)器智能技術(shù)實驗室翻譯平臺語料和解決方案方向負(fù)責(zé)人。語料方向主要負(fù)責(zé)阿里機(jī)器翻譯語料數(shù)據(jù)獲取、清洗、挖掘以及系統(tǒng)化建設(shè)工作。解決方案是將阿里翻譯技術(shù)能力進(jìn)行封裝、整合、服務(wù)化后以完整解決方案方式對外輸出，整體解決跨境電商國際化過程中的語言問題。
以下內(nèi)容根據(jù)演講視頻以及PPT整理而成。
本文與大家分享的主要內(nèi)容將分為以下四個方面：
1.機(jī)器翻譯背景介紹
2.阿里機(jī)器翻譯在跨境電商的應(yīng)用
3.阿里機(jī)器翻譯技術(shù)亮點(diǎn)
4.阿里云機(jī)器翻譯產(chǎn)品介紹
一、機(jī)器翻譯背景介紹
首先為大家介紹一些機(jī)器翻譯相關(guān)的背景，這里主要分為兩個部分，即機(jī)器翻譯動態(tài)和阿里機(jī)器翻譯。
提到翻譯，你會想到什么？
提到翻譯，可能大家第一時間就會想到的是同聲傳譯，其次大家可能會想到在影視作品中字幕的翻譯。今年年初比較火爆的一部電影《無問西東》的英文名還是比較有意思的，叫做“forever young”，通過電影的英文名也向大家傳遞了這部電影想要傳遞的另外的一層含義。當(dāng)然了，這樣的英文電影名的翻譯必然是人工翻譯的，顯然不會是機(jī)器翻譯的結(jié)果。大家在日常工作學(xué)習(xí)中還會遇到的場景就是機(jī)器翻譯了。
?
機(jī)器翻譯的發(fā)展歷程
在正式介紹機(jī)器翻譯的背景之前，先和大家介紹一下機(jī)器翻譯的發(fā)展歷程。下圖是Chris Manning手繪的機(jī)器翻譯發(fā)展歷程圖，從這張圖中大家可以看到，其實早在1954年就出現(xiàn)了機(jī)器翻譯相關(guān)的介紹，到了1982年就出現(xiàn)了第一個基于規(guī)則的機(jī)器翻譯系統(tǒng)，到了1993年左右就出現(xiàn)了基于詞維度的統(tǒng)計機(jī)器翻譯系統(tǒng)，之后還出現(xiàn)了基于短語維度的機(jī)器翻譯，并且在此之后還對于基于短語維度的機(jī)器翻譯進(jìn)行了優(yōu)化。直到最近的2014年左右，隨著人工智能的發(fā)展才產(chǎn)生了基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯，這對于機(jī)器翻譯的質(zhì)量有了極大的提升。之所以介紹這樣的一條機(jī)器翻譯發(fā)展之路，其實是想為大家說明：機(jī)器翻譯也是在不斷地進(jìn)步，而機(jī)器翻譯的質(zhì)量也發(fā)生了很大的變化，并且在很多場景下，機(jī)器翻譯都發(fā)揮出了極大的促進(jìn)作用。
哪些場景需要機(jī)器翻譯？
首先是語言服務(wù)的公司，比如翻譯服務(wù)供應(yīng)商以及本地化公司，他們會借助機(jī)器翻譯來提升人工翻譯的效率；此外就是互聯(lián)網(wǎng)內(nèi)容提供方，因為在互聯(lián)網(wǎng)公司需要開設(shè)國際新聞資訊以及外語新聞資訊的站點(diǎn)，比如Youtube、Youku等視頻內(nèi)容提供方可能需要借助機(jī)器翻譯將視頻內(nèi)容翻譯成多語言的版本；第三部分就是社交平臺，在社交平臺之上的用戶其實往往是來自于各個不同國家的，需要通過機(jī)器翻譯打破用戶之間交流的屏障；第四部分就是政府以及一些國企，他們的網(wǎng)站上需要提供一些內(nèi)容、新聞等，并且需要實現(xiàn)服務(wù)的多語言化；此外，還有一些像華為、惠普這樣的跨國公司，他們的產(chǎn)品需要銷往世界各地，那么他們的產(chǎn)品說明書以及一些對于用戶的支持服務(wù)也需要多語言的版本；最后一類就是工具類服務(wù)提供商，就比如大家比較熟悉的飛豬需要提供旅游方面多種語言的支持，而滬江則會提供個人語言學(xué)習(xí)上的支持。
機(jī)器翻譯的市場規(guī)模
如下圖所示的是機(jī)器翻譯市場的大致情況。大家可以看到傳統(tǒng)的機(jī)器翻譯公司有谷歌、百度、微軟，與此同時也可以看到一些最近興起的機(jī)器翻譯公司，比如亞馬遜、中譯語通以及小牛翻譯和阿里語言服務(wù)等。整個機(jī)器翻譯的市場規(guī)模在2017年就已經(jīng)達(dá)到了450億，并且每年以10%的年增長量率在增長，如今每天的在線翻譯量已經(jīng)達(dá)到了1000億這樣的數(shù)量級。
阿里巴巴為什么需要機(jī)器翻譯？
上面介紹了機(jī)器翻譯的一些相關(guān)背景，接下來回到這個話題：阿里巴巴為什么需要機(jī)器翻譯？其實這個問題的答案很簡單，就是阿里巴巴最近幾年都在大力發(fā)展國際化的戰(zhàn)略，因此需要將阿里巴巴的所有業(yè)務(wù)向國際化推動，開放給全球更多的用戶，阿里巴巴要實現(xiàn)5個全球化。而在這個過程中，語言問題是阿里巴巴必須去解決的，所以阿里巴巴在機(jī)器翻譯方面做出了很大的投入。
阿里巴巴機(jī)器翻譯的能力
通過下圖大家可以簡單地了解阿里巴巴機(jī)器翻譯的整體能力。阿里巴巴在2013年左右開始投入進(jìn)行機(jī)器翻譯方面的研發(fā)。到目前為止，機(jī)器翻譯已經(jīng)服務(wù)于阿里巴巴內(nèi)部40多個團(tuán)隊和170多個應(yīng)用了。阿里機(jī)器翻譯目前能夠支持21個語種以及43個語言方向的翻譯，并有具有19個語言方向的自動語種識別能力，在阿里巴巴內(nèi)部日均調(diào)用量達(dá)到了7.5億次，并且系統(tǒng)穩(wěn)定性也已經(jīng)達(dá)到了99.99%的水平。在今年剛結(jié)束的機(jī)器翻譯領(lǐng)域最為權(quán)威的WMT國際比賽上，阿里機(jī)器翻譯在5個語項上取得了全球第一。以上這些能力都體現(xiàn)了阿里機(jī)器翻譯的長期積累。此外，在翻譯形態(tài)上了，除了能夠支持傳統(tǒng)的文字翻譯之外，還能夠支持語音、圖片以及視頻翻譯的能力，并且這些能力也將會在后續(xù)再阿里云上輸出出去。
二、阿里機(jī)器翻譯在跨境電商的應(yīng)用
前面的第一部分為大家系統(tǒng)地介紹了機(jī)器翻譯的發(fā)展歷程、背景以及阿里巴巴在機(jī)器翻譯方面的一些能力。在第二部分將為大家著重講解一下機(jī)器翻譯在阿里跨境電商場景下的具體應(yīng)用。在這部分中會為大家完整地介紹跨境電商的全鏈路，并且會在全鏈路中選取幾個具體的應(yīng)用案例進(jìn)行展示。
跨境電商全鏈路
下圖非常清晰地描述了跨境電商全鏈路的情況。首先，對于想要做跨境電商業(yè)務(wù)的網(wǎng)站而言，最開始要做的就是多語言建站，將站點(diǎn)建設(shè)成多語言的版本。這就會涉及到網(wǎng)站以及APP的多語言化以及網(wǎng)站規(guī)則的多語言化以及安全信息風(fēng)控的多語言化。當(dāng)將網(wǎng)站建設(shè)成為多語言站點(diǎn)之后，接下來就需要對網(wǎng)站做一些引流拉新，這里包括對于廣告營銷以及大促等支持多語言版本，而對于一些引流的商品也需要做精細(xì)化的翻譯。當(dāng)將流量引入到多語言站點(diǎn)之后，還需要提升用戶找到自己所需商品的概率，這里面就涉及到了到站搜索，這里需要多語言的搜索方案，在多語言搜索方案的基礎(chǔ)之上，還需要對于類目以及商品的屬性進(jìn)行優(yōu)化，方便用戶能夠更加快速地找到自己想要的商品。而當(dāng)用戶觸達(dá)到自己所想要的商品之后，需要讓用戶能夠看得懂商品的信息，這樣能夠提高用戶購買的轉(zhuǎn)化率，這里就會涉及到標(biāo)題的定制改寫，將標(biāo)題改成用戶能夠清晰可見并且簡單明了的形式，并且將標(biāo)題翻譯成多語言的版本，同樣的也要將商品的詳細(xì)描述翻譯成多語言的版本，而且對于商品的評論，也需要翻譯成多語言版本。此外，還需要提供一個多語言的品牌庫信息。當(dāng)用戶完成商品的購買，還會涉及到商品的支付、物流等。此外，對于跨境電商而言，還有一個非常重要的環(huán)節(jié)就是商品的通關(guān)，也就是“關(guān)檢物”相關(guān)的信息，其中也有多語言需要翻譯支持的場景。最后商品達(dá)到用戶手中了，網(wǎng)站當(dāng)然還希望用戶能夠購買更多的商品，這里就涉及到商品的留存復(fù)購，也就是需要通過售后的實時溝通、專項的質(zhì)量檢測、商品描述或者翻譯以及質(zhì)量調(diào)研，使得用戶能夠通過對于商品源的反饋來提升轉(zhuǎn)化率。
其實，在上圖跨境電商的全鏈路中，每個環(huán)節(jié)都有一個具體的指標(biāo)來衡量機(jī)器翻譯在其中所發(fā)揮的作用。對于多語言建站而言，可以觀測DAU；對于引流拉新而言，可以觀測整個站點(diǎn)的UV以及COST；對于到站搜索而言，可以關(guān)注商品List頁面到商品Detail頁面的轉(zhuǎn)化率；在用戶瀏覽商品信息的環(huán)節(jié)，則更加關(guān)注于從商品Detail頁面到最終下單購買的轉(zhuǎn)化率，最后的支付以及復(fù)購等也都有相應(yīng)的指標(biāo)進(jìn)行觀測。
應(yīng)用案例-多語言搜索
接下來針對于跨境電商中部分環(huán)節(jié)的具體案例進(jìn)行分享。首先，大家都知道，搜索是每個電商網(wǎng)站流量的一個主要入口。那么，對于不同國家的電商網(wǎng)站而言，用戶當(dāng)然希望使用自己的語言進(jìn)行搜索，但是對于跨境電商網(wǎng)站而言，不可能花費(fèi)很大的成本為每個國家的用戶都建立一套自己的搜索引擎，這樣的成本實在是太大了。所以阿里巴巴就統(tǒng)一采用了基于英文的索引，那么只需要將最終的用戶搜索詞轉(zhuǎn)化成為英文，再根據(jù)英文的索引去檢索用戶所需的商品信息就可以實現(xiàn)多語言搜索了。在下圖中所展現(xiàn)的例子中，就使用了多語言搜索。AliExpress的俄羅斯用戶就是用了俄語來搜索“麥克風(fēng)”，接下來就會通過智能的語種識別出用戶所使用的語言是俄語，之后調(diào)用拼寫糾錯功能，這是因為在用戶輸入檢索詞的過程中，很有可能出現(xiàn)個別單詞的錯誤，因此智能拼寫糾錯就能夠?qū)€別拼寫錯誤的詞糾正過來，再將糾正過的詞調(diào)用機(jī)器翻譯進(jìn)而翻譯成英文的版本，最后調(diào)用搜索引擎拿到用戶想要的商品信息。這樣的一條鏈路能夠很好地提升用戶從List到Detail的轉(zhuǎn)化率。
應(yīng)用案例-商品信息多語言化
當(dāng)網(wǎng)站檢索到用戶所需要的商品信息之后，就引導(dǎo)用戶到達(dá)了商品的詳情頁面，這里就涉及到商品信息的多語言化。這樣用戶就會通過網(wǎng)站的內(nèi)部導(dǎo)航找到自己想要的類目，再找到自己想要的商品，用戶在看過商品標(biāo)題之后，往往會再看一下商品的詳細(xì)描述，有一些用戶還會看一下商品的評論。如果用戶通過這些并沒有找到自己想要的信息，那么很快就會關(guān)掉頁面，這樣很有可能這個用戶就流失了。其實，在做跨境電商的時候，需要將商品信息實現(xiàn)多語言化，讓用戶真正地讀懂和理解這個商品究竟在是在賣什么，它主要的功能是什么。
阿里巴巴在商品信息的多語言化方面做了非常大量的工作。下圖所展現(xiàn)的是阿里巴巴速賣通的場景下對于標(biāo)題部分所做的工作。首先，大家可以看到，這個商品屬于英文的原發(fā)商品，而通過翻譯可以將其翻譯成為不同國家的語言。在下圖中，同樣的一條裙子的標(biāo)題除了英文之外還被翻譯成了俄語和阿拉伯語兩個版本。
此外，對于商品評論而言，其實很多商品往往是缺乏評論的。因此需要將針對于同一件商品的不同語言發(fā)布的評論進(jìn)行互相翻譯，在下圖的例子中就是將西語原發(fā)的評論翻譯成了俄語和阿拉伯語，這樣一來，用戶就能夠看到更多其他的消費(fèi)者對于同一商品的使用感受了。
第三部分就是針對于商品詳細(xì)描述的多語言化。在阿里速賣通的場景下，一般而言，商家發(fā)布版本基本上都是英文為主的。那么速賣通就需要將英文原發(fā)的商品詳細(xì)描述，比如商品尺寸、質(zhì)量屬性以及物流信息都翻譯成為其他語言的版本。
最后，在商品詳情頁還有一個用戶使用比較多的功能，其實這個功能在淘寶下大家也可能見過，就是“問大家”。在速賣通上，針對于“問大家”這個功能，需要將不同國家、不同語言用戶所提出的問題都翻譯成多個語言的版本，讓更多的人能夠得到自己所需要的信息，正如下圖所展現(xiàn)的就是將俄文的問題翻譯成了英文和阿拉伯語。
應(yīng)用案例-通關(guān)翻譯
當(dāng)用戶通過閱讀、搜索了解了商品的信息并且決定下單購買之后，網(wǎng)站最終還需要將商品郵寄到客戶手中。在跨境電商場景下還存在商品物流所必須經(jīng)過的一個步驟，就是商品的通關(guān)。在通關(guān)時需要將英文商品或者其他語言的商品名稱翻譯成中文提供給中國海關(guān)。下圖中給出了一個例子，這個商品是一個手機(jī)支架，大家可以看到這個手機(jī)支架的英文名稱非常長，而海關(guān)可能并不希望看到這么長的描述信息，而是希望拿到商品的關(guān)鍵信息，速賣通就使用了NLP智能品名生成技術(shù)，從一長串的標(biāo)題里面抽取出關(guān)鍵詞。如下圖的例子所示，速賣通就從中抽取出了“Phone Holder”關(guān)鍵詞，再把這個關(guān)鍵詞通過機(jī)器翻譯轉(zhuǎn)成中文的“手機(jī)支架”，之后在通過菜鳥的關(guān)務(wù)平臺將商品的中文關(guān)鍵詞進(jìn)行備案以及清關(guān)，之后就能夠自動地完成整個商品出關(guān)的操作。
應(yīng)用案例-多語言實時溝通
最后一個案例就是多語言的實時溝通，在交易前和交易后往往都會發(fā)生賣家和賣家之間的溝通。而Alibaba.com是一個B2B的場景，可能需要更多的售前溝通。在阿里巴巴的調(diào)研中發(fā)現(xiàn)，其實在國際貿(mào)易中的買家中的30%是使用小語種的，而大部分買家卻往往缺少小語種的溝通服務(wù)能力。因此，阿里巴巴開發(fā)了一套針對于多語言實時溝通場景的自動翻譯系統(tǒng)。在這個場景之下，首先支持多個語種之間的互譯，并且在特定外貿(mào)場景下對于術(shù)語的翻譯也是非常準(zhǔn)確的，這是因為在背后擁有一個規(guī)模龐大的雙語術(shù)語庫。其次，還具有智能處理能力，多語言實時溝通系統(tǒng)具有智能的語種識別，可以根據(jù)用戶的場景自動地識別其使用的語種，再根據(jù)用戶所使用的語種進(jìn)行自動翻譯，并且還提供了基于上下文的智能糾錯。大家都往往深有感觸，我們在聊天溝通的過程中往往經(jīng)常會打錯字，而基于錯字進(jìn)行翻譯肯定無法準(zhǔn)確翻譯。而且還針對口語場景做了表述歸一化的統(tǒng)一處理。最后一點(diǎn)，多語言實時溝通系統(tǒng)還實現(xiàn)了跨境多語言溝通方案，首先這套方案支持多端包括PC、IOS、Android，能夠?qū)崿F(xiàn)多語言信息的實時溝通，用戶可以基于機(jī)器翻譯或者譯文進(jìn)行編輯，如果用戶具有相應(yīng)的語言能力，其實可以根據(jù)機(jī)器翻譯的結(jié)果在發(fā)送前進(jìn)行編輯。在很多場景下，需要對于特定的術(shù)語進(jìn)行快速干預(yù)，將其翻譯成想要翻譯的文本，因此在這樣實時工作的場景下也支持實時干預(yù)的能力。
三、阿里機(jī)器翻譯技術(shù)亮點(diǎn)
前面的部分為大家整體地介紹了跨境電商的整體鏈路，并且抽取了部分環(huán)節(jié)的詳細(xì)例子進(jìn)行了介紹。在第三部分將為大家介紹阿里機(jī)器翻譯的一些技術(shù)亮點(diǎn)，主要包括面向電商的阿里機(jī)器翻譯引擎所面對的挑戰(zhàn)以及技術(shù)的創(chuàng)新點(diǎn)。
搭建電商場景機(jī)器翻譯系統(tǒng)的挑戰(zhàn)
搭建電商場景機(jī)器翻譯系統(tǒng)的挑戰(zhàn)主要來自于三個方面，即翻譯質(zhì)量、服務(wù)要求以及快速迭代。第一點(diǎn)就是翻譯質(zhì)量，因為電商場景下往往與交易相關(guān)，因此對于翻譯的質(zhì)量有著非常高的要求，不僅要求電商場景翻譯結(jié)果高可讀性要求，還要求領(lǐng)域相關(guān)的關(guān)鍵信息翻譯的準(zhǔn)確性，這里的關(guān)鍵信息包括了品牌、關(guān)鍵屬性、尺寸、數(shù)字以及物流信息等，這些信息在電商場景下相對于通用場景下有著更高的要求。此外，還需要有更加靈活的干預(yù)機(jī)制，因為機(jī)器翻譯在一些場景下翻譯不能非常準(zhǔn)確，一旦發(fā)現(xiàn)這些場景下的信息翻譯不準(zhǔn)確的時候，就可以做出快速干預(yù)，及時地糾正翻譯結(jié)果。第二點(diǎn)就是對于服務(wù)的要求，這里包括高可用性的要求，因為會涉及到交易，因此不能夠在交易的過程中出現(xiàn)問題影響到整個交易的鏈路。此外，還需要有多區(qū)域的要求，阿里機(jī)器翻譯服務(wù)于整個阿里巴巴多個部門和團(tuán)隊，各個團(tuán)隊都分布在不同的區(qū)域上，那么就需要有多區(qū)域部署的要求。此外，還有高并發(fā)和高響應(yīng)的要求，大家都知道阿里“雙11”場景下的流量是非常大的，在支持這樣大流量的場景的需求下，就需要滿足高并發(fā)的要求，并且在響應(yīng)時間上也有非常高的標(biāo)準(zhǔn)。最后一點(diǎn)就是快速迭代，正因為阿里機(jī)器翻譯支撐了如此之多的業(yè)務(wù)，所以需要快速大規(guī)模語料訓(xùn)練能力能夠在短時間內(nèi)訓(xùn)練出一個質(zhì)量可用的模型；而且在場景如此多的情況下，經(jīng)常會出現(xiàn)語種的擴(kuò)展，因此阿里機(jī)器翻譯也需要語種快速擴(kuò)展的能力；最后還有對于模型迭代更新效率的要求。對于上述三個挑戰(zhàn)，需要從三個方面進(jìn)行解決。首先是模型，之后是數(shù)據(jù)，最后是工程，只有從這三個方面才能夠解決實際業(yè)務(wù)所帶來的挑戰(zhàn)。接下來就為大家介紹如何從模型、數(shù)據(jù)和工程三個方面應(yīng)對挑戰(zhàn)。
模型
對于模型而言，為了保證電商場景能夠具有非常高的翻譯質(zhì)量，所以在模型上對于不同的場景進(jìn)行了區(qū)分，并且采用了多模型融合的機(jī)制。阿里機(jī)器翻譯在商品描述、評論以及溝通這種文本比較長并且對于整個句子順滑度要求比較高的場景下，采用了基于神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的模型。而在像商品標(biāo)題、搜索詞以及屬性等短文本的場景下，采用了統(tǒng)計機(jī)器翻譯的模型進(jìn)行解決。而像數(shù)字、日期、單位、地址以及旅游場景下的一些菜單等使用了規(guī)則翻譯來進(jìn)行解決。最后一部分，阿里機(jī)器翻譯會有一批翻譯記憶高精準(zhǔn)的人工翻譯數(shù)據(jù)，在最外層做一層翻譯記憶的過濾，來完整地匹配待翻譯的文本。
在模型的網(wǎng)絡(luò)上也采用了Transformer新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這樣相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)翻譯模型而言，翻譯質(zhì)量的提升也比較明顯，訓(xùn)練速度的提升也非常明顯。在剛剛結(jié)束的國際機(jī)器翻譯評測比賽上面，也對于這套模型進(jìn)行了論證，并且在5項評測中獲得冠軍。
數(shù)據(jù)
其實在人工智能領(lǐng)域，除了模型之外，數(shù)據(jù)也起到了非常重要的作用。阿里機(jī)器翻譯所用的數(shù)據(jù)總結(jié)而言就是“領(lǐng)域”，也就是使用了大量與電商領(lǐng)域相關(guān)的數(shù)據(jù)，比如電商領(lǐng)域雙語的語料、電商領(lǐng)域?qū)I(yè)的詞表、電商高頻短語、電商領(lǐng)域的單語語料、電商品牌詞表等，并結(jié)合了通用領(lǐng)域單語語料以及通用領(lǐng)域雙語語料等來訓(xùn)練電商的機(jī)器翻譯引擎。在數(shù)量級上大概能夠達(dá)到10億級別的雙語平行語料、億級別的電商雙語平行語料、千萬級電商知識庫以及大規(guī)模行業(yè)多語言術(shù)語庫。而對于語料的主要來源而言，首先最大的是通過互聯(lián)網(wǎng)抓取的雙語平行語料；另外一部分是通過自動地術(shù)語挖掘產(chǎn)生領(lǐng)域相關(guān)的術(shù)語的語聊；最后一部分就是通過人工翻譯所提供的語料。
下圖展現(xiàn)了與數(shù)據(jù)相關(guān)的一整套數(shù)據(jù)體系，包含了數(shù)據(jù)獲取、數(shù)據(jù)精選以及電商知識庫的構(gòu)建。對于數(shù)據(jù)獲取而言，首先阿里機(jī)器翻譯的大部分?jǐn)?shù)據(jù)還是來自于互聯(lián)網(wǎng)，通過網(wǎng)絡(luò)抓取多語言網(wǎng)頁，對于這些網(wǎng)頁進(jìn)行統(tǒng)一地解析、清洗和處理形成雙語語料，并且有較少的一部分是通過語料購買或者交換和人工翻譯生產(chǎn)出極少與領(lǐng)域相關(guān)的數(shù)據(jù)，并且對于少量的數(shù)據(jù)做一些領(lǐng)域相關(guān)的優(yōu)化。在語料的精選方面，其實有不同層次的機(jī)制，基礎(chǔ)的就是基于一些規(guī)則的互譯質(zhì)量的判斷、流利度的判斷以及N-gram的過濾。其次，還會有一些模型能夠篩選出領(lǐng)域相關(guān)的語料。最后一部分就是通過機(jī)器學(xué)習(xí)做更深層次、更細(xì)化的質(zhì)量相關(guān)的工作。在電商知識庫的構(gòu)建方面，則主要是依托于服務(wù)的業(yè)務(wù)方，比如Alibaba.com、AliExpress以及天貓國際等，從這些業(yè)務(wù)方的商品數(shù)據(jù)里面進(jìn)行智能挖掘，挖掘出命名實體、同義詞、上位詞以及詞與詞之間的依存關(guān)系等，再將這些依存關(guān)系通過自動的雙語生成或者人工翻譯成多語言的版本，最終建立了多語言的電商支持?jǐn)?shù)據(jù)。
工程
最后的一部分就是阿里機(jī)器翻譯在工程部分所做的事情，在這方面的工作主要包括了四個方面。第一方面是全球化部署，為了滿足分布在不同地區(qū)以及國家的業(yè)務(wù)，阿里機(jī)器翻譯目前在美國、新加坡、俄羅斯以及中國都部署了機(jī)房。第二部分就是分布式的訓(xùn)練，這是依托于阿里巴巴集團(tuán)的大規(guī)模分布式系統(tǒng)構(gòu)建的一套分布式訓(xùn)練的框架來提升整體的機(jī)器學(xué)習(xí)訓(xùn)練速度。第三部分是并行計算，這部分是為了提升整個機(jī)器翻譯的吞吐量所進(jìn)行的優(yōu)化，因為在很多翻譯場景下都翻譯的是商品的詳細(xì)描述，針對于這樣的一大段文本進(jìn)行了優(yōu)化，也就是將這樣的一大段文本切分成不同的小文本，同時并行地調(diào)用翻譯引擎來提升整個吞吐量。最后一部分就是性能優(yōu)化，性能優(yōu)化主要是針對GPU的性能進(jìn)行優(yōu)化，來提升整個機(jī)器翻譯的響應(yīng)時間。
四、阿里云機(jī)器翻譯產(chǎn)品介紹
前面介紹了機(jī)器翻譯技術(shù)的亮點(diǎn)和挑戰(zhàn)，最后為大家介紹一下本次在阿里云上發(fā)布的機(jī)器翻譯產(chǎn)品。阿里云上的機(jī)器翻譯產(chǎn)品主要是以API的形式進(jìn)行發(fā)布上線的。大家可以在阿里云主頁上的導(dǎo)航欄中選擇“產(chǎn)品->人工智能->自然語言處理->機(jī)器翻譯”來查看機(jī)器翻譯產(chǎn)品的詳情。本次上線的產(chǎn)品主要有三個版本，通用基礎(chǔ)版API支持中英互譯，有免費(fèi)額度，用戶試用為主；電商標(biāo)準(zhǔn)版API支持英中，英俄，英西，英法和英葡的互譯，在電商領(lǐng)域機(jī)翻質(zhì)量有明顯優(yōu)勢，適用于電商場景下的標(biāo)題，商品描述，評價等領(lǐng)域；通用標(biāo)準(zhǔn)版API支持中英互譯，新語種持續(xù)增加中，適用于旅游、口語等通用場景。
本次的發(fā)布只是阿里機(jī)器翻譯開放的開始，后續(xù)將會有更多的能力通過阿里云對外輸出。在未來，阿里機(jī)器翻譯將會持續(xù)提升翻譯質(zhì)量，保持將最新的模型能力對外更新。豐富API輸出能力，如支持用戶自定義翻譯結(jié)果。豐富開放場景，依托于阿里的優(yōu)勢重點(diǎn)打造電商場景，同時補(bǔ)齊通用場景的短板。完善產(chǎn)品矩陣，支持文本、語音和圖像等多模態(tài)開放API。最后一部分就是支持定制化私有部署，用戶只需要提供自己場景相關(guān)的訓(xùn)練數(shù)據(jù)，阿里機(jī)器翻譯就能夠幫助用戶做模型訓(xùn)練、部署以及發(fā)布，用戶可以自己的環(huán)境下進(jìn)行應(yīng)用部署。
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。
?
工商網(wǎng)監(jiān)
評論