近年來(lái)，人工智能在國(guó)內(nèi)外掀起了新一輪技術(shù)創(chuàng)新的浪潮，人工智能正在成為產(chǎn)業(yè)革命的新風(fēng)口。據(jù)BBC預(yù)測(cè)，到2020年，全球人工智能市場(chǎng)規(guī)?？蛇_(dá)到1190億元。艾瑞咨詢預(yù)測(cè)，到2020年，中國(guó)人工智能市場(chǎng)規(guī)模約91億元。

目前，政策、經(jīng)濟(jì)、人才、技術(shù)各方面都為人工智能提供了很好的條件：

(1) 政策：人工智能進(jìn)入國(guó)家戰(zhàn)略層面。國(guó)務(wù)院在《關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見》中將人工智能推上國(guó)家戰(zhàn)略層面。在國(guó)家“十三五”規(guī)劃的“科技創(chuàng)新-2030項(xiàng)目”中，智能制造和機(jī)器人被列為重大發(fā)展工程。2016年，為加快人工智能產(chǎn)業(yè)發(fā)展，國(guó)家發(fā)展改革委、科技部、工業(yè)和信息化部、中央網(wǎng)信辦制定了《“互聯(lián)網(wǎng)+”人工智能三年行動(dòng)實(shí)施方案》。2016年科大訊飛、華為等行業(yè)知名企業(yè)，在深圳共同發(fā)布中國(guó)《人工智能深圳宣言》，積極探索政、產(chǎn)、學(xué)、研、用合作機(jī)制，推動(dòng)人工智能產(chǎn)業(yè)的協(xié)同發(fā)展。2017年十二屆全國(guó)人大會(huì)議中，國(guó)務(wù)院******提出，要推動(dòng)內(nèi)地與港澳深化合作，研究制定“粵港澳大灣區(qū)”城市群發(fā)展規(guī)劃，提升在國(guó)家經(jīng)濟(jì)發(fā)展和對(duì)外開放中的地位與功能。

(2)經(jīng)濟(jì)：互聯(lián)網(wǎng)經(jīng)濟(jì)高速發(fā)展，據(jù)艾瑞咨詢估計(jì)，2015年中國(guó)網(wǎng)絡(luò)經(jīng)濟(jì)增長(zhǎng)約33%，市場(chǎng)規(guī)模超過(guò)千億，并有持續(xù)增長(zhǎng)趨勢(shì)。2014年開始，投資機(jī)構(gòu)在人工智能領(lǐng)域投資金額，數(shù)量均大幅度增加。據(jù)咨詢公司Venture Scanner統(tǒng)計(jì)，2016年全球人工智能公司已突破1000家，融資高達(dá)48億美元。

(3) 人才：在中國(guó)科研投入占全球的20%，僅次于美國(guó)，信息技術(shù)互聯(lián)網(wǎng)領(lǐng)域是國(guó)家的重點(diǎn)投入對(duì)象，近五年，科研人員保持20%的持續(xù)增長(zhǎng)，為人工智能的發(fā)展提供了充足的人才支撐。

(4)技術(shù)：目前我國(guó)已在計(jì)算機(jī)視覺，智能語(yǔ)音等領(lǐng)域?qū)崿F(xiàn)了技術(shù)突破，處于國(guó)際領(lǐng)先水平。國(guó)內(nèi)具有代表性的公司或機(jī)構(gòu)包括：百度，阿里巴巴，騰訊，科大訊飛，曠視科技，商湯科技等。

在人工智能技術(shù)中，智能語(yǔ)音技術(shù)是一個(gè)重要的分支，是人機(jī)交互過(guò)程中不可或缺的部分。語(yǔ)音技術(shù)包含：語(yǔ)音識(shí)別、語(yǔ)音合成、聲紋識(shí)別、語(yǔ)音評(píng)測(cè)、語(yǔ)音轉(zhuǎn)換等，其中發(fā)音檢錯(cuò)糾錯(cuò)和語(yǔ)音轉(zhuǎn)換技術(shù)近期有了新的突破。

發(fā)音檢錯(cuò)糾錯(cuò)

英語(yǔ)是當(dāng)今世界上最為通用的語(yǔ)言，其重要性已為所有人深刻領(lǐng)會(huì)。由于英語(yǔ)的強(qiáng)勢(shì)地位，目前被超過(guò)100個(gè)國(guó)家作為外語(yǔ)教學(xué)的第一外語(yǔ)。據(jù)EF英孚教育發(fā)布的《2015年英語(yǔ)熟練度指標(biāo)報(bào)告》顯示，中國(guó)人每年花費(fèi)千億元用于英語(yǔ)培訓(xùn)，但實(shí)際效果依然不佳，在全球70個(gè)國(guó)家和地區(qū)中，中國(guó)大陸排名47位。雖然英語(yǔ)水平仍處于低熟練程度，但近年來(lái)呈現(xiàn)明顯增長(zhǎng)趨勢(shì)。據(jù)中國(guó)社會(huì)調(diào)查所公布的中國(guó)居民消費(fèi)調(diào)查報(bào)告統(tǒng)計(jì)，中國(guó)已成為全球英語(yǔ)培訓(xùn)領(lǐng)域增長(zhǎng)速度最快的市場(chǎng)，年增長(zhǎng)率高達(dá)12%。在如此廣闊的英語(yǔ)培訓(xùn)市場(chǎng)下，線下英語(yǔ)培訓(xùn)面臨著師資數(shù)量短缺，教師口語(yǔ)水平參差不齊、“添鴨式”與“應(yīng)試式”教學(xué)以及無(wú)法有效改善口語(yǔ)聽力水平等存在諸多矛盾。

另外，中文拼音與英語(yǔ)音標(biāo)發(fā)音方法和位置有所區(qū)別，但許多中國(guó)學(xué)生在剛接觸英語(yǔ)時(shí)習(xí)慣用熟悉的中文拼音來(lái)標(biāo)注、記憶英語(yǔ)單詞的發(fā)音。久而久之，養(yǎng)成了不良的發(fā)音習(xí)慣，同時(shí)還由于中國(guó)學(xué)生普遍靦腆，上課口語(yǔ)訓(xùn)練時(shí)間不足，課后口語(yǔ)練習(xí)得不到反饋，以及大部分英語(yǔ)老師的發(fā)音不標(biāo)準(zhǔn)等因素造成了中國(guó)學(xué)生的發(fā)音不標(biāo)準(zhǔn)。由于發(fā)音一直是中國(guó)學(xué)生學(xué)習(xí)英語(yǔ)時(shí)一個(gè)難關(guān)，有許多人愿意為了糾正發(fā)音，支付高昂的學(xué)費(fèi)，請(qǐng)外教糾正自己的發(fā)音。隨著移動(dòng)在線語(yǔ)言學(xué)習(xí)的興起，催生了AI語(yǔ)音評(píng)測(cè)，促進(jìn)了AI糾音技術(shù)的發(fā)展。

雖然目前市場(chǎng)上有許多在線的英語(yǔ)學(xué)習(xí)軟件，但大多數(shù)都只是簡(jiǎn)單地播放音視頻學(xué)習(xí)資料，學(xué)生跟讀，系統(tǒng)播放錄音。只有為數(shù)不多的軟件，具備打分評(píng)測(cè)的功能，而評(píng)測(cè)的準(zhǔn)確性，一直為學(xué)生所詬病。因此，市場(chǎng)迫切需要能提供高可靠的打分評(píng)測(cè)技術(shù)。

圖1 目前市面相關(guān)產(chǎn)品

另外，除了提供高可靠的打分評(píng)測(cè)技術(shù)，學(xué)生也迫切需要具體的發(fā)音診斷的反饋建議。因?yàn)閱渭兊拇蚍衷u(píng)測(cè)技術(shù)，只能夠指出學(xué)生的發(fā)音不夠好，但學(xué)生并不理解自己的發(fā)音錯(cuò)誤在哪里，及應(yīng)該如何改進(jìn)發(fā)音。比如把讀錯(cuò)的單詞標(biāo)紅出來(lái)，需反復(fù)對(duì)比原聲才能分析出錯(cuò)誤的細(xì)節(jié)，這在明顯讀錯(cuò)的情況下還好實(shí)現(xiàn)，如：steak/steik/，讀錯(cuò)為/sti:k/。

但以下情況就非常困難了，特別是學(xué)習(xí)者不熟悉英語(yǔ)的拼讀發(fā)音規(guī)則，語(yǔ)法的條件下。

(1)如records/'rek??dz/，讀錯(cuò)為/'rek??ds/。

(2)如the apple /ei/，讀錯(cuò)為/e?/（the在輔音前發(fā)/e?/，元音前發(fā)/ei/）。

(3)長(zhǎng)短音如book/b?k/，讀錯(cuò)為/bu?k/；Lily/'l?li:/，讀錯(cuò)為/'li:li:/。

如果學(xué)習(xí)者在反復(fù)練習(xí)過(guò)程中不能及時(shí)發(fā)現(xiàn)具體的錯(cuò)誤細(xì)節(jié)，會(huì)降低學(xué)習(xí)效率和興趣，甚至反復(fù)錯(cuò)誤發(fā)音，產(chǎn)生錯(cuò)誤的肌肉記憶。這個(gè)問(wèn)題，在學(xué)術(shù)研究上被稱為“錯(cuò)誤發(fā)音檢測(cè)及診斷”。為了解決這個(gè)問(wèn)題，在過(guò)去的十多年中，世界上的許多頂級(jí)科研機(jī)構(gòu)都投入了大量的人力物力，其中最具影響力的包括香港中文大學(xué)，清華大學(xué)，臺(tái)灣大學(xué)，美國(guó)麻省理工大學(xué)，新加坡資訊通信研究院，微軟亞洲研究院，IBM等等。

圖2多任務(wù)學(xué)習(xí)的聲學(xué)音素模型

“錯(cuò)誤發(fā)音檢測(cè)及診斷”的難點(diǎn)在于它們不同于一般的語(yǔ)音識(shí)別技術(shù)，對(duì)于訓(xùn)練模型和訓(xùn)練數(shù)據(jù)有著更嚴(yán)格的要求，并且不同母語(yǔ)的人群在學(xué)習(xí)英語(yǔ)的過(guò)程中易出現(xiàn)的錯(cuò)誤也不同。因此要收集大量以中文為母語(yǔ)的人群的英文錄音，并邀請(qǐng)專業(yè)人士對(duì)數(shù)據(jù)進(jìn)行了人工標(biāo)注。隨著深度學(xué)習(xí)的發(fā)展，和多年的技術(shù)積累，聲希科技李坤博士等人實(shí)現(xiàn)了此領(lǐng)域的重大突破，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)聲學(xué)特征和標(biāo)準(zhǔn)發(fā)音進(jìn)行預(yù)測(cè)，輸出后驗(yàn)概率（如圖2所示）。不僅實(shí)現(xiàn)了對(duì)錯(cuò)誤發(fā)音的檢錯(cuò)和診斷，還能對(duì)重音，語(yǔ)調(diào)，流利度等實(shí)現(xiàn)評(píng)測(cè)（如圖3所示）。

圖3 發(fā)音，重音，音調(diào)檢錯(cuò)糾錯(cuò)技術(shù)展示

語(yǔ)音評(píng)測(cè)技術(shù)的突破讓AI系統(tǒng)成為私人發(fā)音老師成為可能。當(dāng)系統(tǒng)知道學(xué)生具體的錯(cuò)誤后，就能自動(dòng)匹配相應(yīng)的教學(xué)內(nèi)容和練習(xí)題目，實(shí)現(xiàn)更精準(zhǔn)的自適應(yīng)推薦。如果新技術(shù)能得到普及，那將大大改善中國(guó)學(xué)生的發(fā)音現(xiàn)狀，特別是解決農(nóng)村鄉(xiāng)鎮(zhèn)地區(qū)的教育資源和語(yǔ)言環(huán)境問(wèn)題。

另外，隨著中國(guó)在國(guó)際上地位的提升，特別是一帶一路的推動(dòng)，愈來(lái)愈多外國(guó)人開始學(xué)習(xí)漢語(yǔ)，資料顯示全球?qū)W習(xí)漢語(yǔ)的外國(guó)人已經(jīng)超過(guò)1億。而中文發(fā)音是中文學(xué)習(xí)中的重大難題，發(fā)音評(píng)測(cè)的新技術(shù)能針對(duì)外國(guó)中文學(xué)習(xí)者的發(fā)音錯(cuò)誤的特點(diǎn)，利用可靠的發(fā)音自動(dòng)評(píng)測(cè)方法及時(shí)、準(zhǔn)確地糾正發(fā)音錯(cuò)誤，可以大大提高中文輔助語(yǔ)音教學(xué)系統(tǒng)的教學(xué)效果。

語(yǔ)音轉(zhuǎn)換

隨著語(yǔ)音信號(hào)處理技術(shù)（包括語(yǔ)音識(shí)別和語(yǔ)音合成）的發(fā)展，在人機(jī)交互中語(yǔ)音已成為最自然最方便交互方式之一。語(yǔ)音不僅可以傳遞信息，也可以傳遞情感、態(tài)度和說(shuō)話人的個(gè)人特征。其中，說(shuō)話人的個(gè)人特征在我們?nèi)粘＝涣髦邪缪葜匾巧?，它允許我們?cè)陔娫?、廣播節(jié)目、電影等媒體中區(qū)分說(shuō)話人。除此之外，智能語(yǔ)音助手變得越來(lái)越流行，比如 Apple Siri、Microsoft Cortana、Amazon Alexa。大多數(shù)人對(duì)語(yǔ)音助手的音色有很強(qiáng)的偏好，因此生成具有特別音色的語(yǔ)音在人機(jī)交互領(lǐng)域非常重要。

圖4 語(yǔ)音轉(zhuǎn)換示意圖

上述場(chǎng)景可歸結(jié)為語(yǔ)音轉(zhuǎn)換（VoiceConversion）問(wèn)題，目標(biāo)在于修改非目標(biāo)說(shuō)話人Non-target（NT）Speaker的語(yǔ)音音色，使其聽起來(lái)像是目標(biāo)說(shuō)話人Target（T）Speaker的語(yǔ)音，但同時(shí)保持說(shuō)話的內(nèi)容T- Content不變（如圖4所示）。

深度學(xué)習(xí)是人工智能領(lǐng)域劃時(shí)代的革命技術(shù)，隨著深度學(xué)習(xí)的應(yīng)用，合成語(yǔ)音和轉(zhuǎn)換語(yǔ)音的自然度和流暢度都有很大的提升。在語(yǔ)音合成領(lǐng)域，Google Deepmind 在2016年提出的Wavenet模型將自然度提高了50%。2017年Yoshua Bengio等提出端對(duì)端合成模型，使得模型可以從文本直接生成語(yǔ)音而不需要前端預(yù)處理。在國(guó)內(nèi)，康世胤等在2013年將深度信念網(wǎng)絡(luò)（Deep Belief Networks）用于語(yǔ)音合成，為學(xué)界業(yè)界最早之一。2017年，百度研究院提出Deep Voice模型改進(jìn)了語(yǔ)音合成速度，實(shí)驗(yàn)證明該模型可以用于實(shí)時(shí)語(yǔ)音合成。

語(yǔ)音轉(zhuǎn)換技術(shù)的最早嘗試在1988年由Abe等學(xué)者完成。在1988年到2013年期間，大部分算法基于Codebook Mapping、Frequency Warping、Unit Selection、Gaussian Mixture Models。2013年開始，深度學(xué)習(xí)被應(yīng)用到語(yǔ)音轉(zhuǎn)換中，Nakashika等將深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks）用于在高維空間中，將非目標(biāo)說(shuō)話人語(yǔ)音映射到目標(biāo)說(shuō)話人語(yǔ)音。雖然語(yǔ)音轉(zhuǎn)換技術(shù)較以前有很大提升，但是語(yǔ)音自然度和音色相似度方面仍有很大的改善空間，另外在實(shí)用適用性方面不夠完善比如只能支持特定人到特定目標(biāo)人的轉(zhuǎn)換（一轉(zhuǎn)一），以及需要嚴(yán)苛的數(shù)據(jù)條件，需要目標(biāo)人上千句的語(yǔ)音數(shù)據(jù)。

圖5 深度循環(huán)神經(jīng)網(wǎng)絡(luò)（DBLSTM-RNNs）示意圖

在2015年，聲希科技聯(lián)合創(chuàng)始人孫立發(fā)博士團(tuán)隊(duì)等利用深度循環(huán)神經(jīng)網(wǎng)絡(luò)（DBLSTM-RNNs）來(lái)改進(jìn)轉(zhuǎn)換語(yǔ)音的自然度和流暢度（如圖5所示），傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)DNN只能映射單一幀到單一幀之間的關(guān)系忽略了語(yǔ)音連續(xù)信號(hào)幀之間的相關(guān)性，DBLSTM-RNNs很好的解決了這個(gè)問(wèn)題從而可以提升自然度和流程度。

圖6 非平行語(yǔ)句多對(duì)一語(yǔ)音轉(zhuǎn)換框架圖

在2016年，孫立發(fā)博士等利用從語(yǔ)音識(shí)別模型提取到的后驗(yàn)概率來(lái)映射非目標(biāo)說(shuō)話人和目標(biāo)說(shuō)話人（如圖6所示），可以實(shí)現(xiàn)多對(duì)一的轉(zhuǎn)換并且降低了對(duì)訓(xùn)練數(shù)據(jù)的要求，大大提高了語(yǔ)音轉(zhuǎn)換技術(shù)的實(shí)用性。語(yǔ)音轉(zhuǎn)換具有廣泛的應(yīng)用：

（1）個(gè)性化語(yǔ)音合成。將語(yǔ)音轉(zhuǎn)換技術(shù)與現(xiàn)有的語(yǔ)音合成系統(tǒng)結(jié)合，生成用戶想要的音色。

（2）計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)中的個(gè)性化語(yǔ)音反饋。目前語(yǔ)言學(xué)習(xí)者在學(xué)習(xí)的過(guò)程中參照的標(biāo)準(zhǔn)發(fā)音是統(tǒng)一的錄音，語(yǔ)音轉(zhuǎn)換系統(tǒng)可以合成出具有用戶自己音色的標(biāo)準(zhǔn)發(fā)音，幫助用戶進(jìn)行跟讀對(duì)比。

（3）機(jī)器翻譯。機(jī)器翻譯技術(shù)可以將一句語(yǔ)音從一種語(yǔ)言翻譯到另外一種語(yǔ)言，而語(yǔ)音轉(zhuǎn)換技術(shù)可以輔助機(jī)器翻譯，讓翻譯后的語(yǔ)音仍然保持說(shuō)話人的音色。

（4）語(yǔ)言障礙患者的個(gè)性化輔助。語(yǔ)言障礙為中風(fēng)、帕金森等疾病的常見后遺癥。語(yǔ)言障礙會(huì)影響患者的日常交流和個(gè)性化和情感表達(dá)。語(yǔ)音轉(zhuǎn)換技術(shù)加上語(yǔ)音合成技術(shù)可以輔助患者進(jìn)行正常的語(yǔ)音溝通，并且找回自己聲音的音色。

（5）娛樂(lè)領(lǐng)域。潛在應(yīng)用包括電影電視配音，游戲配音，導(dǎo)航配音等。