第二屆百度AI開(kāi)發(fā)者大會(huì)在北京舉行，百度AI交互設(shè)計(jì)院在首次舉辦的AI設(shè)計(jì)分論壇上，分享了《AI時(shí)代的人因工程》主題演講，他們認(rèn)為：在AI時(shí)代，全新的設(shè)計(jì)將會(huì)重構(gòu)我們身邊的工具、生產(chǎn)力、生活甚至心理學(xué)。AI時(shí)代的人因工程，是關(guān)于人的能力、行為、限制的特點(diǎn)，也關(guān)于人的社會(huì)、文化、心理，是真正以人類為中心的系統(tǒng)工程。他們還將腦電、肌電和眼動(dòng)等生理測(cè)量方法引入了人因工程研究中，將研究方法進(jìn)行創(chuàng)新迭代，不斷助力百度的AI產(chǎn)品進(jìn)行“重構(gòu)”。百度開(kāi)發(fā)者大會(huì)剛剛結(jié)束，百度AI交互設(shè)計(jì)院又隨即推出了最新的研究報(bào)告《多維對(duì)話——走向視聽(tīng)融合的語(yǔ)音交互新體驗(yàn)研究》，進(jìn)一步用扎實(shí)的研究彰顯了他們?cè)贏I交互設(shè)計(jì)領(lǐng)域的專業(yè)實(shí)力。

過(guò)去四十年，人與機(jī)器的交互方式在不斷進(jìn)化，幾乎每十年就會(huì)有一次重大革新。來(lái)到人工智能時(shí)代，生活中越來(lái)越多的設(shè)備開(kāi)始支持語(yǔ)音交互，語(yǔ)音交互逐漸成為人們傳達(dá)意圖和與設(shè)備交流的優(yōu)先選擇（Voice First）。與傳統(tǒng)交互相比，語(yǔ)音交互解放了雙手和雙眼，人們可以低成本與設(shè)備互動(dòng)；而且，語(yǔ)音是多維的，除了言語(yǔ)本身的信息，言語(yǔ)中還蘊(yùn)含著豐富情感，允許人們與設(shè)備進(jìn)行更充分的互動(dòng)。

語(yǔ)音交互也有局限性。語(yǔ)音交互是非可視化的，容易增加人們的記憶負(fù)擔(dān)，設(shè)想語(yǔ)音查詢信息的場(chǎng)景，你可能需要集中精力聽(tīng)，如果不留神就容易錯(cuò)過(guò)一些內(nèi)容。鑒于此，正如人工智能專家吳恩達(dá)提到的，人與機(jī)器交流最高效的方式是語(yǔ)言，而機(jī)器與人最高效的交流方式是語(yǔ)言加上視覺(jué)，即需要在聽(tīng)覺(jué)基礎(chǔ)上融入視覺(jué)信息彌補(bǔ)語(yǔ)音交互的不足。從語(yǔ)音向視覺(jué)延伸，在語(yǔ)音交互中融入可視化信息，已經(jīng)是業(yè)界探索下一代語(yǔ)音交互范式的重要趨勢(shì)。以智能音箱為例，除了無(wú)屏音箱以外，市場(chǎng)上開(kāi)始出現(xiàn)帶屏幕的音箱。

百度人工智能交互設(shè)計(jì)院本期以有屏智能設(shè)備為研究對(duì)象，聚焦語(yǔ)音交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗(yàn)?？紤]到屏幕尺寸差異可能對(duì)反饋和內(nèi)容輸出體驗(yàn)的影響，研究選擇了兩種不同屏幕尺寸的設(shè)備，分別是智能音箱（7英寸）和智能電視（55英寸）。本期的主要研究問(wèn)題包括：

1）有屏設(shè)備的指令上屏反饋體驗(yàn)，主要指用戶輸入語(yǔ)音指令后，文本指令上屏的延遲時(shí)間以及文本指令在屏幕上呈現(xiàn)的合理時(shí)間；

2）有屏設(shè)備內(nèi)容輸出的音量干擾體驗(yàn)，主要指用戶在特定場(chǎng)景下（如聽(tīng)音樂(lè)/看視頻），插入其它任務(wù)后（如查詢百科），不同內(nèi)容輸出時(shí)的音量合理設(shè)置。

有屏設(shè)備的指令上屏體驗(yàn)研究

與無(wú)屏設(shè)備相比，顯示屏的融入使語(yǔ)音交互過(guò)程有更豐富的反饋形式。以語(yǔ)音識(shí)別階段為例，在無(wú)屏設(shè)備上，用戶通常無(wú)法直接知道輸入指令的識(shí)別結(jié)果。而有屏設(shè)備直接在屏幕上顯示指令的識(shí)別結(jié)果，用戶可以方便的查看識(shí)別結(jié)果的正確或錯(cuò)誤情況，例如上屏后的指令"我要聽(tīng)周杰倫的青花瓷"。然而，目前很多設(shè)備在指令上屏?xí)r存在一定程度的延遲現(xiàn)象，本實(shí)驗(yàn)對(duì)指令上屏合理的延遲時(shí)間和呈現(xiàn)時(shí)間進(jìn)行研究。

1、指令上屏延遲時(shí)間實(shí)驗(yàn)

由于市場(chǎng)上的有屏設(shè)備多數(shù)采用實(shí)時(shí)上屏方式，即用戶輸入語(yǔ)音指令的同時(shí)就開(kāi)始在屏幕上呈現(xiàn)識(shí)別結(jié)果，因此，本實(shí)驗(yàn)只研究實(shí)時(shí)上屏。在實(shí)驗(yàn)中我們使用實(shí)時(shí)逐字上屏的方式，并以控制首字上屏延遲時(shí)間為主要變量（注：首字上屏延遲時(shí)間指從用戶開(kāi)始說(shuō)到第一個(gè)字上屏的時(shí)間間隔），我們?cè)O(shè)置了不同的首字延遲時(shí)間，以此獲取用戶對(duì)指令上屏速度的滿意度評(píng)價(jià)（5點(diǎn)量表：1-非常不滿意，2-比較不滿意，3-一般，4-比較滿意，5-非常滿意）。在實(shí)驗(yàn)中，我們分別提供了3種不同長(zhǎng)度的指令。

實(shí)驗(yàn)結(jié)果表明，首字延遲時(shí)間越短，用戶的滿意度越高，不同屏幕尺寸設(shè)備的首字延遲時(shí)間滿意度略有差異，我們將"4-比較滿意"看做用戶滿意的得分下限，將"3-一般"看做用戶可接受的得分下限，不同設(shè)備間用戶滿意和可接受的上屏?xí)r間如下：

1）對(duì)于有屏音箱，用戶滿意的首字延遲時(shí)間下限在500ms左右，可接受的首字延遲時(shí)間下限在1500-1600ms左右；

2）對(duì)于智能電視，用戶滿意的首字延遲時(shí)間下限在600-700ms左右，可接受的首字延遲時(shí)間下限在1100-1200ms左右；

結(jié)合對(duì)市場(chǎng)上其它設(shè)備的研究發(fā)現(xiàn)，部分設(shè)備的首字上屏?xí)r間明顯比用戶滿意的時(shí)間下限長(zhǎng)，少數(shù)甚至比可接受的下限還要長(zhǎng)。關(guān)于指令上屏速度，產(chǎn)品仍有改善和優(yōu)化的空間，即語(yǔ)音識(shí)別ASR（Automatic Speech Recognition）技術(shù)除了在不斷提升識(shí)別準(zhǔn)確率以外，同時(shí)也需要關(guān)注識(shí)別速度指標(biāo)的提升。

2、指令上屏呈現(xiàn)時(shí)間實(shí)驗(yàn)

除了指令上屏?xí)r間，我們進(jìn)一步對(duì)指令上屏后合理的呈現(xiàn)時(shí)間進(jìn)行研究，以避免指令呈現(xiàn)時(shí)間太短導(dǎo)致用戶無(wú)法看清，或者呈現(xiàn)時(shí)間太長(zhǎng)導(dǎo)致整個(gè)交互過(guò)程拖沓冗余。在實(shí)驗(yàn)中，我們以文字呈現(xiàn)時(shí)間為主要變量（注：文字呈現(xiàn)時(shí)間指文本指令最后一個(gè)字上屏后到全部指令消失的時(shí)間間隔），獲取用戶對(duì)不同呈現(xiàn)時(shí)間的滿意度評(píng)價(jià)。由于語(yǔ)音識(shí)別涉及語(yǔ)言模型技術(shù)，實(shí)際的指令上屏并不是逐字的方式，因此，本部分實(shí)驗(yàn)我們也模擬了逐塊上屏的方式，以指令"我想看劉德華2010年以前主演的香港電影"為例，"劉德華"被整體識(shí)別后才上屏。在實(shí)驗(yàn)中，我們也分別提供了3種不同長(zhǎng)度的指令。

實(shí)驗(yàn)結(jié)果表明，存在最優(yōu)的文字上屏呈現(xiàn)時(shí)間，不同屏幕尺寸設(shè)備之間，最優(yōu)的文字上屏呈現(xiàn)時(shí)間無(wú)顯著差異。不同上屏方式間存在差異，逐字上屏和逐塊上屏的最優(yōu)呈現(xiàn)時(shí)間分別如下：

1）逐字上屏方式下，最優(yōu)的指令呈現(xiàn)時(shí)間為200-500ms的區(qū)間；

2）逐塊上屏方式下，最優(yōu)的指令呈現(xiàn)時(shí)間為400-700ms的區(qū)間。

由于逐塊上屏方式更接近真實(shí)產(chǎn)品的上屏方式，因此建議主要參考400-700ms的呈現(xiàn)時(shí)間。需要說(shuō)明的是，由于實(shí)時(shí)上屏的方式允許用戶在輸入語(yǔ)音指令過(guò)程中就可以查看已經(jīng)上屏的文字，這與整體識(shí)別后上屏的方式明顯不同，因此，如果產(chǎn)品采用的是整體識(shí)別后上屏的方式，不建議參考本部分實(shí)驗(yàn)的結(jié)論。

有屏設(shè)備的音量干擾體驗(yàn)研究

有屏設(shè)備除了使語(yǔ)音交互有更豐富的反饋以外，屏幕的引入也擴(kuò)展了設(shè)備過(guò)去不具備的功能，例如視頻內(nèi)容消費(fèi)和視頻通訊能力等。同時(shí)設(shè)備的使用也在經(jīng)歷從過(guò)去單一任務(wù)到多個(gè)任務(wù)的變化，當(dāng)看視頻時(shí)，你可以隨時(shí)插入任務(wù)查找信息，例如看電視劇《扶搖》時(shí)查詢演員楊冪的信息。本部分實(shí)驗(yàn)主要研究用戶插入任務(wù)后，前景內(nèi)容和背景內(nèi)容間的音量干擾體驗(yàn)，如當(dāng)前景內(nèi)容正在語(yǔ)音播報(bào)信息時(shí)，背景視頻或音樂(lè)的合理音量范圍，以避免過(guò)高的背景音對(duì)用戶獲取信息產(chǎn)生干擾。

1、音量干擾實(shí)驗(yàn)

在實(shí)驗(yàn)中，用戶被要求分別在看視頻和聽(tīng)音樂(lè)兩種場(chǎng)景下進(jìn)行信息查詢。我們?cè)O(shè)置了兩種初始音量（注：初始音量是用戶看視頻/聽(tīng)音樂(lè)的音量）：60和65分貝，用戶查詢?nèi)宋锘虬倏菩畔⒑?，通過(guò)設(shè)置不同的背景音量（注：此時(shí)前景內(nèi)容為語(yǔ)音播報(bào)信息，背景內(nèi)容為視頻或音樂(lè)），獲取用戶對(duì)背景音量的滿意度評(píng)價(jià)。同時(shí)結(jié)合實(shí)驗(yàn)后問(wèn)卷了解用戶對(duì)前景和背景信息展示的態(tài)度。由于不同設(shè)備間音量刻度范圍存在差異，實(shí)驗(yàn)中對(duì)有屏音箱和智能電視的背景音量進(jìn)行了分別設(shè)置。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，無(wú)論背景是視頻還是音樂(lè)，用戶都不喜歡背景完全靜音（注：下圖中"0"代表背景完全靜音）。針對(duì)有屏音箱和智能電視，當(dāng)初始音量約為60分貝時(shí)，背景音量舒適范圍略有差異，具體結(jié)果如下：

1）針對(duì)有屏音箱，背景視頻音量下降至36-53分貝范圍，背景音樂(lè)音量下降至39-56分貝范圍時(shí)，用戶主觀感覺(jué)較舒適；

2）針對(duì)智能電視，背景視頻音量下降至39-53分貝范圍，背景音樂(lè)音量下降至36-53分貝范圍時(shí)，用戶主觀感覺(jué)較舒適。

實(shí)驗(yàn)中我們同時(shí)研究了初始音量為65分貝時(shí)背景音量的舒適范圍，因?qū)嶒?yàn)結(jié)果與上述趨勢(shì)基本一致，篇幅所限，暫不一一展開(kāi)。

此外，結(jié)合實(shí)驗(yàn)后的問(wèn)卷調(diào)研結(jié)果發(fā)現(xiàn)，關(guān)于背景的播放狀態(tài)，背景為音樂(lè)時(shí)用戶更傾向繼續(xù)播放，而背景為視頻時(shí)有屏音箱端傾向視頻暫停的用戶更多。主要是由于有屏音箱端背景視頻被完全覆蓋，因此，用戶認(rèn)為背景視頻暫停較好，以避免錯(cuò)過(guò)感興趣的視頻內(nèi)容。

關(guān)于前景內(nèi)容的播放狀態(tài)，無(wú)論屏幕尺寸差異和背景媒體類型，多數(shù)用戶希望能夠?qū)η熬靶畔⑦M(jìn)行語(yǔ)音播報(bào)，而不僅僅是在屏幕上以文字或圖文的形式展示。

本文針對(duì)有屏設(shè)備的語(yǔ)音交互體驗(yàn)進(jìn)行研究，重點(diǎn)探索整合視覺(jué)系統(tǒng)后交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗(yàn)問(wèn)題。對(duì)指令上屏的延遲時(shí)間和指令呈現(xiàn)時(shí)間給出了我們的研究結(jié)果和設(shè)計(jì)建議，以及不同內(nèi)容輸出時(shí)前景和背景的合理音量設(shè)置等。

從語(yǔ)音向視覺(jué)的延伸，語(yǔ)音交互的邊界和外延仍將不斷變化。語(yǔ)音交互與傳統(tǒng)的交互方式并不是互斥的、非此即彼的關(guān)系，未來(lái)的人機(jī)交互將融入聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)、味覺(jué)、嗅覺(jué)等多模態(tài)的交互方式。未來(lái)的交互范式必然不是這些交互方式的簡(jiǎn)單堆砌和羅列，而是在考慮特定場(chǎng)景、人的因素、環(huán)境條件等因素后有序的、合理的組合和設(shè)計(jì)。百度人工智能交互設(shè)計(jì)院也將會(huì)持續(xù)的關(guān)注多模態(tài)交互領(lǐng)域的研究和設(shè)計(jì)，并不斷輸出我們的研究成果和觀點(diǎn)。