99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

支持情感TTS,小愛音箱Art聲學(xué)技術(shù)重磅升級!

姚小熊27 ? 來源:北國網(wǎng) ? 作者:北國網(wǎng) ? 2020-06-17 15:48 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,小米發(fā)布了小愛音箱Art,這款音箱采用全新的金屬機身,機身揚聲器開孔被設(shè)計成0.7mm厚度的金屬飾板,可謂功能與質(zhì)感兼具。小米小愛音箱Art通過一顆2.5英寸的全頻揚聲器,讓聲音的細(xì)節(jié)呈現(xiàn)得更加自然。

作為小米推出的第9款智能音箱,小米小愛音箱Art在技術(shù)上也全面升級,搭載第三代小愛同學(xué),并支持情感化語音交互、全屋播放及就近喚醒。通過這款音箱得以看出,小米的聲學(xué)語音技術(shù)已經(jīng)實現(xiàn)全面自研,并在自研部分領(lǐng)域持續(xù)。

情感化語音交互:通過迭代聲學(xué)模型,支持情感TTS

對于智能設(shè)備而言,實現(xiàn)情感化語音交互是一項挑戰(zhàn)。“情感”本身就是主觀的、多樣的感受,一種情感可以有多種呈現(xiàn)形式,更適合人與人的面對面對話。情感化語音交互對技術(shù)要求較高,要技術(shù)方、數(shù)據(jù)方、質(zhì)檢方等多方對情感濃度、情感詮釋方式等標(biāo)準(zhǔn)達(dá)成共識,將較主觀的情感音素統(tǒng)一化、標(biāo)準(zhǔn)化。

隨著人工智能技術(shù)的發(fā)展,在實現(xiàn)人機對話的基礎(chǔ)上,各大廠商都在情感化語音交互的領(lǐng)域探索。為了讓機器加入情感元素,小米AI實驗室在“情感數(shù)據(jù)量有限”的前提下,通過不同聲學(xué)模型、不同聲碼器組合最終上線自然、擬人效果的情感TTS,成為業(yè)內(nèi)首 家情感化TTS大規(guī)模落地的企業(yè)。

通過小米AI實驗室的不斷深耕,此次小米小愛同學(xué)Art全面支持情感化語音交互,基于有限但類型不同的情感音頻數(shù)據(jù)(如開心、關(guān)心、害羞、驚訝等),通過不同技術(shù)訓(xùn)練并迭代聲學(xué)模型,最終支持情感TTS合成并實現(xiàn)“小愛同學(xué)”音感化、擬人化。

未來,小米語音將升級此技術(shù)——支持情感TTS實時合成。從下圖中可以看出,在大數(shù)據(jù)集的預(yù)訓(xùn)練模型基礎(chǔ)上,利用目標(biāo)說話人的中性情感數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行微調(diào),得到目標(biāo)說話人的中性情感模型;在此基礎(chǔ)上用帶情感的小批量數(shù)據(jù)對模型進(jìn)一步微調(diào),最終得到不同情感的模型,最終實現(xiàn)情感合成。

在國內(nèi)語音助手行業(yè)中,小米首 次實現(xiàn)情感化TTS的大規(guī)模落地,未來將打造情感更加豐富的“小愛同學(xué)”,為用戶提供多元化的語音交互體驗,為IoT設(shè)備增加更豐富更立體更逼真的語音交互體驗。

語音支持全屋播放:立體聲組合同步播放相同音頻

小米小愛音箱Art,是首 款可以實現(xiàn)語音支持全屋播放的設(shè)備。用戶直接對小愛同學(xué)說“全屋播放XX”,無需提前在App端進(jìn)行手動設(shè)置,即可實現(xiàn)一句話語音交互,為用戶提供了更便捷的使用方式。

要實現(xiàn)這一功能,音箱需要具備AIoT放音的技術(shù)。小米AIoT放音的自研技術(shù)在攻克無線網(wǎng)絡(luò)抖動、晶振時鐘漂移以及弱網(wǎng)下數(shù)據(jù)不可達(dá)等一系列技術(shù)難題后,將不同音箱播放聲音的同步優(yōu)化到微秒級別,同時還實現(xiàn)了在不同型號的音箱之間的數(shù)據(jù)同步,提供更細(xì)膩的音質(zhì)和寬廣的聲像。

立體聲支持APP創(chuàng)建組網(wǎng),才能進(jìn)行語音指令和APP操作播放,全屋播放同時支持語音指令和APP創(chuàng)建組網(wǎng)。

立體聲功能同時支持語音指令和app操作播放,云端音頻流下發(fā)至音箱A,音箱A將立體聲分離為左右聲道,音箱A自己播放左聲道音頻并將右聲道音頻流下發(fā)給音箱B,由B音箱播放右聲道,精準(zhǔn)的同步技術(shù)保證音箱A和B同時播放立體聲的左右聲道音頻。全屋播放功能支持語音指令和app創(chuàng)建組網(wǎng),音頻流下發(fā)至音箱C,音箱C將音頻流混合為單聲道信號并下發(fā)給組內(nèi)其他的音箱設(shè)備同時播放,不區(qū)分聲道,可支持多個設(shè)備。

就近喚醒全面升級:實現(xiàn)跨設(shè)備關(guān)閉鬧鐘

早在2018年,小米音箱系列就上線了就近喚醒功能。值得一提的是,此次小米小愛音箱Art就近喚醒全新升級,可支持跨設(shè)備關(guān)閉鬧鐘。遠(yuǎn)處的音箱鬧鐘響了,喚醒近處的音箱可以直接關(guān)閉遠(yuǎn)處的鬧鐘。此功能在業(yè)內(nèi)首 次上線,小米小愛音箱Art也是首 款支持該功能的產(chǎn)品。

說到就近喚醒,小米早在2018年就上線這一功能,截止2020年4月28日,分布式就近喚醒已為多設(shè)備用戶累計避免約6.82億次設(shè)備同時喚醒,準(zhǔn)確率達(dá)到98%。近期首 發(fā)上線了端云多維度結(jié)合的就近喚醒綜合決策策略,深入加強多設(shè)備狀態(tài)信息聯(lián)動,智能判決空間信息,進(jìn)一步提升了家庭復(fù)雜網(wǎng)絡(luò)環(huán)境的兼容性,同時做到了多設(shè)備響應(yīng)的唯一執(zhí)行,大幅提升用戶體驗。

未來,小米將專注于家居復(fù)雜場景應(yīng)用、智能聲學(xué)感知和多傳感融合。在復(fù)雜的家庭結(jié)構(gòu)環(huán)境中,保證算法的可用性,讓每個設(shè)備主動感知所處的不同環(huán)境,根據(jù)環(huán)境完成算法自適應(yīng),將數(shù)據(jù)結(jié)果取長補短,相互融合,實現(xiàn)多維度智能感知。

兩麥陣列喚醒:兩麥盲源分離降噪前端,雙級喚醒策略支撐

小米小愛音箱Art同步支持兩麥陣列喚醒技術(shù)。在麥克風(fēng)陣列方面,小米采用兩麥盲源分離降噪前端,通過盲源分離、降噪、回聲消除等技術(shù),在多聲源的嘈雜環(huán)境、音箱自身播放音樂時,都能結(jié)合語音增強技術(shù),消除噪音的強干擾,獲得干凈、準(zhǔn)確的人聲音頻。

在喚醒方面,為了兼顧低功耗與高性能,自研語音喚醒算法采用雙級喚醒策略。低功耗待機喚醒詞檢測模型,利用子采樣與共享隱含層等技術(shù),減少模型資源消耗的同時保證召回率在一個較高的水平。高性能誤喚醒檢測模型,采用粗粒度建模單元,結(jié)合局部信息與長時上下文信息,高效抑制誤喚醒。通過從海量數(shù)據(jù)中自動挖掘高區(qū)分度訓(xùn)練樣本,再經(jīng)過數(shù)據(jù)擴充技術(shù),提高喚醒模型在低信噪比與小音量場景下的魯棒性。

小米AI實驗室語音產(chǎn)品負(fù)責(zé)人陳君宇表示,小米IoT平臺連接的智能硬件數(shù)已達(dá)到2.5億臺,音箱出貨量已經(jīng)達(dá)到2200萬臺,在這么大的用戶體量下,如何讓基礎(chǔ)體驗持續(xù)提升,且提升產(chǎn)品在AI體驗上的創(chuàng)新性,對自研AI團(tuán)隊來說是非常重要的使命。

小米一直致力于研發(fā)先進(jìn)的AI技術(shù),并將技術(shù)落地到產(chǎn)品及業(yè)務(wù),為用戶帶來更好的產(chǎn)品體驗,讓全球每一個人都能享受科技帶來的美好生活。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • TTS
    TTS
    +關(guān)注

    關(guān)注

    0

    文章

    53

    瀏覽量

    11163
  • 小米
    +關(guān)注

    關(guān)注

    70

    文章

    14470

    瀏覽量

    147241
  • 小愛音箱
    +關(guān)注

    關(guān)注

    0

    文章

    26

    瀏覽量

    4278
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    Air8000 TTS開源,語音合成從此“零距離”!

    技術(shù)不應(yīng)有圍墻,創(chuàng)新需要共生長。Air8000宣布TTS應(yīng)用源代碼全面開放,開發(fā)者可自由定制語音風(fēng)格、優(yōu)化合成效果,讓文字與聲音的對話,不再受限于黑箱算法。 TTS (Text-to-Speech
    的頭像 發(fā)表于 07-03 16:33 ?189次閱讀
    Air8000 <b class='flag-5'>TTS</b>開源,語音合成從此“零距離”!

    使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實踐

    針對基于 Diffusion 和 LLM 類別的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張 NVIDIA Ada Lovelace
    的頭像 發(fā)表于 06-12 15:37 ?571次閱讀
    使用NVIDIA Triton和TensorRT-LLM部署<b class='flag-5'>TTS</b>應(yīng)用的最佳實踐

    Actran聲學(xué)仿真解決方案:工業(yè)級聲學(xué)預(yù)測與優(yōu)化的專業(yè)技術(shù)平臺

    問題?如何平衡計算精度與效率?Actran聲學(xué)仿真軟件作為專業(yè)的聲學(xué)工程解決方案,針對這些挑戰(zhàn)提供了系統(tǒng)性的技術(shù)應(yīng)對策略。 Actran的核心技術(shù)架構(gòu) Actran基于先進(jìn)的有限元/無
    的頭像 發(fā)表于 06-06 09:45 ?309次閱讀

    廣州唯創(chuàng)電子WT3000A離在線TTS語音提示器芯片IC設(shè)計方案深度解析

    引言:語音交互的智能化躍遷在全球化與智能化深度融合的今天,語音交互設(shè)備的應(yīng)用場景已從單一提示功能向多語言支持、情感化表達(dá)及AI深度交互演進(jìn)。傳統(tǒng)離線語音方案受限于語種單一、存儲容量不足等問題,而純
    的頭像 發(fā)表于 04-25 09:13 ?303次閱讀
    廣州唯創(chuàng)電子WT3000A離在線<b class='flag-5'>TTS</b>語音提示器芯片IC設(shè)計方案深度解析

    聲學(xué)技術(shù)如何重構(gòu)人機交互生態(tài)

    當(dāng)你的智能音箱能在嘈雜的客廳“聽懂”指令、AI 耳機能在地鐵的轟鳴聲中精準(zhǔn)捕捉你的語音、AI硬件能辨識自然界中的各類聲音事件、機器人能通過聲紋與笑聲識別情緒時,一場“聲音智能”的革命正悄然重塑
    的頭像 發(fā)表于 04-14 13:50 ?389次閱讀

    這款開放式耳機降噪技術(shù)升級!AI自適應(yīng)降噪+雙單元聲學(xué)架構(gòu)

    一顆低音單元,那如果要分別搭載高音、低音兩個單元的話,那么對于聲學(xué)架構(gòu)的設(shè)計挑戰(zhàn)巨大?!?? 聲學(xué)結(jié)構(gòu)升級:搭載底高音、低音雙單元 在聲學(xué)結(jié)構(gòu)上,華為FreeBuds6搭載了超高頻微平
    的頭像 發(fā)表于 03-24 02:20 ?2235次閱讀
    這款開放式耳機降噪<b class='flag-5'>技術(shù)</b>大<b class='flag-5'>升級</b>!AI自適應(yīng)降噪+雙單元<b class='flag-5'>聲學(xué)</b>架構(gòu)

    零知開源平臺重磅升級!嵌入式開發(fā)進(jìn)入“渦輪增壓”時代

    式提升! ▍顛覆性技術(shù)突破 ? 全新編譯架構(gòu)內(nèi)核重構(gòu) ? 智能增量式代碼轉(zhuǎn)換技術(shù) ? 多線程并行編譯加速引擎 ? 底層編譯鏈路全面優(yōu)化 ?【實測數(shù)據(jù)說話】 ? 舊版零知平臺:40秒 → 升級后:9.3
    發(fā)表于 03-11 11:22

    TTS語音播報控制器能做什么?

    TTS(Text-to-Speech)語音播報控制器,作為一種能夠?qū)⑽谋拘畔⑥D(zhuǎn)換為語音輸出的技術(shù)設(shè)備,在現(xiàn)代社會的各個領(lǐng)域中展現(xiàn)出了廣泛的應(yīng)用前景。TTS技術(shù)的出現(xiàn),豐富人機交互的方式
    的頭像 發(fā)表于 02-20 18:18 ?679次閱讀

    TTS語音播報模塊簡介

    在現(xiàn)代科技日新月異的時代,語音技術(shù)作為人工智能領(lǐng)域的重要分支,正以前所未有的速度改變著我們的生活方式。其中,TTS(Text To Speech,文本轉(zhuǎn)語音)語音播報模塊作為連接數(shù)字世界與人類聽覺
    的頭像 發(fā)表于 02-18 16:16 ?972次閱讀

    TTS語音播報控制器應(yīng)用場景

    TTS(Text-to-Speech)語音播報控制器,作為一種能夠?qū)⑽谋拘畔⑥D(zhuǎn)換為語音輸出的技術(shù)設(shè)備,在現(xiàn)代社會的各個領(lǐng)域中都展現(xiàn)出了廣泛的應(yīng)用前景。 應(yīng)用場景 教育領(lǐng)域:對于視力障礙的學(xué)生而言
    的頭像 發(fā)表于 02-18 16:15 ?535次閱讀

    RT-Thread ART-Pi二代正式發(fā)布

    挑戰(zhàn)的日益復(fù)雜,ART-Pi迎來了全新的迭代——基于STM32H7R的ART-Pi二代,現(xiàn)已正式發(fā)布! ART-Pi二代在繼承一代優(yōu)秀基因的基礎(chǔ)上,進(jìn)行了全面的技術(shù)
    的頭像 發(fā)表于 02-18 14:31 ?614次閱讀

    基于LSTM神經(jīng)網(wǎng)絡(luò)的情感分析方法

    情感分析是自然語言處理(NLP)領(lǐng)域的一項重要任務(wù),旨在識別和提取文本中的主觀信息,如情感傾向、情感強度等。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)的
    的頭像 發(fā)表于 11-13 10:15 ?1271次閱讀

    語音提示器-WT3000A離在線TTS方案-打破語種限制/AI對話多功能支持

    TTS(Text To Speech )技術(shù)作為智能語音領(lǐng)域的重要組成部分,能夠?qū)⑽谋拘畔⑥D(zhuǎn)化為逼真的語音輸出,為各類硬件設(shè)備提供便捷的語音提示服務(wù)。本方案正是基于唯創(chuàng)知音的離在線TTS(離線本地音樂播放與在線
    的頭像 發(fā)表于 10-25 10:36 ?694次閱讀
    語音提示器-WT3000A離在線<b class='flag-5'>TTS</b>方案-打破語種限制/AI對話多功能<b class='flag-5'>支持</b>

    語音提示器-WT3000A離在線TTS方案-打破語種限制/AI對話多功能支持

    TTS(離線本地音樂播放與在線TTS合成播放結(jié)合)技術(shù),旨在為用戶打造一個智能、高效、人性化的語音提示解決方案。方案介紹SchemeIntroduction核心技術(shù)
    的頭像 發(fā)表于 10-25 08:11 ?655次閱讀
    語音提示器-WT3000A離在線<b class='flag-5'>TTS</b>方案-打破語種限制/AI對話多功能<b class='flag-5'>支持</b>

    摘獲“新銳產(chǎn)品獎”,芯元智重磅亮相ICDIA-IC Show 2024

    “應(yīng)用創(chuàng)新、打造新生態(tài)”為主題,以“AI應(yīng)用需求及技術(shù)發(fā)展”為主線,圍繞AI大模型與芯片技術(shù)、RISC-V生態(tài)、通信與射頻技術(shù)、IC設(shè)計與創(chuàng)新中國芯等內(nèi)容交流和研討。來自全國的集成電路企業(yè)、電子研發(fā)企業(yè)、系統(tǒng)方案商、整機供應(yīng)鏈、
    的頭像 發(fā)表于 10-08 10:05 ?704次閱讀
    摘獲“新銳產(chǎn)品獎”,<b class='flag-5'>愛</b>芯元智<b class='flag-5'>重磅</b>亮相ICDIA-IC Show 2024