本工作來自 KAIST，發(fā)表于 A 類會議 Mobicom 2021，是該團隊在移動系統(tǒng)的跨設(shè)備交互領(lǐng)域的最新成果（該團隊上期工作FLUID曾獲 Mobicom 2019 最佳論文獎）。針對在多個設(shè)備上使用單個應(yīng)用程序的場景，本工作提出了新穎的跨平臺多設(shè)備系統(tǒng) FLUID-XP，能在多個異構(gòu)設(shè)備上無縫透明高效地劃分并使用現(xiàn)有應(yīng)用程序的 UI 元素，支持大量未經(jīng)修改的應(yīng)用程序并且用戶體驗良好。

01 背景 & 動機

過去移動計算的主要趨勢之一就是移動智能設(shè)備的普及和多樣化，在這種趨勢下，如今出現(xiàn)了一種全新的單個應(yīng)用程序多個設(shè)備（Single-App，Multi-Device）的交互范式。

這種范式在不同領(lǐng)域都創(chuàng)造了新穎的實用的交互用例，例如，圖片編輯器可以使用電腦作為畫布，使用平板電腦作為編輯工具；玩家在平板上打劇情游戲時可以一邊閱讀角色信息，一邊在手機上查閱其它視角的游戲地圖以尋找游戲彩蛋。

近年來，很多研究提出了幾種技術(shù)來支持這種多設(shè)備交互，包括：屏幕投射（ScreenCasting），遠程顯示（remote display），定制化多屏 app 以及 FLUID?，F(xiàn)有方案還存在至關(guān)重要的限制，它們無法支持異構(gòu)平臺并且不支持更廣泛的 app。支持筆記本電腦，智能電視，平板電腦和智能手機這些異構(gòu)平臺的互連對于全面支持多設(shè)備交互有著至關(guān)重要的作用。

02 設(shè)計方案

本文提出了一種新穎的跨平臺 UI 分發(fā)系統(tǒng) FLUID-XP（支持跨平臺體驗的靈活 UI 界面分發(fā)），將 FLUID 擴展到了跨異構(gòu)平臺的環(huán)境。

簡單來說，F(xiàn)LUID-XP 利用了現(xiàn)有的不同平臺的虛擬顯示器（Virtual Display）抽象技術(shù)和系統(tǒng)級圖形渲染管線設(shè)計，讓虛擬顯示器渲染對應(yīng) guest UI 樹的像素數(shù)據(jù)，通過多條網(wǎng)絡(luò)鏈路將數(shù)據(jù)發(fā)送到 guest 端設(shè)備（host 端指應(yīng)用程序源端，guest 端指接收并顯示分發(fā)的 UI 組件的客戶端），在 guest 端進行像素的合成和顯示。

FLUID-XP 采用了與 FLUID 完全不同的系統(tǒng)設(shè)計，F(xiàn)LUID 通過 UI 遷移和透明 RPC 調(diào)用的方式實現(xiàn)了同平臺跨設(shè)備交互。為了支持獨立于平臺的方式分發(fā) UI 元素，F(xiàn)LUID-XP 采用傳輸像素集的方式，引入了一種新穎的 split-pipeline 跨設(shè)備圖形架構(gòu)，該架構(gòu)僅編碼和傳輸組成遠程顯示所需的最小像素集。由遠端設(shè)備上的 app 重新組合 UI 元素布局并顯示。

FLUID-XP 面臨三個全新的技術(shù)挑戰(zhàn)：對應(yīng)用程序透明的多顯示器支持；跨平臺的多設(shè)備渲染；Per-UI 元素優(yōu)化。

1. 對應(yīng)用程序透明的多顯示器支持

為了支持未修改的現(xiàn)有應(yīng)用程序，我們應(yīng)該能夠?qū)F(xiàn)有應(yīng)用程序的 UI 分發(fā)到多個異構(gòu)系統(tǒng)的屏幕上，而無需修改應(yīng)用本身，好處是未來可以減少軟件開發(fā)人員的編程負擔，免于學習開發(fā)多顯示器應(yīng)用程序的 API。

為此，F(xiàn)LUID-XP 采用了一種新方法來管理 UI 樹，在內(nèi)部為每個物理顯示器創(chuàng)建一個 guest UI 樹（如上圖 1 所示），將每個劃分的 UI 元素從目標 app 的原生 UI 樹上映射到相應(yīng)的 guest UI 樹上，這樣 FLUID-XP 仍然向應(yīng)用程序呈現(xiàn)單個 UI 樹抽象，并隱藏多個 guest UI 樹的存在，渲染系統(tǒng)會識別并獨立渲染每個 guest UI 樹。

因此，F(xiàn)LUID-XP 可以在不增加額外編程負擔的情況下，為現(xiàn)有應(yīng)用程序提供了單一顯示器的錯覺，以便透明地使用多個顯示器，實現(xiàn)了透明度。

最后，F(xiàn)LUID-XP提供了兩種方法允許用戶或開發(fā)人員指定 UI 元素分發(fā)，即確定哪些 UI 元素在哪個 UI 樹的布局中分發(fā)，分別是：運行時動態(tài) UI 篩選和元數(shù)據(jù) XML 文件規(guī)范。

2. 跨平臺的多設(shè)備渲染

操作系統(tǒng)默認的圖形流水線（Graphics Pipeline）由五個連續(xù)的階段組成：遍歷 UI 樹 - 剪輯 - 渲染像素集 - 合成幀 - 顯示。

FLUID-XP 旨在采用多設(shè)備圖形管道，以最少的網(wǎng)絡(luò)使用量支持廣泛的異構(gòu)平臺。一旦 UI 元素映射到 guest UI 樹以進行分發(fā)，F(xiàn)LUID-XP 就會渲染 guest UI 樹并將它們顯示在 guest 設(shè)備上。

最關(guān)鍵的步驟是，F(xiàn)LUID-XP 為了將不同的 guest UI 樹分布在異構(gòu)平臺的設(shè)備之間，會檢查現(xiàn)有的圖形管道，并確定 host 設(shè)備與 guest 設(shè)備之間應(yīng)該分工（拆分圖形渲染流水線）的理想階段。

FLUID-XP 會將圖形流水線拆分（一般在合成階段進行分割），以便在 host 設(shè)備上執(zhí)行遍歷 - 剪輯 - 渲染階段，在 guest 設(shè)備上執(zhí)行合成 - 顯示階段。

由于拆分后傳輸?shù)氖窍袼丶?，這是一種通用的、與平臺無關(guān)的數(shù)據(jù)格式，所以劃分圖形流水線的的設(shè)計支持廣泛的異構(gòu)平臺，同時會最大限度地減少設(shè)備之間的 UI 數(shù)據(jù)傳輸量，減少額外的計算開銷。

然后，一個重大的挑戰(zhàn)是如何以獨立于設(shè)備的方式執(zhí)行上述操作，這時 FLUID-XP利用了存在于移動平臺上的不同名稱的虛擬顯示器抽象。

虛擬顯示器技術(shù)本身沒有對應(yīng)的物理顯示器，而是對應(yīng)多個單獨的邏輯顯示器，每個虛擬顯示器都有自己獨立的 UI 樹和圖形管道，可以通過物理顯示器或軟件顯示來可視化。

因此，對于每個要分發(fā)的 UI 元素，F(xiàn)LUID-XP 創(chuàng)建一個新的虛擬顯示器并將其附加到虛擬顯示器的 UI 樹上。然后每當更新 UI 元素時，只有與 UI 對應(yīng)的圖形管道觸發(fā)渲染，只會為更新的 UI 元素生成像素。

3. Per-UI 元素優(yōu)化

目前，F(xiàn)LUID-XP 的默認策略是將一組具有相似特征的 UI 元素一起分配在同一個虛擬顯示器上。例如，具有低更新頻率的 UI 元素（例如，按鈕和圖像）和具有高更新頻率的 UI 元素（例如，視頻）。

這是一種靈活的系統(tǒng)架構(gòu)，根據(jù)其特性和要求以不同方式處理各個 UI 元素。這允許通過混合使用最先進的多設(shè)備渲染技術(shù)（例如，F(xiàn)LUID、Chromecast、流協(xié)議）對多設(shè)備渲染進行更細粒度的優(yōu)化，即 Per-UI 的優(yōu)化。

眾所周知，在無線網(wǎng)絡(luò)中跨設(shè)備分發(fā) UI 時，同時實現(xiàn)高視覺質(zhì)量和低延遲非常具有挑戰(zhàn)性。為了解決這個問題，F(xiàn)LUID-XP 采用了一種靈活的方法，對不同的 UI 元素集采用不同的傳輸協(xié)議來滿足各種需求。

動態(tài) UI 會經(jīng)常更新，允許偶然性數(shù)據(jù)丟失而出現(xiàn)的一些失真，但通常不能容忍高延遲的等待。另一方面，對于更新較慢的靜態(tài) UI，能容忍延遲但對失真異常敏感。

在這方面，F(xiàn)LUID-XP 通過將不同的 UI 元素子集分配給不同的虛擬顯示器來采用 Per-UI 圖形管道。這樣，在傳輸每個不同虛擬顯示器的渲染結(jié)果（即像素）時，F(xiàn)LUID-XP 可以采用適合分配給虛擬顯示器的 UI 元素特性的不同傳輸協(xié)議。

03 實驗評估

實驗評估環(huán)境支持

首先，為了支持無縫的用戶交互，F(xiàn)LUID-XP 實現(xiàn)了設(shè)備之間的輸入翻譯。提供給 guest 設(shè)備的任何輸入都將轉(zhuǎn)換為適當?shù)妮斎胧录鬏數(shù)?host 設(shè)備。

其次，已經(jīng)在 Android 開源項目 (AOSP) 上實現(xiàn)了 FLUID-XP 主機原型，并在三個不同平臺（Android、iOS 和 Ubuntu）上實現(xiàn)了 guest 設(shè)備的包裝 app。使用 Google Pixel 4 XL 作為 host 設(shè)備，以及 Google Pixel 4 XL、三星Galaxy Tab S7、Apple iPhone 11和聯(lián)想ThinkPad X1 Carbon(Ubuntu) 用于 guest 設(shè)備。

最后，Wi-Fi 接入點提供 140 Mbps 的吞吐量，往返時間 (RTT) 的中值、平均值和標準差分別為 4.27、10.55 和 13.99 ms。

FLUID-XP 原型用于未修改的現(xiàn)有應(yīng)用程序，以演示和評估其跨異構(gòu)設(shè)備的完整功能，演示視頻網(wǎng)址：http://cps.kaist.ac.kr/research/fluid。

實驗一：覆蓋范圍測試 Coverage Test

為了了解 FLUID-XP 對現(xiàn)有未修改應(yīng)用程序的透明 UI 分發(fā)的支持程度，我們在 11 個用例場景中評估了來自 Google Play 的 19 個應(yīng)用程序和 1 個概念驗證階段的應(yīng)用程序（Sports Live）。同時分別記錄了傳輸整個屏幕、傳輸對應(yīng) UI 元素集時傳輸?shù)臄?shù)據(jù)總量，還記錄了 Per-UI 優(yōu)化節(jié)約的傳輸流量百分比。

覆蓋范圍測試具體涉及到的用例場景、劃分的 UI 元素以及各種網(wǎng)絡(luò)數(shù)據(jù)量使用情況詳見原文。

實驗二：性能測試 Performance Test

FLUID-XP 的 UI 分布技術(shù)的性能評估指標為：UI 流傳輸延遲、UI 響應(yīng)時間和原生 UI 渲染效果。

UI 流傳輸延遲指的是在 guest 設(shè)備上顯示 UI 元素所需的額外時間，下圖展示了細粒度 UI 分發(fā)技術(shù)和全屏分發(fā)方案對于上述 20 個應(yīng)用程序的流延遲細分結(jié)果。

在大多數(shù)情況下，UI 分發(fā)技術(shù)顯示的流延遲略低于全屏分發(fā)。由于流延遲主要取決于每個幀的大小，當guest設(shè)備的分辨率更大時，F(xiàn)LUID-XP 會根據(jù)用戶偏好重新縮放擴大 UI，因此有些時候會增加傳輸延遲，延遲的安全邊界時 160ms，因此 FLUID-XP 的響應(yīng)速度基本能滿足用戶的日常使用需求。

感興趣的朋友可以通過原文查閱更詳細的網(wǎng)絡(luò)使用情況測試，流媒體質(zhì)量評估，能耗測試和用戶調(diào)研情況。

04 總結(jié)

本工作設(shè)計并實現(xiàn)了新穎的支持跨異構(gòu)平臺的多設(shè)備系統(tǒng) FLUID-XP，實現(xiàn)了創(chuàng)新的跨設(shè)備交互技術(shù)。FLUID-XP 有選擇地劃分未修改應(yīng)用程序的單個 UI 元素，并以獨立于平臺的方式將它們分布在多個設(shè)備上，從而根據(jù)單個 UI 元素的獨特特征實現(xiàn) Per-UI 優(yōu)化。FLUID-XP 廣泛地支持已有的應(yīng)用程序，支持高度靈活和透明的 UI 分發(fā)，充分展示了高響應(yīng)性和平臺獨立性的特點。