引言

/Foreword

鑒于自動駕駛系統(tǒng)（Automated Driving System, ADS）和交通環(huán)境的復(fù)雜性以及安全事件的偶發(fā)性，自動駕駛系統(tǒng)需要安全、可靠地處理由外界和自身變化帶來的多種不確定性，才能有效保障智能網(wǎng)聯(lián)汽車安全合規(guī)地行駛，并逐步提升舒適性和智能性。因此，在智能網(wǎng)聯(lián)汽車開發(fā)設(shè)計流程中，測試驗證評價是必不可少的環(huán)節(jié)——這需要基于智能網(wǎng)聯(lián)汽車的設(shè)計運行條件（Operational Design Condition，ODC）、安全邊界及最小風(fēng)險策略等，對自動駕駛功能開展全面的測試驗證工作。^[1]

為確保智能網(wǎng)聯(lián)汽車產(chǎn)品測試方案的可行性和測試結(jié)果的一致性，以及合理調(diào)配測試資源、有效降低測試成本，賽目科技參考國內(nèi)外相關(guān)法規(guī)和技術(shù)標準，基于長期積累的智能網(wǎng)聯(lián)汽車測試經(jīng)驗，提出智能網(wǎng)聯(lián)汽車產(chǎn)品測試策略——構(gòu)建場景集，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“測什么”的問題；提出智能網(wǎng)聯(lián)汽車測試場景和“三支柱”的匹配方法，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“怎么測”的問題。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的測試策略研究如何解決智能網(wǎng)聯(lián)汽車測試“測什么”和“怎么測”兩個核心問題。

?

怎么測？

場景與“三支柱”測試方法匹配

為了合理規(guī)劃測試工作排期和測試工作量，對已經(jīng)生成的場景集要合理的與三支柱方法進行適配，并確定具體的測試策略，其中，明確測試場景與“三支柱”測試方法的映射關(guān)系是重中之重。

1

場景與“三支柱”測試匹配分析的基本思想

模擬仿真測試、封閉場地測試和實際道路測試共同構(gòu)建形成完備的測試評估體系，以支撐智能網(wǎng)聯(lián)汽車安全要求驗證確認。場景與“三支柱”測試匹配分析主要需考慮場景可行性和測試方法可行性：

• 場景可行性

首先，需要考慮場景本身的安全性。若已識別出的邊緣場景、危險場景和失效場景存在威脅駕駛員人身安全或嚴重影響道路交通安全的潛在風(fēng)險，則應(yīng)首先在模擬仿真環(huán)境中進行測試，確認最小風(fēng)險準則可接受，再另行考慮是否進行封閉場地測試或?qū)嶋H道路測試。

其次，出于測試成本方面的考量，應(yīng)盡可能的精簡封閉場地測試和實際道路測試的場景。基于模擬仿真遍歷測試，測試敏感性分析、連續(xù)場景通過性分析，篩選封閉場地測試的典型場景下的典型測試用例，篩選實際道路測試中需要測試的連續(xù)場景以及典型交通條件。

• 測試方法可行性

一方面需考慮測試的可重復(fù)性。模擬仿真測試可重復(fù)性高[2]，封閉場地可以適當(dāng)控制交通環(huán)境，而實際道路測試中場景與環(huán)境完全隨機，場景重復(fù)性低。因此，應(yīng)在模擬仿真測試中對同一個功能場景進行盡可能多地遍歷參數(shù)組合，在封閉場地測試中選擇典型用例進行測試，而在實際道路測試中，主要考慮真實交通場景中是否包含期望的場景要素，以及測試里程的積累。

另一方面需考慮測試環(huán)境的真實性。實際道路測試的真實性高于封閉場地測試，模擬仿真測試盡管可以使用硬件在環(huán)、整車在環(huán)等虛實結(jié)合的方式，但測試環(huán)境仍是數(shù)字模擬的虛擬場景。[3]因此，若存在ADS在某些場景下通過性易受自然環(huán)境、整車狀態(tài)、駕駛員狀態(tài)、交通環(huán)境影響，則必需在物理世界進行測試，即此類場景必需進行封閉場地測試或?qū)嶋H道路測試。

• 三支柱測試基本思想

模擬仿真測試以高可信度的仿真工具鏈為支撐，充分發(fā)揮其在測試執(zhí)行效率、靈活度、成本等方面的優(yōu)勢，對自動駕駛系統(tǒng)開展高覆蓋度的場景測試，以評估智能網(wǎng)聯(lián)汽車安全性，并基于測試結(jié)果識別出自動駕駛系統(tǒng)存在潛在風(fēng)險的危險場景和邊緣場景，作為封閉場地測試和實際道路測試的重要場景輸入。

封閉場地測試根據(jù)其測試場景需求開展場景搭建、不確定性評估及測試工作，通過單一場景測試、組合場景測試等方式在可控的環(huán)境下對自動駕駛系統(tǒng)的實車表現(xiàn)和模擬仿真的可信度進行評估。

實際道路測試則在針對期望覆蓋的場景要素集合，重點圍繞測試路段、測試時長等因素制定有針對性的測試方案，并開展相關(guān)測試工作，以評估智能網(wǎng)聯(lián)汽車在真實交通場景中的產(chǎn)品安全性。[1]

圖 1“三支柱”測試流程圖

（點擊查看大圖）

2

矩陣映射法——匹配場景與“三支柱”測試方法

為了詳細說明場景與“三支柱”測試方法匹配的分析思路，本文提出了一種矩陣映射法[4]，通過“場景-功能”矩陣和“功能-測試方法”矩陣的映射，得到“場景-測試方法”的關(guān)系矩陣。

• "場景-功能"矩陣

  承接本系列文章《智能網(wǎng)聯(lián)汽車測試策略研究》上篇中的場景庫構(gòu)建思路，通過多種分析方式，共篩選出m個需要進行測試的場景，并在ADS要素分析過程中，確定其具有的n個功能。

首先，建立m個場景與n個功能的對應(yīng)關(guān)系表，該表通過定性分析ADS測試場景集中各個場景是否調(diào)用ADS各類功能可得到。表1 待測場景與ADS功能對應(yīng)表 表中的是零一變量，表示ADS在場景運行時，ADS是否需要調(diào)動功能，如需調(diào)動功能，則，反之。將表 1寫為“場景-功能”矩陣，記為：;

• “功能-測試方法”矩陣

同樣的，建立n個功能與3種測試方法的對應(yīng)關(guān)系表，該表可參考目前國內(nèi)外已發(fā)布或在研的政策、法規(guī)、標準，將分析所得的對應(yīng)關(guān)系填入如表2所示的ADS功能與測試方法對應(yīng)表：表 2功能與測試方法對應(yīng)表

表中的是零一變量，表示為驗證功能，是否需要進行方法的測試，如功能必須進行測試，則，反之。（滑動查看完整公式）將表2寫為“功能-測試方法”矩陣，記為：

• “場景-功能”與“功能-測試方法”的映射

設(shè)“場景-測試方法”矩陣為如上式所示，“場景-功能”矩陣與“功能-測試方法”矩陣相乘，可得“場景-測試方法”矩陣：其中: 如，說明場景需要進行方法的測試，如，說明場景無需進行測試。

• 測試矩陣修正

參考上文的基本思想，模擬仿真測試由于成本低、測試效率高和可重復(fù)性強，應(yīng)在仿真環(huán)境中進行所有場景的測試，因此，基于此原則，可能出現(xiàn)如下需對“場景-測試方法”矩陣進行修正的情況：

由于模擬仿真仿真測試是封閉場地測試和實際道路測試的輸入，如存在場景，是但或，則需要在模擬仿真環(huán)境中增加場景測試用例。 因此需要對“場景-測試方法”矩陣進行修正，令，修正后的“場景-測試方法”矩陣記為。

綜上，根據(jù)修正后的“場景-測試方法”矩陣，可得如下表3形式的測試策略表，矩陣中元素大于0，則在對應(yīng)單元格中填入“必測”，元素等于0，則為填入“可選”：

表 3自動駕駛系統(tǒng)場景-測試方法策略表（樣表）

	模擬仿真測試	封閉場地測試	實際道路測試
場景1	必測/可選	必測/可選	必測/可選
場景2
場景m

• 案例分析

以下通過一個簡單案例分析，以更直觀地說明場景-功能-測試映射分析法。為簡化案例分析維度，該案例僅分析1個場景，考慮2個ADS功能，分析“三支柱”測試方法測試策略。

表 4案例-場景與ADS功能對應(yīng)表

	合理可預(yù)見 的用戶誤用	明確的介入請求 觸發(fā)條件且可識別
前車切入	有	無

表4說明在前車切入場景中，包含合理可預(yù)見的用戶誤用，不包含明確的介入請求觸發(fā)條件且可識別。

因此可得“場景-功能”矩陣：

確定功能與測試方法的對應(yīng)關(guān)系如下表 5：

表 5案例-功能與測試方法對應(yīng)表

	模擬仿真測試	封閉場地測試	實際道路測試
合理可預(yù)見 的用戶誤用	可選	必測	可選
明確的介入請求 觸發(fā)條件且可識別	必測	必測	可選

可得“功能-測試方法”矩陣：

因此，“場景-測試方法”矩陣為：

下圖 2通過三維坐標系的形式，更為形象地解釋了場景-功能-測試方法映射分析的原理：

圖2案例-場景-功能-測試方法映射分析原理圖‘

（點擊查看大圖）

因出現(xiàn)但，則需要修正“場景-測試方法”矩陣：可得如表 6所示的測試策略表：

表 6案例-測試場景-測試方法策略表

	模擬仿真測試	封閉場地測試	實際道路測試
前車切入	必測	必測	可選

3

評價體系

測試評價是智能網(wǎng)聯(lián)汽車安全上路不可或缺的重要環(huán)節(jié)。針對模擬仿真測試、封閉場地測試和實際道路測試等不同的測試階段的測試結(jié)果，均應(yīng)進行科學(xué)、全面和有效的評價。評價方法主要包括基于單一場景的評價方法和基于連續(xù)場景/里程的評價方法。

• 基于單一場景的評價方法

為考察自動駕駛系統(tǒng)在單一場景下的表現(xiàn)，建立涵蓋安全性、合規(guī)性和舒適性等多維度的評價指標體系，主要涉及模擬仿真測試和封閉場地測試。 基于單一場景評價方法的核心是在設(shè)計、驗證和確認階段，測試自動駕駛系統(tǒng)在關(guān)鍵測試場景中的通過性。特別的，針對模擬仿真測試，在測試前，需要證明使用的模擬仿真測試工具鏈的置信度、仿真模型（包括傳感器模型和車輛動力學(xué)模型等）的可信度；在測試后，通過仿真和實車對比等手段，驗證模擬仿真測試的可信度，確認仿真測試結(jié)果與真實物理世界測試結(jié)果的一致性。

• 基于連續(xù)場景/里程的評價方法

為考察自動駕駛系統(tǒng)在連續(xù)場景下的表現(xiàn)和長時間運行的穩(wěn)定性，通過連續(xù)場景、一段連續(xù)道路，或是一片行駛區(qū)域（例如：城區(qū)路網(wǎng)等)，即在真實的條件和環(huán)境下，或者接近于真實的條件和環(huán)境下，主要涉及模擬仿真測試和實際道路測試。

基于連續(xù)場景/里程的評價方法的核心是測試搭載自動駕駛系統(tǒng)的車輛是否具備完善的自動駕駛功能，以及是否會對交通產(chǎn)生負面影響。特別的，針對模擬仿真測試，可通過構(gòu)建測試道路（包括高速/城市等），設(shè)置隨機交通流等方式，評價被測自動駕駛系統(tǒng)在連續(xù)場景/里程的通過性。

結(jié)語

本系列文章首先從測試內(nèi)容入手，提出了場景集的構(gòu)建方法，根據(jù)場景數(shù)據(jù)的不同來源，分別就標準法規(guī)場景集、預(yù)期功能安全場景集、實車采集數(shù)據(jù)場景集的構(gòu)建方法進行說明；隨后從測試方法入手，提出了矩陣映射法，并展示了場景與“三支柱”測試方法匹配分析的實例；分別回答了智能網(wǎng)聯(lián)汽車測試“測什么”和“怎么測”的問題。

未來，賽目科技還將從測試規(guī)模、測試評價，以及模擬仿真與場地測試對比分析等方面展開深入研究，持續(xù)完善并分享智能網(wǎng)聯(lián)汽車“三支柱”測試方法論知識體系，敬請期待！

參考文獻

[1]劉法旺, 曹建永, 張志強, et al. 基于場景的智能網(wǎng)聯(lián)汽車"三支柱"安全測試評估方法研究 [J]. 汽車工程學(xué)報, 2023, 13(1): 7.

[2]劉法旺, 何豐, 周時瑩, et al. 基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實踐 [J]. 汽車工程學(xué)報, 2023, 13(02): 135-45.

[3](GRVA) Proposal for a second iteration of the New Assessment/Test Method for Automated Driving — Master Document [R]. Geneva: Economic Commission for Europe, 2022.

[4]白雪松, 鄧偉文, 任秉韜, et al. 一種自動駕駛仿真場景要素的提取方法 [J]. 汽車工程, 2021, 43(07): 1030-6, 65.

關(guān)于賽目

專注智能網(wǎng)聯(lián)汽車

測試丨驗證丨評價研究

關(guān)注賽目

掃描二維碼關(guān)注賽目科技