時間就是軟件開發(fā)中的一切。想想發(fā)現(xiàn)軟件缺陷的時間。在發(fā)布后發(fā)現(xiàn)，這可能是一場災(zāi)難，危及人們的安全并造成數(shù)百萬美元的損失。在發(fā)布之前發(fā)現(xiàn)，缺陷可以減少到僅僅是一個煩惱。

這就是為什么軟件測試已成為開發(fā)生命周期中不可或缺的一部分。事實上，根據(jù) Fraunhofter Esk 研究所 2012 年的一項調(diào)查，測試不僅是軟件開發(fā)過程的重要部分，對于大多數(shù)嵌入式系統(tǒng)開發(fā)人員來說，它也是最困難的部分。

由于許多原因，測試可能很困難，但最基本的挑戰(zhàn)之一是衡量進(jìn)度。在測試期間未能使用可靠的指標(biāo)跟蹤進(jìn)度可能會浪費時間并導(dǎo)致軟件質(zhì)量下降。試圖忽略指標(biāo)并以測試所有內(nèi)容為目標(biāo)是很誘人的，但這種方法很危險，因為軟件測試有可能成為一項無止境的工作。Glennford Myers 在 1976 年的《軟件可靠性：原則與實踐》一書中證明了這一點，當(dāng)時他表明一個 100 行的程序可以有多達(dá) 1018 條獨特的路徑。在現(xiàn)代軟件開發(fā)世界中，軟件可以增長到數(shù)百萬行代碼。這使得完全詳盡的測試不可行。

此外，通常不僅僅是軟件開發(fā)團隊需要對測試水平感到滿意。客戶可能會要求提供代碼經(jīng)過適當(dāng)測試的證據(jù)，而航空電子、汽車和醫(yī)療領(lǐng)域等安全關(guān)鍵行業(yè)的監(jiān)管機構(gòu)將需要證明對缺陷進(jìn)行了充分檢查的證據(jù)。因此，有必要定義一種衡量“充分”測試的方式，并且需要以一種可以客觀衡量的方式來完成，以滿足開發(fā)過程中的所有利益相關(guān)者。

對于有效的軟件測試，開發(fā)人員需要解決如何衡量測試過程，如何確定多少測試足夠，以及開發(fā)團隊如何能夠最具戰(zhàn)略性地確保他們開發(fā)的軟件應(yīng)用程序已經(jīng)過充分測試。

什么是代碼覆蓋率？

結(jié)構(gòu)代碼覆蓋率分析是一種查看程序邏輯結(jié)構(gòu)的哪些部分在測試執(zhí)行期間已被執(zhí)行或“覆蓋”的方法。邏輯結(jié)構(gòu)取決于所使用的代碼覆蓋率指標(biāo)。例如，“入口點”覆蓋查看在測試中執(zhí)行了哪些函數(shù)調(diào)用或“入口點”。同樣，“動態(tài)數(shù)據(jù)流”覆蓋查看數(shù)據(jù)流的哪些部分已被執(zhí)行。雖然不同的結(jié)構(gòu)覆蓋率指標(biāo)從不同的角度檢查代碼，但它們都有一個共同的目的，即通過顯示測試了多少代碼以及執(zhí)行了代碼的哪些部分來對測試過程提供有意義的洞察。

專門的結(jié)構(gòu)覆蓋度量可以為特殊的測試用例提供服務(wù)，例如分析數(shù)據(jù)和控制耦合。但是，為了衡量一般測試的有效性，三個代碼覆蓋率指標(biāo)已在行業(yè)中得到廣泛使用：

語句覆蓋率 （SC） –已執(zhí)行程序的多少語句

決策覆蓋率 （DC） –已執(zhí)行了多少個決策分支；這實際上是語句覆蓋的超集，因為要覆蓋所有決策的所有分支，還必須覆蓋所有語句

修改的條件/決策覆蓋（MC/DC）——這建立在決策覆蓋的基礎(chǔ)上，確保復(fù)雜決策的每個子條件在其真假狀態(tài)下獨立執(zhí)行

這些指標(biāo)已被廣泛認(rèn)為是衡量測試徹底性的方法。特別是，汽車、航空電子和工業(yè)軟件等行業(yè)已經(jīng)在其軟件安全標(biāo)準(zhǔn)中采用了這些指標(biāo)。

更高的關(guān)鍵性需要更徹底的測試

值得注意的是，這些軟件安全標(biāo)準(zhǔn)并未強制要求在所有項目中統(tǒng)一使用聲明、決策和 MC/DC 覆蓋率。相反，每個主要的行業(yè)軟件安全標(biāo)準(zhǔn)都建議根據(jù)代碼的關(guān)鍵程度使用不同級別的結(jié)構(gòu)覆蓋，盡管關(guān)鍵級別通常以特定行業(yè)的方式確定。例如，航空電子行業(yè)的軟件安全標(biāo)準(zhǔn) DO-178C 使用軟件安全級別的概念，并要求對每個安全級別進(jìn)行不同級別的結(jié)構(gòu)覆蓋分析。

IEC 61508 是一種通用工業(yè)軟件安全標(biāo)準(zhǔn)，它定義了安全完整性等級 （SIL），并根據(jù)每個等級推薦了不同的結(jié)構(gòu)覆蓋率指標(biāo)。

在所有這些標(biāo)準(zhǔn)中，可以看到一個共同的理念：代碼必須“越安全”，所需測試的徹底性就越高。軟件安全意味著什么的確切定義取決于特定行業(yè)的關(guān)注點、經(jīng)驗和監(jiān)管壓力，但這種將所需的更高級別的安全性與所需的更高級別的結(jié)構(gòu)覆蓋相匹配的一般原則在整個標(biāo)準(zhǔn)中保持不變。

測試應(yīng)源于需求

軟件安全標(biāo)準(zhǔn)中跨行業(yè)的另一個共同點是認(rèn)為測試應(yīng)該從需求中產(chǎn)生。軟件需求應(yīng)確定測試所需的輸入和輸出。如果他們不這樣做，測試可能會成為一組并行的需求，這會導(dǎo)致混亂和軟件錯誤。結(jié)構(gòu)覆蓋率不能取代需求作為測試的基礎(chǔ)，因為覆蓋率指標(biāo)不能決定代碼的行為方式——只有在執(zhí)行期間可以訪問（并且，考慮到調(diào)試器的能力，在執(zhí)行期間可以訪問可以是一個靈活的概念）。

雖然是互補的，但測試執(zhí)行代碼的有效性和測試需求的完整性是兩件不同的事情。在結(jié)構(gòu)覆蓋分析中衡量的測試有效性著眼于代碼的哪些部分被執(zhí)行。測試完整性，有時稱為“需求覆蓋率”，查看代碼是否已經(jīng)針對所有需求的正確行為進(jìn)行了測試。如果一個軟件程序是根據(jù)其需求構(gòu)建的，并且如果它不包含與其需求無關(guān)的代碼，那么對需求的完整測試應(yīng)該會導(dǎo)致測試有效地執(zhí)行所有代碼。如果有代碼沒有被測試執(zhí)行，這可能是可以刪除的代碼，或者可能是缺少的需求，或者可能是測試中的缺陷。這樣，

執(zhí)行代碼和測試需求之間的這種關(guān)系也存在于單個需求的層面上。雖然從證據(jù)收集的角度來看，有多少需求和測試了多少代碼的高級總計更有趣，但更多的是在單個需求測試級別，以及該單個需求測試的結(jié)構(gòu)覆蓋分析，其中大多數(shù)缺陷被識別和修復(fù)。

結(jié)構(gòu)覆蓋分析通常被認(rèn)為是實現(xiàn) 100% 指標(biāo)的簡單目標(biāo)，但檢查單個測試及其產(chǎn)生的結(jié)構(gòu)覆蓋至關(guān)重要。當(dāng)正在執(zhí)行的代碼基于正在測試的需求時，尤其如此。通過檢查代碼的結(jié)構(gòu)覆蓋率，可以確定被測代碼的確切行為，并將其與基于被測需求的預(yù)期行為進(jìn)行比較。這種方法減少了由于環(huán)境因素或代碼的其他部分補償不正確代碼而導(dǎo)致的誤報。此外，如果存在不正確的行為，結(jié)構(gòu)覆蓋分析通常還可以提供對不正確行為原因的洞察。

當(dāng)使用結(jié)構(gòu)覆蓋分析以這種詳細(xì)的方式理解代碼行為時，能夠?qū)⒔Y(jié)構(gòu)覆蓋分析結(jié)果覆蓋在代碼結(jié)構(gòu)分析之上是至關(guān)重要的。此覆蓋有助于將原始結(jié)構(gòu)覆蓋信息轉(zhuǎn)換為對代碼中正在發(fā)生的事情的有意義的理解。

在單元和系統(tǒng)級別設(shè)置覆蓋目標(biāo)

通常，結(jié)構(gòu)覆蓋分析目標(biāo)可以在單元和系統(tǒng)級別設(shè)置。單元級別的結(jié)構(gòu)覆蓋是通過基于該單元要求的單元級別的測試來實現(xiàn)的。另一方面，系統(tǒng)級覆蓋目標(biāo)通常從更高級別需求的測試覆蓋開始。然而，如果僅使用高級測試進(jìn)行系統(tǒng)級覆蓋分析，則覆蓋中經(jīng)常會出現(xiàn)漏洞。這些漏洞的原因可能會有所不同。在某些情況下，覆蓋漏洞可能是由于編碼標(biāo)準(zhǔn)要求的防御性編程實踐造成的，但這些覆蓋漏洞也可能基于從需求中實現(xiàn)的重要功能。

特別是，當(dāng)代碼基于只能通過難以或不可能在高級別上創(chuàng)建的條件進(jìn)行測試的需求時，可能會出現(xiàn)結(jié)構(gòu)覆蓋漏洞。這種場景的一個例子是文件系統(tǒng)故障的功能級檢查。雖然通?？赡軙?dǎo)致文件系統(tǒng)故障，但要對文件系統(tǒng)故障進(jìn)行計時以使其在該函數(shù)的執(zhí)行期間發(fā)生是非常具有挑戰(zhàn)性的。此外，以可重復(fù)的方式為將來的回歸測試執(zhí)行此操作可能會更加困難。在這種情況下，可能需要使用單獨檢查代碼的較低級別的測試。出于這個原因，在收集實現(xiàn)測試目標(biāo)的指標(biāo)時，從較高級別測試測量的結(jié)構(gòu)覆蓋率通常與來自較低級別測試的結(jié)構(gòu)覆蓋率相結(jié)合。

聲明、決策或 MC/DC 覆蓋率等指標(biāo)并不能保證軟件沒有缺陷。如前所述，真正詳盡的測試可能是不可能的，或者至少是不可行的。然而，結(jié)構(gòu)覆蓋率度量可以更好地了解代碼的可靠性和對測試的更大信心。

由于結(jié)構(gòu)覆蓋分析通過顯示測試了多少代碼以及執(zhí)行了代碼的哪些部分來深入了解測試活動，因此它可以在系統(tǒng)、模塊或單元級別執(zhí)行，并且可以累積到測試目標(biāo)。 代碼覆蓋率不應(yīng)與基于需求的測試隔離開來。此外，除了結(jié)構(gòu)覆蓋分析之外，可能還需要執(zhí)行一些測試。例如，測試競爭條件和整數(shù)限制邊緣條件對于檢測缺陷可能很有價值，但它們可能無助于您的結(jié)構(gòu)覆蓋目標(biāo)。結(jié)構(gòu)覆蓋分析旨在衡量您已完成的測試并指導(dǎo)您的測試計劃，但不應(yīng)將其視為目標(biāo)。

謹(jǐn)防！

在不了解測試的情況下積累結(jié)構(gòu)覆蓋可能會提供一種錯誤的安全感，這比不充分的測試更危險。結(jié)構(gòu)覆蓋分析不是靈丹妙藥，而是需要智能和謹(jǐn)慎使用的工具。但是，如果使用得當(dāng)，它是一種工具，可以使測試更有用、更有效，并為測試過程提供證據(jù)。

審核編輯：郭婷