導讀

PCB等電子產(chǎn)品的精密生產(chǎn)制造過程中，往往需要將缺陷問題100%高精度暴露。友思特 PCB 多類型缺陷檢測系統(tǒng)，借由Neuro-T深度學習模型自動排查全部微小缺陷，為工業(yè) PCB 生產(chǎn)制造提供了先進可靠的質(zhì)量保障。

在現(xiàn)代制造業(yè)中，尤其是在高精度要求的電子制造領域，諸如印刷電路板（PCB）生產(chǎn)的過程中，高效且準確地識別和分類多種類型的缺陷至關重要。

針對缺陷檢測需求，常見的解決方案有兩種：（1）基于目標正常圖像數(shù)據(jù)的模板匹配；（2）訓練深度學習模型檢測目標缺陷。

第一種方式雖然在特定場景下有效，但面對復雜和多變的實際生產(chǎn)條件，這些方法往往受限于它們的靈活性和魯棒性。第二種方式不僅能夠處理傳統(tǒng)技術難以解決的復雜缺陷類型，還能通過不斷的學習優(yōu)化，提高檢測的準確性和效率，具有更強的魯棒性和泛化能力。

友思特技術團隊通過Neuro-T 的 Segmentation（實例分割）模型，搭建了PCB 多類型缺陷檢測系統(tǒng)，為工業(yè) PCB 的生產(chǎn)制造提供了可靠的質(zhì)量保障。

友思特Neuro-T支持的深度學習模型類型

友思特 Neuro-T 支持八種不同的深度學習模型，其中六類模型適用于缺陷檢測領域。具體而言：

有監(jiān)督學習模型

分類：簡單分類目標缺陷的有無，精度高

實例分割：準確識別并分割目標的缺陷區(qū)域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的缺陷

目標檢測：識別和定位目標的缺陷區(qū)域，精度高，適合占像素點稍多、形狀較復雜的缺陷

GAN：人工生成目標的缺陷圖像，彌補缺陷數(shù)據(jù)量不足的問題

無監(jiān)督學習模型

異常分類：分類目標缺陷的有無，精度高于分類模型（可設置異常閾值），主要適用于數(shù)據(jù)缺乏場景

實例分割：準確識別并分割異常目標的缺陷區(qū)域，精度略低于實例分割模型（可設置異常閾值），主要適用于數(shù)據(jù)缺乏場景

PCB的六種常見缺陷類型

①missing_hole（焊盤缺失）

②mouse_bite（線路缺口）

③open_circuit（斷路）

④Short（短路）

⑤Spur（毛刺）

⑥Spurious（偽銅）

PCB 多類型缺陷檢測系統(tǒng)

友思特 PCB 多類型缺陷檢測系統(tǒng)主要由Neuro-R、IDS相機 和 VST-2D 軟件組成。PCB缺陷檢測模型使用 Neuro-T 中的實例分割模型，通過對數(shù)據(jù)集進行標注、訓練、微調(diào)實現(xiàn)，而后獨立于 Neuro-T 脫機運行，通過 Neuro-R 實現(xiàn)在主機上運行推理。VST-2D 軟件是友思特自研視覺軟件，對接 IDS 相機的實時圖像流，獲取 PCB 的實時圖像數(shù)據(jù)，結合 Neuro-R 調(diào)用 Neuro-T 訓練的模型，實現(xiàn)缺陷區(qū)域的識別、缺陷類型確定以及定位分割并將結果呈現(xiàn)于界面。

系統(tǒng)組成圖

系統(tǒng)檢測效果圖

友思特 Neuro-T 實例分割模型訓練 PCB 缺陷檢測模型具體操作步驟

1.1 新建項目

1.2 新建數(shù)據(jù)集

1.3 導入圖像數(shù)據(jù)

2.1 創(chuàng)建標簽集

2.2 選擇模型類型(Segmentation)

3.1 創(chuàng)建缺陷類別

3.2 選擇標注工具

3.3 開始數(shù)據(jù)標注

數(shù)據(jù)量較少的情況下，可以手動一一標注；數(shù)據(jù)量較多時，一一標注耗時耗力，可以使用友思特 Neuro-T 自動標注功能來完成標注工作

項目共693張圖像，標注139張，剩余使用自動標注功能完成

自動標注功能的具體步驟為：

標注部分數(shù)據(jù)

劃分訓練集和測試集

訓練標注模型

加載標注模型

選中圖像自動標注

標注完成的結果圖如下所示：

4.1 劃分訓練集和測試集

4.2訓練模型

4.3 查看模型結果

模型評估結果解讀：

IoU (Intersection over Union) 交并比，對于特定的一個實例，指模型預測區(qū)域與真實區(qū)域的交集比上它們的并集：

式中P為模型預測區(qū)域，R為真實區(qū)域，單位為像素點個數(shù)。

對于深度學習模型，IoU≥50%才算成功被檢測出來且效果較好。

準確率 (Accuracy)，衡量模型在所有類別上整體預測的準確程度：

精確率(Precision)，衡量模型將數(shù)據(jù)預測為缺陷的精準程度：

召回率(Recall)，衡量模型成功找到缺陷的能力：

精確率和召回率的調(diào)和平均值(F1 Score)，綜合考慮精確率和召回率兩個指標：

式中：

TP為正確判斷為A類缺陷（真實也是A類缺陷）的數(shù)量

TN為錯誤判斷為A類缺陷（真實為非A類缺陷）的數(shù)量

FP為正確判斷為非A類缺陷（真實為非A類缺陷）的數(shù)量

FN為錯誤判斷為非A類缺陷（真實為A類缺陷）的數(shù)量。

本應用案例有六類缺陷，對每類缺陷的指標取均值。

模型檢測效果圖

黑色字樣+黃色框：原始標注結果

紫色字樣+陰影框：預測結果

友思特缺陷檢測系統(tǒng)套裝

Neuro-R

Neuro-R 可實現(xiàn)無縫整合訓練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結果，還可以利用各種 API 以創(chuàng)造性的方式從多個模型生成結果，Neuro-R 是友思特缺陷檢測系統(tǒng)套裝的重要組成部分。

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優(yōu)化深度學習模型結構和訓練參數(shù)來創(chuàng)建出性能最佳的模型，無需任何深度學習經(jīng)驗，即可運行自己的深度學習項目。在系統(tǒng)中，Neuro-T 是用于訓練模型的核心工具。

2D 工業(yè)相機

友思特 2D 工業(yè)相機結合了支持USB3視覺標準的高質(zhì)量全局快門傳感器技術和具有成本效益的uEye XCP相機平臺，是流行的USB2接口的uEye LE相機系列的最佳、高性能和長期替代品。借助友思特自研視覺軟件 VST-2D，對接IDS相機的實時圖像流，即可獲取PCB的實時圖像數(shù)據(jù)。

審核編輯 黃宇