高光譜成像技術因其能夠捕獲物體在不同波長下的光譜信息。廣泛應用于農(nóng)業(yè)、環(huán)境監(jiān)測、工業(yè)檢測等領域。近年來,隨著嵌入式平臺(如NVIDIA Jetson和樹莓派)性能的不斷提升,高光譜相機的嵌入式部署成為可能。
系統(tǒng)組成
在嵌入式平臺上部署高光譜相機,面臨著諸多技術難題。如高光譜相機如何和嵌入式設備通信,產(chǎn)生的海量數(shù)據(jù)如何處理,處理結果如何發(fā)送給控制器等,都限制了光譜相機在嵌入式設備上的應用。同時不同的嵌入式平臺各自擁有獨特的硬件架構和數(shù)據(jù)處理模式,如何讓高光譜相機與各類平臺完美適配也成為需要考慮的問題。為解決該問題,友思特eBUS軟件,為嵌入式分選和檢測成像平臺搭建提出專屬解決方案。
如圖為友思特自定義嵌入式分選和檢測成像平臺。自定義的分選系統(tǒng)由下面及部分組成:
√ 工業(yè)高光譜相機
√ 實時數(shù)據(jù)采集(如友思特eBUS Rx方案)
√ 高性能處理平臺(如Nvidia Jetson系列、RK3588系列、樹莓派系列)
√ 實時通信協(xié)議(如友思特eBUS Edge軟件傳輸方案)
**部分資料來源于網(wǎng)絡(各部分組成均可由用戶自由組合)
(1) eBUS Rx嵌入式平臺數(shù)據(jù)采集
eBUS Rx是一種將任何傳感器設備接入嵌入式平臺的軟件,任何傳感器、物聯(lián)網(wǎng)設備,不需要ARM平臺的驅(qū)動,通過eBUS Rx即可接入嵌入式平臺。
通過eBUS Rx,原本僅支持win系統(tǒng)的設備,可以成功部署在ARM上,實現(xiàn)低功耗、便捷式、小型化的數(shù)據(jù)傳輸和控制。
(2) eBUS Edge實現(xiàn)多平臺自定義GigE Vision協(xié)議打包
eBUS Edge是一個軟件平臺,無需任何額外的硬件,即可將相機、成像解決方案以及嵌入式和物聯(lián)網(wǎng)設備轉換為完全符合的GigE Vision、GenICam設備。如嵌入式平臺上進行AI處理后的結果,需要進一步傳給后端控制器和其他系統(tǒng)使用,使用ebus edge,實現(xiàn)處理后的坐標或圖像數(shù)據(jù)進行協(xié)議打包,發(fā)送。
主要特征
1. 保持原有的硬件連接
eBUS Rx基于原有的相機接口(如USB 3.0或以太網(wǎng)),能夠?qū)⒏吖庾V相機的輸出信號轉換為嵌入式平臺可識別的格式。這種即插即用的設計大大降低了硬件集成的復雜性。
2. 高效數(shù)據(jù)傳輸
高光譜相機生成的數(shù)據(jù)量巨大,eBUS適配器通過優(yōu)化數(shù)據(jù)傳輸協(xié)議,將CPU使用率至少降低20%以上,確保數(shù)據(jù)能夠以高帶寬、低延遲的方式傳輸?shù)角度胧狡脚_。這對于實時處理高光譜數(shù)據(jù)至關重要。
3. 兼容性強
eBUS軟件不僅支持與高光譜相機的直接連接,還能與多種嵌入式平臺兼容。
①NVIDIA Jetson:Jetson系列設備通過其強大的GPU計算能力,能夠高效處理高光譜相機采集的數(shù)據(jù)。
②Raspberry Pi:樹莓派則憑借其較低的功耗和高性價比,成為了許多小型、低功耗應用的理想選擇。
③瑞芯微RK3588:同時,目前最新版本的ebus已支持國產(chǎn)瑞芯微RK3588。
應用場景
1農(nóng)業(yè)生產(chǎn)
在現(xiàn)代化農(nóng)業(yè)生產(chǎn)中,通過安裝在農(nóng)田、溫室等環(huán)境中的攝像頭和傳感器,實時監(jiān)測農(nóng)作物的生長狀況、土壤濕度、氣象條件等信息,為精準農(nóng)業(yè)提供數(shù)據(jù)支持。eBUS 收發(fā)解決方案可以整合來自不同類型傳感器(如可見光攝像頭、紅外熱成像儀、土壤濕度傳感器等)的數(shù)據(jù),實現(xiàn)全方位的農(nóng)業(yè)環(huán)境監(jiān)測。
2工業(yè)生產(chǎn)
在現(xiàn)代化工業(yè)生產(chǎn)中,通過部署在生產(chǎn)線上的高精度攝像頭和傳感器(如激光測距儀、3D結構光模組),實時監(jiān)測零部件的加工精度、表面缺陷及裝配狀態(tài),為智能制造提供數(shù)據(jù)支持。嵌入式視覺系統(tǒng)(如Jetson AGX Orin)結合eBUS協(xié)議可以整合來自不同工位的多源數(shù)據(jù)(如可見光檢測、紅外熱成像、振動傳感器等),實現(xiàn)全流程的質(zhì)量控制和自動化優(yōu)化。
3智慧城市交通管理
在智慧城市交通管理中,通過安裝在路口、收費站及車載終端的多模態(tài)攝像頭(如全局快門攝像頭、熱成像儀),實時監(jiān)測車輛流量、車牌信息及行人行為,為交通調(diào)度和自動駕駛提供低延遲的決策依據(jù)。嵌入式平臺(如NVIDIA Drive)結合GMSL/MIPI協(xié)議可同步處理多路視頻流(如環(huán)視攝像頭+毫米波雷達),實現(xiàn)低延遲的復雜環(huán)境感知。
4數(shù)字醫(yī)療
在數(shù)字化醫(yī)療場景中,通過內(nèi)窺鏡、手術顯微鏡及可穿戴設備中的微型攝像頭,實時采集患者影像數(shù)據(jù)(如組織形態(tài)、血流信號),為遠程診斷和機器人手術提供高精度視覺反饋。嵌入式系統(tǒng)通過傳輸協(xié)議整合多模態(tài)數(shù)據(jù),實現(xiàn)術中實時AI輔助。
因此,借助eBUS,開發(fā)者能夠輕松將這些設備與高光譜相機結合,開展各種嵌入式光譜成像應用。解決了數(shù)據(jù)傳輸、接口兼容性等問題,并為光譜成像技術的實時應用提供了強有力的支持。
友思特產(chǎn)品
eBUS Edge
對于使用各種先進相機、傳感器和嵌入式平臺開發(fā)成像系統(tǒng)的機器視覺設計人員來說,eBUS Edge是一種軟件解決方案,通過將任何設備轉換為符合 GenICam 標準的標準化GigE Vision設備來簡化部署,從而實現(xiàn)跨設備的可移植性和互操作性,同時仍允許第三方處理應用程序。
設計和部署基于標準的檢測解決方案,無需在已經(jīng)很緊湊的系統(tǒng)中添加額外的專用硬件,并輕松地將高級傳感器和攝像頭添加到現(xiàn)有的檢測應用中,以改進機器視覺檢測系統(tǒng),而不受設備限制。
通過將數(shù)據(jù)轉換為GigE Vision,最終用戶可以使用現(xiàn)成的圖像處理軟件,并朝著先進的工廠自動化應用發(fā)展。
而GenlCam允許用戶繼續(xù)控制設備。本地決策可減少帶寬需求,同時為更復雜的分析任務保留集中處理能力。
審核編輯 黃宇
-
嵌入式
+關注
關注
5150文章
19665瀏覽量
317414 -
相機
+關注
關注
4文章
1464瀏覽量
54679 -
光譜
+關注
關注
4文章
920瀏覽量
36078 -
高光譜
+關注
關注
0文章
420瀏覽量
10321
發(fā)布評論請先 登錄
高光譜相機在生物醫(yī)學中的應用:病理分析、智慧中醫(yī)與成分分析
高光譜相機在工業(yè)檢測中的應用:LED屏檢、PCB板缺陷檢測
高光譜相機在農(nóng)業(yè)監(jiān)測中的應用
高光譜相機在防火材料研究與應用

內(nèi)置推掃式高光譜相機:VIX-S315無需外置推掃裝置,1秒內(nèi)完成一次全譜推掃成像
凝視式高光譜相機:高光譜成像技術與多元化應用
高光譜相機在礦石分選中的應用

高光譜相機:農(nóng)業(yè)監(jiān)測革命新利器!
帶你走進高光譜工業(yè)相機

利用恩智浦云實驗室部署AI模型

評論