電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>嵌入式日記：破解RPi攝像頭以與Zynq FPGA配合使用

嵌入式日記：破解RPi攝像頭以與Zynq FPGA配合使用

2512974 2023-06-27 | zip | 0.00 MB | 次下載 | 2積分

資料介紹

描述

動(dòng)機(jī)

FPGA 非常適合低延遲、高吞吐量的成像應(yīng)用。最好使用直接與 FPGA 接口的相機(jī)（而不是 USB/網(wǎng)絡(luò)相機(jī)）來(lái)實(shí)現(xiàn)這一點(diǎn)。然而，對(duì)于業(yè)余愛(ài)好者、修補(bǔ)匠和小型初創(chuàng)企業(yè)來(lái)說(shuō)，可用的相機(jī)模塊選項(xiàng)數(shù)量有限，而且并非所有可用選項(xiàng)都便宜（相對(duì)而言）。最重要的是，許多都有自己的物理接口，所以通常你只能將相機(jī)與它的開(kāi)發(fā)套件一起使用。沒(méi)有相當(dāng)大的努力，就是這樣。

然而，由于具有 15 針 FFC 攝像頭接口 (MIPI-CSI) 的 Raspberry Pi 等低成本單板計(jì)算機(jī)的普及，情況正在好轉(zhuǎn)。隨著時(shí)間的推移，RPi 相機(jī)接口變得非常流行，如今許多單板計(jì)算機(jī)都可以使用相同的相機(jī)連接器（Jetson 套件、RPi 替代板等）。甚至一些 FPGA 板現(xiàn)在也配備了相同的 15 針連接器（Zybo-Z7、Kria 等）。由于受歡迎程度，現(xiàn)在可以從各種供應(yīng)商（RPi 基金會(huì)、Arducam、VEYE 等）處獲得許多低成本圖像傳感器。

樹(shù)莓派 15 針 MIPI-CSI 攝像頭接口

不幸的是，一旦我們開(kāi)始將這些圖像傳感器之一與我們的 FPGA 一起使用，我們就會(huì)遇到一個(gè)大問(wèn)題：大多數(shù)圖像傳感器的數(shù)據(jù)表都是不公開(kāi)的！

您會(huì)看到，在使用任何現(xiàn)代圖像傳感器之前，您需要根據(jù)您的用例對(duì)其進(jìn)行配置。雖然高吞吐量數(shù)據(jù)通過(guò) MIPI-CSI 等協(xié)議傳輸，但配置通常通過(guò) I2C 進(jìn)行。然而，要知道通過(guò) I2C 接口發(fā)送什么命令需要知道傳感器的寄存器映射，以及這些寄存器的每一位的功能。但如果沒(méi)有公開(kāi)的數(shù)據(jù)表，這是一個(gè)大問(wèn)題。在某些情況下，如果您足夠幸運(yùn)，您將能夠在互聯(lián)網(wǎng)上找到您的特定圖像傳感器的泄露數(shù)據(jù)表，但情況并非總是如此。例如，在撰寫(xiě)本文時(shí)（2021 年 9 月），RPi“高質(zhì)量”相機(jī)沒(méi)有公開(kāi)的數(shù)據(jù)表。

有時(shí)即使有數(shù)據(jù)表，事情也不會(huì)太樂(lè)觀。現(xiàn)代圖像傳感器是復(fù)雜的硅片，配置大多數(shù)圖像傳感器需要正確設(shè)置數(shù)百個(gè)寄存器，然后才能開(kāi)始以正確格式輸出正確的圖像數(shù)據(jù)。有時(shí)鐘/PLL 配置、分辨率、binning、曝光、增益、白平衡、輸出接口格式等設(shè)置。至少獲得參考或起點(diǎn)不是很好嗎？

所以，我們能做些什么？

“嗅探”或“竊聽(tīng)”是軟件/硬件黑客中常用的一種技術(shù)。這個(gè)想法是監(jiān)聽(tīng)兩個(gè)設(shè)備之間的通信，而不干擾原始對(duì)話，并保持細(xì)致的記錄以備后用。我們可能不明白對(duì)話的每個(gè)部分的含義是什么，但有時(shí)我們可以重播相同的序列，并設(shè)法欺騙目標(biāo)設(shè)備給我們需要的東西。

我的設(shè)置

在這種特殊情況下，我有一個(gè)我之前購(gòu)買(mǎi)的Zybo-z7-20板，以及PCAM-5C板相機(jī)。使用Digilent 提供的運(yùn)行“baremetal”的演示項(xiàng)目，我能夠非?？焖俚刈寖烧咭黄鸸ぷ鳌?/font>但是，對(duì)于未來(lái)的項(xiàng)目，我希望有更多的相機(jī)選項(xiàng)，而不僅僅是 PCAM-5C。許多與 RPi 接口兼容的傳感器都帶有自己的 Linux 驅(qū)動(dòng)程序。我希望能夠在運(yùn)行裸機(jī)時(shí)使用相同的傳感器。

我的計(jì)劃如下：

選擇具有匹配物理/電氣接口的相機(jī)
使用我需要的設(shè)置（分辨率、幀率等）讓它在它的本機(jī)平臺(tái)（RPi、Jetson 等）上工作
使用邏輯分析儀設(shè)置 I2C 嗅探器并記錄從處理器到相機(jī)的所有命令。
使用我自己的 FPGA 板進(jìn)行清理、適當(dāng)格式化和重播命令。

對(duì)于這個(gè)特定的實(shí)驗(yàn)，我將使用我已經(jīng)擁有的：- Raspberry Pi v2.1 相機(jī)- RaspberryPi 4B 作為“本機(jī)”平臺(tái)- Saleae Logic 16 pro 作為我的邏輯分析儀- Zybo-Zy-20 作為我的“目標(biāo)” FPGA板。

讓我們開(kāi)始吧……！

第 1 步：驗(yàn)證接口兼容性

N. 從電路板的示意圖中檢查引腳配置和電壓電平。

Shematics 的 Zybo-Z7 相機(jī)連接器配置

我們可以看到連接器將為連接的相機(jī)提供 3.3V 電壓，并且 I2C 也在 3.3V 下工作。

接下來(lái)，我們看一下攝像頭模塊。從 RPi v2.1 攝像頭模塊的示意圖中，我們可以驗(yàn)證引腳配置和電壓確實(shí)匹配。

RPi v2.1 攝像頭引腳配置

您可能會(huì)注意到上拉電壓為 1.8V 而不是 3.3V，但這沒(méi)關(guān)系，因?yàn)榻M件 Q1 正在執(zhí)行電壓電平轉(zhuǎn)換。Ctrl+C退出。注意上面使用 gstreamer 管道，這是上述命令正常工作的先決條件。

第 3 步：嗅探 I2C 通信

現(xiàn)在我們有了一個(gè)工作系統(tǒng)，下一步是嗅探 RPi 和圖像傳感器之間的 I2C 通信。首先，我使用烙鐵將三根細(xì)跳線連接到 FFC 上的接地、SDA、SCL 引腳，然后用 Kapton 膠帶覆蓋以作為連接線的機(jī)械釋放。我這樣做是因?yàn)榕c在焊接過(guò)程中弄亂 RPi 或攝像頭板相比，F(xiàn)FC 電纜便宜且易于更換。此外，這給了我一根“間諜電纜”，我也可以將其重新用于其他相機(jī)/平臺(tái)。

間諜跳線焊接到相機(jī) FFC

在此之后，我將這些電線與我的邏輯分析儀連接起來(lái)。在這一步中，我使用 USB“邏輯分析儀”來(lái)嗅探 I2C 通道上的通信。我使用的是 Saleae Logic 16 pro，因?yàn)檫@是我所擁有的，但任何便宜的邏輯分析儀都可以解決這個(gè)問(wèn)題（I2C 的數(shù)據(jù)速率相當(dāng)慢）。最后，我為 I2C 解碼配置了邏輯分析儀并點(diǎn)擊了開(kāi)始按鈕。

RPi 4 通過(guò) FFC 連接到 v2 攝像頭，同時(shí) Logic Analyzer 竊聽(tīng) I2C 事務(wù)

現(xiàn)在我們有一些捕獲的數(shù)據(jù)。

邏輯分析儀捕獲的 I2C 信號(hào)（左）。右側(cè)的解碼 I2C 事務(wù)。

第 4 步：清理和準(zhǔn)備 I2C 數(shù)據(jù)

現(xiàn)在我們有了一些捕獲的數(shù)據(jù)，我們需要清理和準(zhǔn)備數(shù)據(jù)，然后才能將其與 FPGA 板一起使用。由于我遵循的確切過(guò)程非常具體到我所擁有的設(shè)置，因此我將詳細(xì)說(shuō)明每個(gè)步驟的意圖以供讀者理解。

我注意到的第一件事是有一個(gè)初始的命令突發(fā)（左），然后是另一個(gè)密集的命令突發(fā)（中），然后經(jīng)過(guò)一段時(shí)間的延遲后，每隔約 15 毫秒就會(huì)有一個(gè) I2C 命令（右）。

I2C 命令日志

每 ~15ms 的命令對(duì)應(yīng)于 60fps 幀之間的時(shí)間。此外，這些命令被發(fā)送到相同的 I2C 地址，并且都是寫(xiě)命令。

每~15ms重復(fù)I2C命令序列

因此，經(jīng)過(guò)一些實(shí)驗(yàn)后，我得出結(jié)論，這些必須是從 ISP 到相機(jī)的命令，以便在處理每一幀后根據(jù)不斷變化的照明條件（自動(dòng)增益/曝光控制，可能還有自動(dòng)白平衡）進(jìn)行調(diào)整。這也意味著，就目前而言，我可以刪除在這些命令的第一個(gè)實(shí)例之后發(fā)送的任何數(shù)據(jù)數(shù)據(jù)，因?yàn)榘l(fā)送一次曝光命令就足以開(kāi)始了。另外，請(qǐng)注意這些重復(fù)的命令被發(fā)送到 I2C 地址 0x10。因此我們可以推斷出我們相機(jī)的 I2C 地址是 0x10 。

接下來(lái)，我查看了修剪后的數(shù)據(jù)，注意到開(kāi)頭有一些讀命令，還有一些寫(xiě)到 I2C 地址 0x71 的命令。

由于我們不知道如何處理從讀取命令返回的數(shù)據(jù)，因此保留它們沒(méi)有意義，因此我刪除了它們。

尋址到 0x71 的命令很可能用于位于 Rpi V2.1 cam 上的 EEPROM，Raspberry pi 固件使用它來(lái)查看是否連接了正版相機(jī)，因此我們也不需要保留它們。因此我也刪除了它們。

對(duì)于轉(zhuǎn)儲(chǔ)的數(shù)據(jù)，我將僅提及一些細(xì)分。讓我們隨機(jī)選擇一行轉(zhuǎn)儲(chǔ)數(shù)據(jù)：

write to 0x10 ack data: 0x01 0x62 0x0D 0xE8

在這一行中，0x10 是相機(jī)的 I2C 地址，0x0162 是寄存器地址，0x0D、0xE8 是數(shù)據(jù)字節(jié)。通常一個(gè)寄存器是一個(gè)字節(jié)長(zhǎng)，因此由于大多數(shù)傳感器中的 I2C 地址自動(dòng)遞增功能，第二個(gè)字節(jié)實(shí)際上會(huì)轉(zhuǎn)到下一個(gè)寄存器地址 (0x1063)。

無(wú)論如何，在此之后，我將剩余的修剪數(shù)據(jù)復(fù)制到 Excel 表中，刪除除 I2C 數(shù)據(jù)之外的所有文本并對(duì)其進(jìn)行格式化（通過(guò)一些手動(dòng)操作），以便稍后在 Xilinx 內(nèi)部將其用作 C 中的數(shù)組開(kāi)發(fā)工具包。其中一部分包括在每行中添加一個(gè)包含 I2C 字節(jié)數(shù)的列，因?yàn)檗D(zhuǎn)儲(chǔ)數(shù)據(jù)中的不同行發(fā)送的 I2C 字節(jié)數(shù)不同。

第 5 步：使用 FPGA 重放命令

現(xiàn)在，要使用我們的 FPGA 板測(cè)試我們的數(shù)據(jù)，我需要一個(gè) Vivado &SDK 項(xiàng)目。幸運(yùn)的是，我已經(jīng)從 Adam Taylor 的優(yōu)秀帖子中下載了一個(gè) Vivado 項(xiàng)目，它為我提供了一個(gè)工作系統(tǒng)，以 720p60 分辨率從 PCAM-5C 相機(jī)獲取數(shù)據(jù)并通過(guò) HDMI 輸出顯示。

接下來(lái)，我為此訪問(wèn)了 SDK 項(xiàng)目，并添加了一個(gè)包含先前步驟中轉(zhuǎn)儲(chǔ)和格式化的 I2C 數(shù)據(jù)的數(shù)組，并將其設(shè)置為在啟動(dòng)后發(fā)送到 v2 相機(jī) I2C 地址 (0x10)。其余什么都不需要更改，事實(shí)上我什至將以前的 PCAM-5C 代碼留在了文件中，因?yàn)楫?dāng)該地址上沒(méi)有設(shè)備響應(yīng)時(shí)，該地址的命令會(huì)被簡(jiǎn)單地忽略。我還將 Adam 的 vivado 項(xiàng)目配置為使用 CSI 輸入（而不是 HDMI IN）作為源。包含所有修改的完整項(xiàng)目鏈接在帖子末尾。

完成軟件修改后，剩下要做的就是將 RPi v2.1 攝像頭連接到 Zybo-Z7 上的 MIPI 連接器，將 HDMI 電纜從 HDMI TX 端口連接到顯示器，然后上傳代碼。

RPi V2.1 攝像頭連接到 Zybo-Z7-20

。

說(shuō)“茄子”

。

我愿意稱之為成功。這證明這里采用的概念也適用于其他可用的傳感器（盡管有一些警告），并且應(yīng)該為我們提供更多 MIPI 圖像傳感器選項(xiàng)以用于 FPGA 項(xiàng)目。這意味著，如果其中一個(gè)傳感器是與 FPGA 一起使用，那么我們將需要在 FPGA 中自己處理這些功能。通過(guò)在受控的光照條件變化下查看每幀后發(fā)送到相機(jī)的數(shù)據(jù)，應(yīng)該可以找到相關(guān)的寄存器。另一方面，一些攝像頭模塊還帶有板載 ISP，在這種情況下，這不是問(wèn)題。（看看一些來(lái)自 Arducam、VEYE 的傳感器）

并非所有圖像傳感器本身都支持 720p 或 1080p 等格式。因此，在某些情況下，驅(qū)動(dòng)程序會(huì)將傳感器設(shè)置為在高度/寬度（或兩者）上大于用戶通過(guò)命令行請(qǐng)求的模式。在這種情況下，Raspberry Pi/Jetson 等內(nèi)部的 ISP（圖像信號(hào)處理器）預(yù)計(jì)會(huì)將圖像裁剪為用戶請(qǐng)求的分辨率。這意味著如果我們使用 FPGA 來(lái)接收這個(gè)流，那么我們需要在 FPGA 內(nèi)部進(jìn)行裁剪。通過(guò)在水平和垂直方向上為圖像開(kāi)始位置、活動(dòng)像素和步幅設(shè)置適當(dāng)?shù)闹?，Xilinx VDMA 可輕松用于執(zhí)行此裁剪，而無(wú)需任何處理開(kāi)銷(xiāo)。

希望你喜歡閱讀和跟隨。下次我們可能會(huì)嘗試不同的 MIPI 傳感器（RPi HQ 相機(jī)？），看看效果如何。

如果您發(fā)現(xiàn)這有用（或沒(méi)有），請(qǐng)?jiān)谙旅娴脑u(píng)論部分分享您的評(píng)論/想法！