FOR循環(huán)優(yōu)化

基本概念

從下面的例子中來解釋for循環(huán)中的基本概念：

圖 4.1 for循環(huán)基本概念

由于N等于3，因此每次循環(huán)可以分成4個步驟來完成：

c0：讀取數(shù)據(jù)b和c；

c1：獲取數(shù)據(jù)xin 0處地址；

c2：讀取對應地址上的數(shù)據(jù)；

c3：計算yo[0]的值。

后面的計算都是三個時鐘周期計算出一個值，因此對一次循環(huán)來說，Loop Iteration Latency為3，Loop Iteration Interval也是3，Loop Latency是9，再加上前面讀b和c的值的一個周期，整個函數(shù)的Latency是10，函數(shù)間的Initial Interval是11.

Pipeline

對for循環(huán)常用的優(yōu)化是pipeline，pipeline的原理如下圖4.2所示。

圖 4.2 pipeline優(yōu)化原理

在優(yōu)化結束后，Loop Iteration Latency為3，Loop Iteration Interval變成1，Loop Latency為5.

如果對函數(shù)做pipeline，那么會自動把函數(shù)下面的for循環(huán)都做unrolling處理；如果對外層的for循環(huán)做pipeline，那么會自動對內(nèi)層的for循環(huán)做unrolling處理。

Unrolling

默認情況下for循環(huán)是折疊的，就是電路被時分復用。當展開后，資源增加。如下圖所示將for循環(huán)展開成3倍的情況，資源也擴大了3倍。

圖 4.3 展開成3倍

也可以部分展開，循環(huán)次數(shù)為6，但展開成3倍，程序如下所示：

展開后，程序被分成3部分，資源也復制了3份。

圖 4.4 Unroll的設置

Merge

當幾個for循環(huán)執(zhí)行的內(nèi)容很相似時，如下面的程序所示：

兩個for循環(huán)分別對兩個數(shù)據(jù)做加法和減法，在HLS綜合后，會先進行第一個for循環(huán)的計算，完成后再進行第二個for循環(huán)的計算。這樣綜合出的Latency為18，Interval為19。

圖 4.5 綜合后延遲

在HLS中提供了Merge的選項，合并的是for所作用的region，合并后綜合后的延遲如下圖4.6所示。

圖 4.6 Merge后的延遲

上面的例子中兩個循環(huán)的邊界相同，如果兩個循環(huán)的邊界不同，則以最大的作為合并后的邊界；如果一個邊界是變量，另一個是常量，則不能合并；如果兩個循環(huán)邊界都是變量，依然不能合并。

還可以將for循環(huán)封裝成一個函數(shù)，并在上一層中例化兩次，并對函數(shù)采用Allocation來使函數(shù)并行執(zhí)行，在allocation中有l(wèi)imit選項，可以指定實例化的次數(shù)，該數(shù)據(jù)與程序中實際的數(shù)值應該是一樣的。

數(shù)據(jù)流

在下面的例子中，Task B依賴于Task A，Task C依賴于Task B，如圖4.7所示。

而且可以分析出，該結構不適合之前所講的pipeline和merge方式進行處理，在可以使用dataflow的方式。

從圖中可以看出，在使用DataFlow后，Loop B無需等待A執(zhí)行完成后才開始執(zhí)行，而且各個Loop之間也村在間隔。且延遲和資源都明顯減少。

DataFlow使用的限制：

1.一個輸出在多個Loop模塊中使用

2.被Bypass的模塊

3.帶反饋的模塊

4.帶條件的模塊

5.可變循環(huán)邊界的模塊

6.多個退出條件的模塊

下面分別對上面的限制條件進行說明。

1.din在Loop1中輸出的temp1同時賦給Loop2和Loop3使用，這時是不能使用dataflow的，如圖4.10所示。

通過對代碼進行適當?shù)男薷?，將其結構進行變形，增加一個Loop_copy模塊，將其輸出一個送個Loop2，另一個輸出送給Loop3，但其實這兩個輸出的結果是相同的。就可以使用DataFlow來完成該函數(shù)。

且使用了DateFlow后，工程所占用的資源和延遲都相應減少。

2. 被Bypass的模塊

如下圖4.12所示的例子中，temp1在Loop2中使用，但temp2沒有經(jīng)過Loop2，直接在Loop3中使用，這種情況下也是不能使用DataFlow的。

同樣的，可以對代碼進行優(yōu)化以達到可以使用DataFlow的目的，如下圖4.13所示。在Loop2中，增加一個輸出端口，使其輸出給Loop3，這樣就可以使用DataFlow了。

在DataFlow的循環(huán)之間的存儲模塊，對于scalar、pointer和reference或者函數(shù)的返回值，HLS會綜合為FIFO；對于數(shù)組，結果可能是乒乓RAM或者FIFO：如果HLS可以判斷數(shù)據(jù)是流模式，就會綜合為FIFO，且深度為1，若不能判斷，就會綜合為乒乓RAM。我們也可以指定為FIFO或者乒乓RAM，但在指定為FIFO時，如果指定的深度不合適，綜合時就會出現(xiàn)錯誤。

嵌套for循環(huán)

三種嵌套循環(huán)：

對于Perfect Loop，對外邊的Loop做流水比對內(nèi)循環(huán)做流水更加節(jié)省時間。

對于Imperfect Loop，我們總希望可以轉(zhuǎn)換為Perfect Loop或者Semi-Perfect Loop。如下的Imperfect Loop，如果對內(nèi)層Product做流水，綜合結果如右側(cè)的圖所示。

如果對第二層即col的Loop做流水，則會提示信息，col下的循環(huán)會被展開。

從圖中的warning可以看出，a被綜合為一個雙端口的RAM，但第14行和第20行對a的操作有一個重疊的區(qū)域，意味著吞吐率受限。

如果對最外部的循環(huán)做流水，會把下面所有的循環(huán)都展開，延遲會減少，但資源會增加。

如果對整個函數(shù)做流水，那么函數(shù)下面的所有循環(huán)都會展開，能獲得最好的Latency，但資源也是最多的。

我們可以對代碼就行優(yōu)化，具體代碼具體優(yōu)化。

Rewind

我們在使用了pipeline后，循環(huán)之間仍然會有間隔，但使用rewind功能，可以消除該間隔，如下圖所示。

圖 4.16 rewind功能

但當函數(shù)中有多個循環(huán)時，rewind不能使用。

自動添加流水

在config_compile中，可以設置自動添加流水操作，如果循環(huán)次數(shù)小于我們設定的pipeline loops時，HLS就會自動為for循環(huán)添加流水。

在使用config_compile后，如果不想對某些for循環(huán)做流水，就可以在pipeline下面的選項中選中disable Loop pipeline。

變量邊界的解決方法

當循環(huán)邊界為變量時，通?？梢圆捎孟旅娴姆绞竭M行處理。

1. 使用tripcount directive；
2. 對于邊界變量的定義使用ap_int;
3. 在C代碼中使用assert宏。

Tripcount directive不會對綜合有任何的影響，它只會對報告的顯示有影響。

使用ap_int和assert方法后，綜合后的資源會有明顯的減少。采用assert的方式的資源和延遲是最少的。

inline是針對函數(shù)，flatten是針對嵌套的循環(huán)。