99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何用神經(jīng)網(wǎng)絡(luò)模型處理SSD穩(wěn)態(tài)控制問題

科技綠洲 ? 來源:北京憶芯科技有限公司 ? 作者:北京憶芯科技有限 ? 2022-06-08 15:41 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在企業(yè)級或數(shù)據(jù)中心的存儲應(yīng)用中,對固態(tài)閃存盤的特性有著比桌面應(yīng)用更加嚴(yán)苛的多項(xiàng)要求。其中IO延遲穩(wěn)定性和QoS(服務(wù)質(zhì)量)是其中最重要的指標(biāo),其含義表征著SSD在各種場景輕重壓力下能否提供穩(wěn)定的IO性能指標(biāo),將IO的抖動和延遲控制在盡量小的范圍內(nèi),而提升上層應(yīng)用的響應(yīng)。

近年神經(jīng)網(wǎng)絡(luò)在各行各業(yè)有很多有趣的實(shí)際應(yīng)用,其在模式識別、智能機(jī)器人、自動控制、預(yù)測估計(jì)、醫(yī)學(xué)和經(jīng)濟(jì)等領(lǐng)域已成功解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問題,表現(xiàn)出很好的智能特性。憶芯科技的技術(shù)團(tuán)隊(duì)經(jīng)過大膽創(chuàng)新實(shí)踐,在固態(tài)企業(yè)級算法領(lǐng)域,將神經(jīng)網(wǎng)絡(luò)應(yīng)用到SSD QoS算法調(diào)優(yōu)中,獲得了相較于比傳統(tǒng)算法的大幅提升。為企業(yè)級SSD IO延遲穩(wěn)定性和 QoS設(shè)計(jì)開辟了全新的思路和方向。

穩(wěn)態(tài)性能是指什么?

關(guān)于SSD的性能測試有很多項(xiàng),文章下面跟大家分享下PTS測試中的Write Saturation(WSAT)寫飽和測試的優(yōu)化內(nèi)容。PTS是固態(tài)存儲的性能測試規(guī)范,可參見《Solid State Storage Performance Test Specification 》

在PTS中,將SSD的性能狀態(tài)分為了3個階段:

a) 出廠階段(Fresh Out of the Box, FOB)

出廠狀態(tài),一般稱為空盤狀態(tài)。SSD 的NAND區(qū)域沒有進(jìn)行數(shù)據(jù)寫入, 安全擦除命令可以將設(shè)備恢復(fù)出廠狀態(tài),該階段的寫性能可以達(dá)到峰值性能,SSD后臺任務(wù)不會啟動。

b) 轉(zhuǎn)換階段(Transition)

隨著非重復(fù)數(shù)據(jù)的不斷寫入,SSD的可寫空間變小,當(dāng)降低到一定閾值時(shí)就會觸發(fā)SSD的垃圾回收(GC)任務(wù)釋放空閑空間。該階段性能下降較多,波動也較大,下降的幅度,取決于GC回收空閑空間的負(fù)載。

c) 穩(wěn)定階段(Steady State)

當(dāng)GC回收的負(fù)載和主機(jī)寫入負(fù)載趨于平衡時(shí),SSD 的性能會逐漸平穩(wěn)下來,并長期維持在這個狀態(tài),稱為穩(wěn)態(tài)。穩(wěn)態(tài)性能對于企業(yè)SSD應(yīng)用有很大的實(shí)際意義。

穩(wěn)態(tài)性能的指標(biāo)評估

穩(wěn)態(tài)的性能不僅僅是IO處理的速度有多快,還要看處理IO是否平穩(wěn)。衡量平穩(wěn)的方式,一般有兩種:

a) 一致性=最小的IOPS/平均的IOPS

b) 一致性=超出平均IOPS的±5%的采樣次數(shù)/總的采樣次數(shù)

前者著重于表現(xiàn)單點(diǎn)向下跌落的程度,后者著重于表現(xiàn)上下振動的幅度。

傳統(tǒng)的Qos控制算法

傳統(tǒng)的控制算法(如自適應(yīng)控制算法)的優(yōu)勢在于處理該問題時(shí),表現(xiàn)出在不同硬件(如NAND,DDR)配置下都有較好的性能控制能力。

但是,其難點(diǎn)是在轉(zhuǎn)換階段時(shí)容易出現(xiàn)擾動,并傳遞到穩(wěn)定階段,影響IO的一致性。而且不同硬件配置下擾動的程度可能不同,所以還需要開發(fā)人員分別精心地調(diào)校。

下面我們來看下如何用神經(jīng)網(wǎng)絡(luò)模型處理SSD的穩(wěn)態(tài)控制問題,以及效果怎樣。

構(gòu)建和準(zhǔn)備數(shù)據(jù)

主機(jī)先要對SSD的性能參數(shù)調(diào)節(jié)模塊配置一組參數(shù),然后在特定訓(xùn)練的IO場景中對SSD發(fā)送IO命令,同時(shí)主機(jī)實(shí)時(shí)地采集SSD內(nèi)部的性能監(jiān)測模塊上報(bào)的各項(xiàng)工作數(shù)據(jù)。

抽樣的數(shù)據(jù)有很多,且時(shí)間段也較長,要能實(shí)際表示出實(shí)際情形,需要在后面的整個流程中,不斷反復(fù)且持續(xù)的進(jìn)行工作并修正需要訓(xùn)練的數(shù)據(jù)集。

構(gòu)建和訓(xùn)練模型

a) 建立神經(jīng)網(wǎng)絡(luò)模型

為了方便理解,可將模型簡化為一個三輸入二輸出的模型。輸入輸出的參數(shù)如下:

輸入?yún)?shù)host_w_iops:采樣主機(jī)寫通路的IOPS

輸入?yún)?shù)host_r_iops:采樣主機(jī)讀通路的IOPS

輸入?yún)?shù)vtc:SSD內(nèi)部啟動GC(垃圾回收)任務(wù)時(shí),最小單位數(shù)據(jù)的有效數(shù)量

輸出參數(shù)host_w_limit:主機(jī)寫通路的流量限制參數(shù)

輸出參數(shù)gc_limit:GC通路的流量限制參數(shù)

注:流量限制是指單位時(shí)間(如100ms)內(nèi)可以處理單元數(shù)據(jù)(一般是4K)的數(shù)量。

通過軟件定時(shí)器實(shí)現(xiàn)的單位時(shí)間精度一般是在ms毫秒級,憶芯科技的新一代主控芯片STAR2000在硬件上實(shí)現(xiàn)了流量管理功能,時(shí)間精度可以達(dá)到ns納秒級,精度相對提高了100萬倍。

b) 訓(xùn)練模型

i. 分析收集到的數(shù)據(jù)集,配置給模型一組期望的目標(biāo)值。

ii. 用收集到的數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò),并評估訓(xùn)練結(jié)果,若目標(biāo)偏差較大,需要反復(fù)迭代訓(xùn)練該過程。

iii. 訓(xùn)練完成后,將相關(guān)參數(shù)集部署到SSD中,并執(zhí)行訓(xùn)練場景的IO測試。

iv. 若實(shí)際結(jié)果與目標(biāo)偏差較大,則反饋到前端進(jìn)行調(diào)整。

v. 最后訓(xùn)練完成后,就可以進(jìn)入評估階段,驗(yàn)證下實(shí)際的效果。

評估模型

a) 轉(zhuǎn)換階段:

從下圖中看到轉(zhuǎn)換過程中沒有超調(diào)的情況,在退出轉(zhuǎn)換階段時(shí)無明顯的擾動。

b) 穩(wěn)定階段:

從下圖中可看到,使用神經(jīng)網(wǎng)絡(luò)模型的方式,在振動的幅度上有一定的改善。單點(diǎn)向下抖動的程度也有一定改善,具體的一致性數(shù)值則從之前的91%提升至97%。

總結(jié)

較傳統(tǒng)企業(yè)級QoS優(yōu)化手段,利用神經(jīng)網(wǎng)絡(luò)模型可輕松實(shí)現(xiàn)應(yīng)對各種復(fù)雜場景,并能實(shí)現(xiàn)更加精確的自適應(yīng)參數(shù)調(diào)優(yōu),取得更高的IO穩(wěn)定性。

然而,在嵌入式里執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算會帶來一定的計(jì)算開銷,新一代主控芯片STAR2000則專門集成了硬件神經(jīng)網(wǎng)絡(luò)處理單元,結(jié)合8TOPS的算力,可以輕松應(yīng)對新的業(yè)務(wù)挑戰(zhàn)。

神經(jīng)網(wǎng)絡(luò)控制作為智能控制的一個新的分支,由神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來,可以為解決復(fù)雜的非線性,不確定的控制問題提供一種新的途徑。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4814

    瀏覽量

    103575
  • SSD
    SSD
    +關(guān)注

    關(guān)注

    21

    文章

    2983

    瀏覽量

    119575
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    5226

    瀏覽量

    73506
  • 主控芯片
    +關(guān)注

    關(guān)注

    2

    文章

    208

    瀏覽量

    25198
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個方面存在顯著差異,以下是對兩者的比較: 一、結(jié)構(gòu)特點(diǎn) BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:53 ?662次閱讀

    如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率

    優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率是提高模型訓(xùn)練效率和性能的關(guān)鍵步驟。以下是一些優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的方法: 一、理解學(xué)習(xí)率的重要性 學(xué)習(xí)率決定了模型參數(shù)在每次迭代時(shí)更新的幅度。過大的學(xué)習(xí)率可
    的頭像 發(fā)表于 02-12 15:51 ?930次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析

    BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)作為一種常用的機(jī)器學(xué)習(xí)模型,具有顯著的優(yōu)點(diǎn),同時(shí)也存在一些不容忽視的缺點(diǎn)。以下是對BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)的分析: 優(yōu)點(diǎn)
    的頭像 發(fā)表于 02-12 15:36 ?914次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    ),是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個或多個隱藏層和輸出層組成,通過逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化網(wǎng)絡(luò)的輸出誤差。 二、深度學(xué)習(xí)的
    的頭像 發(fā)表于 02-12 15:15 ?851次閱讀

    如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型

    BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)模型,其訓(xùn)練過程主要分為兩個階段:前向傳播和反向傳播。以下是訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:10 ?904次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

    在上一篇文章中,我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中,我們會介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 01-09 10:24 ?1183次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)方法

    卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中的應(yīng)用

    自然語言處理是人工智能領(lǐng)域的一個重要分支,它致力于使計(jì)算機(jī)能夠理解、解釋和生成人類語言。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)作為一種強(qiáng)大的模型,在圖像識別和語音處理等領(lǐng)域取
    的頭像 發(fā)表于 11-15 14:58 ?803次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    在深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常
    的頭像 發(fā)表于 11-15 14:53 ?1866次閱讀

    深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型

    深度學(xué)習(xí)近年來在多個領(lǐng)域取得了顯著的進(jìn)展,尤其是在圖像識別、語音識別和自然語言處理等方面。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個分支,因其在圖像處理任務(wù)中的卓越性能而受到廣泛關(guān)注。 卷積神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-15 14:52 ?844次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域中的一種強(qiáng)大工具,它們能夠模擬人腦處理信息的方式。隨著技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的類型也在不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和傳統(tǒng)
    的頭像 發(fā)表于 11-15 09:42 ?1125次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作機(jī)制

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),設(shè)計(jì)用于解決長期依賴問題,特別是在處理時(shí)間序列數(shù)據(jù)時(shí)表現(xiàn)出色。以下是LSTM神經(jīng)
    的頭像 發(fā)表于 11-13 10:05 ?1629次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)RNN的區(qū)別

    在深度學(xué)習(xí)領(lǐng)域,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)因其能夠處理序列數(shù)據(jù)而受到廣泛關(guān)注。然而,傳統(tǒng)RNN在處理長序列時(shí)存在梯度消失或梯度爆炸的問題。為了解決這一問題,LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)應(yīng)
    的頭像 發(fā)表于 11-13 09:58 ?1208次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)的基本原理 如何實(shí)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)

    LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),它能夠?qū)W習(xí)長期依賴信息。在處理序列數(shù)據(jù)時(shí),如時(shí)間序列分析、自然語言處理等,LSTM因其能夠有效地捕捉時(shí)間序列中的長期依
    的頭像 發(fā)表于 11-13 09:53 ?1578次閱讀

    【飛凌嵌入式OK3576-C開發(fā)板體驗(yàn)】RKNN神經(jīng)網(wǎng)絡(luò)-車牌識別

    LPRNet基于深層神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),通過輕量級的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車牌識別。它采用端到端的訓(xùn)練方式,不依賴字符分割,能夠直接處理整張車牌圖像,并輸出最終的字符序列。這種設(shè)計(jì)提高了識別的實(shí)時(shí)性和準(zhǔn)確性
    發(fā)表于 10-10 16:40

    如何構(gòu)建多層神經(jīng)網(wǎng)絡(luò)

    構(gòu)建多層神經(jīng)網(wǎng)絡(luò)(MLP, Multi-Layer Perceptron)模型是一個在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域廣泛使用的技術(shù),尤其在處理分類和回歸問題時(shí)。在本文中,我們將深入探討如何從頭開始構(gòu)建一個多層
    的頭像 發(fā)表于 07-19 17:19 ?1557次閱讀