當(dāng)前隨著冷凍電鏡、蛋白質(zhì)組學(xué)、深度學(xué)習(xí)、基因測序、卷積神經(jīng)網(wǎng)絡(luò)、高性能計(jì)算、單細(xì)胞基因、數(shù)據(jù)挖掘、數(shù)據(jù)分析、靶點(diǎn)發(fā)現(xiàn)、晶體預(yù)測、AlphaFold等技術(shù)的快速發(fā)展，生命科學(xué)開始被逐漸被人們所重視。

生命科學(xué)行業(yè)涉及研究微生物、動(dòng)植物等一切生物的科學(xué)領(lǐng)域，也包括生命倫理學(xué)等相關(guān)領(lǐng)域的考量。生命科學(xué)的研究對提高人類生活質(zhì)量有很大幫助。從全球范圍來看，21世紀(jì)以來，全球生命科學(xué)發(fā)展進(jìn)入快車道，特別是人類基因組計(jì)劃的實(shí)施、干細(xì)胞研究的深入、克隆技術(shù)的不斷發(fā)展等因素將生命科學(xué)的發(fā)展推向了新的高度，同時(shí)相應(yīng)領(lǐng)域的研發(fā)投入也在不斷增加。作為強(qiáng)烈依賴科技信息技術(shù)的典型代表，生命科學(xué)行業(yè)的藥物研發(fā)和基因測序分析領(lǐng)域面臨著計(jì)算資源短缺、研發(fā)周期長等問題。

生命科學(xué)領(lǐng)域面臨的挑戰(zhàn)

清華大學(xué)生命科學(xué)學(xué)院生物計(jì)算平臺主管楊濤認(rèn)為：冷凍電鏡目前在科研方向的挑戰(zhàn)分別是：數(shù)據(jù)管理的挑戰(zhàn)，科研進(jìn)度的挑戰(zhàn)和實(shí)驗(yàn)風(fēng)險(xiǎn)的挑戰(zhàn)。

一、數(shù)據(jù)管理

源于超量數(shù)據(jù)，在最大化壓縮的前提下，每天大約會(huì)產(chǎn)生4TB的數(shù)據(jù)量。為了使計(jì)算設(shè)備的效率最大化，需要365天不間斷工作。一年的數(shù)據(jù)總量非常驚人，給數(shù)據(jù)管理帶來巨大的挑戰(zhàn)。

二、科研管理

冷凍電鏡技術(shù)已經(jīng)備受認(rèn)可，各科研機(jī)構(gòu)都在調(diào)動(dòng)資源搶占高地，所以存在時(shí)間效率的問題，哪怕比別人慢半天，都會(huì)失去首發(fā)的價(jià)值。

三、實(shí)驗(yàn)風(fēng)險(xiǎn)

這是一個(gè)非常長時(shí)間的實(shí)驗(yàn)流水線，任何中間環(huán)節(jié)都存在風(fēng)險(xiǎn)。一旦不能及時(shí)解決風(fēng)險(xiǎn)，整個(gè)系統(tǒng)的產(chǎn)出就會(huì)大打折扣。

客戶需求

某學(xué)院單細(xì)胞基因組研究技術(shù)中心(簡稱“該中心”)旨在建立標(biāo)準(zhǔn)化、自動(dòng)化的工程技術(shù)，提高單細(xì)胞結(jié)構(gòu)分析水平，高精度確定從蛋白質(zhì)分子到全細(xì)胞的三維結(jié)構(gòu)，并在此基礎(chǔ)上揭示蛋白質(zhì)及其復(fù)合體功能，大規(guī)模制備蛋白/抗體，建成具有國際一流水平和綜合示范功能的蛋白質(zhì)科學(xué)研究核心基地。

就生命科學(xué)研究項(xiàng)目而言，每個(gè)項(xiàng)目涉及的數(shù)據(jù)量小在上百TB。對于時(shí)間周期長、領(lǐng)域廣的項(xiàng)目，未來數(shù)據(jù)需求可能在PB級。此外，該中心需要考慮支持多種生命科學(xué)研究項(xiàng)目，而其中，不同應(yīng)用對高性能平臺計(jì)算環(huán)境有不同的要求，如基因測序需要高I/O性能和內(nèi)存大消耗，而分子動(dòng)力學(xué)研究除了I/O性能外，還需要較高的網(wǎng)絡(luò)和并發(fā)處理能力。所有這些都對該中心構(gòu)建高性能平臺提出了挑戰(zhàn):

一、數(shù)據(jù)量增長10多倍，計(jì)算能力也要“跟上”

研究團(tuán)隊(duì)采用的冷凍電鏡技術(shù)在近兩年取得了革命性的進(jìn)展，具體來說就是相機(jī)技術(shù)實(shí)現(xiàn)了飛躍，采集數(shù)據(jù)的能力提高了10多倍，甚至上百倍，從而使得研究蛋白質(zhì)結(jié)構(gòu)的源數(shù)據(jù)呈幾何級數(shù)增長，這就需要中心在后期全面提升數(shù)據(jù)處理和計(jì)算能力。

二、亟需簡化管理保障服務(wù)品質(zhì)

隨著生命科學(xué)研究項(xiàng)目越來越多，如何根據(jù)不同項(xiàng)目和研究人員個(gè)性化需求分配資源，及時(shí)回收資源，實(shí)現(xiàn)跨整個(gè)高性能資源池的集中統(tǒng)一管理，簡化維護(hù)管理，減輕運(yùn)維人員負(fù)擔(dān)，是科研高性能計(jì)算平臺普遍面臨問題。

三、TCO居高不下

生命科學(xué)研究迅速成為國家戰(zhàn)略發(fā)展方向，導(dǎo)致研究項(xiàng)目和跨學(xué)科研究需求快速增加。傳統(tǒng)的分層計(jì)算存儲資源利用率低，導(dǎo)致新增費(fèi)用快速增加。此外，能耗也成為阻礙高性能計(jì)算中心擴(kuò)展的不可逾越的“高墻”。

四、網(wǎng)絡(luò)性能不能拖后腿

作為保證高性能集群正常運(yùn)行的關(guān)鍵，高性能網(wǎng)絡(luò)承擔(dān)著重要的連接任務(wù)。隨著單節(jié)點(diǎn)計(jì)算和存儲性能的不斷提升，高性能用戶需要萬兆，四萬兆，十萬兆，InfiniBand網(wǎng)絡(luò)選擇以滿足不同的高性能計(jì)算需求。

解決方案特點(diǎn)

藍(lán)海大腦基于融合架構(gòu)助力某學(xué)院單細(xì)胞基因組研究技術(shù)中心搭建了一個(gè)分布式高性能平臺，擁有250個(gè)物理計(jì)算節(jié)點(diǎn)，5000個(gè)計(jì)算核心，總存儲容量1.92PB，理論計(jì)算能力208Tflops。通過Lustre技術(shù)實(shí)現(xiàn)了跨20個(gè)融合架構(gòu)的集中統(tǒng)一管理。

一、4.1TFLOPS/U的計(jì)算密度，4倍性能提升

可針對不同項(xiàng)目量身定制配置。其中，高密度計(jì)算節(jié)點(diǎn)支持14核英特爾?至強(qiáng)TM E5-2600v3處理器，在2U中擁有224個(gè)計(jì)算核心的密度，單U空間的計(jì)算性能密度達(dá)到業(yè)界領(lǐng)先的4.1TFLOPS，同時(shí)支持64個(gè)DIMM高密度內(nèi)存，確保高性能和低延遲的性能要求。此外，還支持InfiniBand接口，非常適合要求超低延遲的工作負(fù)載。在強(qiáng)大計(jì)算能力的保證下，計(jì)算效率提升3-4倍，過去4-5天才能完成的計(jì)算任務(wù)，一天就能完成。

二、簡化高性能資源池監(jiān)控管理

根據(jù)項(xiàng)目要求定制不同的系統(tǒng)配置，同時(shí)通過機(jī)箱管理控制器(CMC)，可以集中監(jiān)控和管理20個(gè)FX系統(tǒng)。此外，無代理生命周期管理和一對多遠(yuǎn)程管理功能可確保BIOS和固件程序更新不會(huì)影響業(yè)務(wù)穩(wěn)定性，并提高系統(tǒng)中計(jì)算節(jié)點(diǎn)生命周期管理的效率。而且在擴(kuò)展服務(wù)器時(shí)，IT人員可以通過下發(fā)配置文件，使系統(tǒng)自動(dòng)更新BIOS和固件程序，避免了重復(fù)輸入配置參數(shù)的繁瑣過程，減少了人工輸入錯(cuò)誤導(dǎo)致的系統(tǒng)故障，簡化了管理運(yùn)維，降低了管理費(fèi)用。

三、TCO降低約20%

自動(dòng)化、高密度、低能耗的集成部署、集中統(tǒng)一管理，可以使中心的TCO降低20%左右。其中，藍(lán)海大腦將通過主板連接服務(wù)器、存儲和1G0b網(wǎng)絡(luò)，通過模塊化設(shè)計(jì)形成融合一體機(jī)，同時(shí)提供散熱、供電、網(wǎng)絡(luò)、管理和PCIe擴(kuò)展的共享插槽，降低數(shù)據(jù)中心的占地和能耗，幫助中心獲得良好的性價(jià)比。

四、高速網(wǎng)絡(luò)保障平臺I/O性能

藍(lán)海大腦為中心提供四萬兆高性能網(wǎng)絡(luò)，在保持成本優(yōu)勢的基礎(chǔ)上，為用戶提供穩(wěn)定的網(wǎng)絡(luò)性能，保證高性能、低延遲要求。

五、打破原有的服務(wù)器散熱方式，采用液冷散熱

藍(lán)海大腦液冷服務(wù)器系統(tǒng)突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進(jìn)行冷卻，其余熱源仍采用風(fēng)冷方式進(jìn)行冷卻。通過這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時(shí)，降低主要熱源 CPU 散熱所耗電能，并增強(qiáng)服務(wù)器可靠性。經(jīng)檢測，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。

客戶收益

一、藍(lán)海大腦HPC高性能計(jì)算與AI平臺已成為高性能、多功能、專業(yè)的前沿計(jì)算平臺，尤其在AI深度學(xué)習(xí)方面，為校內(nèi)外生物學(xué)研究提供高效的計(jì)算支持。同時(shí)為計(jì)算生物學(xué)、深度學(xué)習(xí)、基因測序等多個(gè)研究組提供計(jì)算服務(wù)。包括測序儀的離線處理、序列搜尋比對分析、分子動(dòng)力學(xué)模擬、計(jì)算機(jī)輔助藥物設(shè)計(jì)和分子對接、生物網(wǎng)絡(luò)的計(jì)算。

二、全力支持基于深度學(xué)習(xí)的分子圖編碼和基于深度學(xué)習(xí)的中藥方劑系統(tǒng)的研發(fā)。研發(fā)人員可以利用HPC高性能計(jì)算和AI平臺開發(fā)基于三維分子圖譜的深度學(xué)習(xí)編碼，進(jìn)行基于深度學(xué)習(xí)的中醫(yī)診斷處方。多任務(wù)分子預(yù)測模型由卷積神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成。交叉驗(yàn)證用于調(diào)整和驗(yàn)證參數(shù)，外部數(shù)據(jù)用于測試和評估模型。同時(shí)，從預(yù)測模型中挖掘關(guān)鍵信息。同時(shí)通過卷積神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量的方劑配伍信息，然后用主藥生成語義自動(dòng)關(guān)聯(lián)分析得到的輔藥，從而生成新的方劑。藍(lán)海大腦HPC高性能計(jì)算和AI平臺提供了高效并行的計(jì)算資源，大大加快了模型的訓(xùn)練速度，從而在有效的時(shí)間內(nèi)完成最終的任務(wù)。

三、支持基于化學(xué)片段的從頭計(jì)算藥物設(shè)計(jì)，對疾病的治療和生物學(xué)功能的理解有重要的促進(jìn)作用。傳統(tǒng)的藥物篩選過程耗時(shí)長，成本高，導(dǎo)致整個(gè)藥物設(shè)計(jì)和發(fā)現(xiàn)過程效率低下。為了加快藥物設(shè)計(jì)和發(fā)現(xiàn)的進(jìn)程，研究人員利用這一平臺逐步發(fā)展了分子從頭設(shè)計(jì)的方法，并取得了良好的效果。研究人員通過蒙特卡洛樹搜索和神經(jīng)網(wǎng)絡(luò)模型的結(jié)合，實(shí)現(xiàn)了巨大化學(xué)空間的搜索和最優(yōu)結(jié)構(gòu)的采樣，快速完成了完整的從頭計(jì)算藥物設(shè)計(jì)過程，并探索了蛋白質(zhì)口袋表征和評分功能。

四、利用深度學(xué)習(xí)框架構(gòu)建深度學(xué)習(xí)模型，加強(qiáng)學(xué)習(xí)模型的訓(xùn)練，實(shí)現(xiàn)深度學(xué)習(xí)的評分函數(shù)模型的訓(xùn)練和測試，并對模型進(jìn)行訓(xùn)練。對于模型生成的分子，通過聚類分析分子的合成、毒性和理化性質(zhì)，選擇合適的分子。

審核編輯 黃昊宇