深度學(xué)習(xí) | 東數(shù)西算| 液冷散熱

數(shù)據(jù)挖掘 | 數(shù)據(jù)分析| 高性能計(jì)算

隨著深度學(xué)習(xí)、東數(shù)西算、醫(yī)藥研發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、遙感測(cè)繪、高性能計(jì)算等技術(shù)的快速發(fā)展，數(shù)據(jù)中心的創(chuàng)建與日俱增，傳統(tǒng)的風(fēng)冷散熱方式已經(jīng)不同滿足數(shù)據(jù)中心散熱的需求，冷板式液冷散熱逐漸出現(xiàn)在人們的視線中。

注：由于篇幅有限需要更多詳細(xì)資料，請(qǐng)?jiān)诠娞?hào)末尾留下您的郵箱，小編會(huì)將PDF文件發(fā)您郵箱，共同進(jìn)步。

氣候變化正給人類生產(chǎn)生活帶來(lái)日益嚴(yán)峻的挑戰(zhàn)。為在促進(jìn)經(jīng)濟(jì)繁榮的同時(shí)保護(hù)地球，聯(lián)合國(guó)制定了2030可持續(xù)發(fā)展目標(biāo)，將降低能源碳強(qiáng)度，采取緊急行動(dòng)應(yīng)對(duì)氣候變化及其影響作為重要內(nèi)容，推動(dòng)全球各國(guó)提供更多資源和更明智的解決方案。2021年底發(fā)布的《第五屆聯(lián)合國(guó)環(huán)境大會(huì)續(xù)會(huì)的部長(zhǎng)級(jí)宣言草案》再次強(qiáng)調(diào)，推動(dòng)綠色轉(zhuǎn)型，減少碳和非碳溫室氣體排放，實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)。

中國(guó)高度重視落實(shí)聯(lián)合國(guó) 2030 年可持續(xù)發(fā)展議程，并基于推動(dòng)實(shí)現(xiàn)可持續(xù)發(fā)展的內(nèi)在要求，將生態(tài)文明建設(shè)明確為國(guó)家戰(zhàn)略，宣布了“碳達(dá)峰”和“碳中和”目標(biāo)，讓綠色低碳成為各行業(yè)轉(zhuǎn)型升級(jí)和實(shí)現(xiàn)高質(zhì)量發(fā)展的重要方向。在全球落實(shí)可持續(xù)發(fā)展行動(dòng)，中國(guó)積極推進(jìn)生態(tài)文明建設(shè)的進(jìn)程中，5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的快速普及應(yīng)用，在為各行各業(yè)高質(zhì)量發(fā)展提供前所未有新動(dòng)能的同時(shí)，也讓作為新型基礎(chǔ)設(shè)施的數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，能耗持續(xù)高速增長(zhǎng)。據(jù)相關(guān)估算，全國(guó)各類型數(shù)據(jù)中心用電量總和已約占全社會(huì)用電量的1.5%-2%左右，且機(jī)柜規(guī)模仍保持高速增長(zhǎng)態(tài)勢(shì)。參照美國(guó)勞倫斯伯克利實(shí)驗(yàn)室對(duì)美國(guó)數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展相關(guān)研究估算，在不采取相關(guān)措施的情況下，數(shù)據(jù)中心總用電量有可能翻倍甚至更高。

面對(duì)不斷增長(zhǎng)的能源消耗與經(jīng)濟(jì)社會(huì)可持續(xù)發(fā)展的雙重壓力，加速數(shù)據(jù)中心運(yùn)營(yíng)模式的綠色轉(zhuǎn)型成為當(dāng)務(wù)之急。2021年5月，國(guó)家發(fā)改委等四部委聯(lián)合發(fā)布《全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》，將綠色低碳列為基本原則，強(qiáng)調(diào)通過(guò)創(chuàng)新技術(shù)全面提高其能源利用效率；同年7月，工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021-2023年）》,明確提出新建大型及以上數(shù)據(jù)中心電能利用效率（Power UsageEffffectiveness，PUE）降低到1.3以下。2022年1月，國(guó)務(wù)院印發(fā)“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃，隨后國(guó)家發(fā)展改革委會(huì)同相關(guān)部門(mén)推進(jìn)“東數(shù)西算”工程實(shí)施，強(qiáng)化數(shù)據(jù)中心綠色發(fā)展要求，強(qiáng)調(diào)大型、超大型數(shù)據(jù)中心PUE降到1.3以下，并在給多個(gè)算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)啟動(dòng)的復(fù)函中，都將PUE指標(biāo)控制在1.25以內(nèi)。

在政策拉動(dòng)以及數(shù)據(jù)中心降本增效等自身需求的驅(qū)動(dòng)下，整個(gè) ICT 產(chǎn)業(yè)積極采用創(chuàng)新技術(shù)和模式，圍繞降低PUE這一關(guān)鍵指標(biāo)，通過(guò)推進(jìn)基礎(chǔ)設(shè)施智能化、創(chuàng)新和采用制冷散熱技術(shù)，以及提升能效與供電密度等系統(tǒng)化措施和多元化的技術(shù)與解決方案，綜合性地創(chuàng)新數(shù)據(jù)中心高效節(jié)能體系，推動(dòng)數(shù)據(jù)中心全生命周期降耗增效。

深度學(xué)習(xí)冷板式液冷解決方案

眾冷板液冷生態(tài)伙伴以“創(chuàng)造改變世界的技術(shù)，改善地球上每個(gè)人的生活”為宏旨，在不遺余力地通過(guò)將可持續(xù)納入產(chǎn)品設(shè)計(jì)、生產(chǎn)、使用全生命周期，系統(tǒng)化減少碳足跡的同時(shí)，聚力攜手更廣泛的產(chǎn)業(yè)伙伴開(kāi)放創(chuàng)新，基于在數(shù)據(jù)中心可持續(xù)發(fā)展上構(gòu)建起的完備解決方案矩陣，重點(diǎn)聚焦的數(shù)據(jù)中心機(jī)架電源設(shè)計(jì)、先進(jìn)冷卻技術(shù)和數(shù)據(jù)中心智能節(jié)能三個(gè)垂直領(lǐng)域，充分應(yīng)用芯片、服務(wù)器、機(jī)架、數(shù)據(jù)中心四個(gè)水平方向的技術(shù)方案和豐富案例，繼續(xù)深入實(shí)踐，全方位、立體化推動(dòng)數(shù)據(jù)中心不斷實(shí)現(xiàn)能效優(yōu)化和低碳轉(zhuǎn)型。同時(shí)，還將繼續(xù)與各界伙伴協(xié)同推進(jìn)數(shù)據(jù)中心功率密度演進(jìn)、液冷技術(shù)應(yīng)用與設(shè)計(jì)等標(biāo)準(zhǔn)和規(guī)范建設(shè)，助力構(gòu)建長(zhǎng)效機(jī)制，引導(dǎo)數(shù)據(jù)中心加速邁向高效、清潔、集約、循環(huán)的綠色發(fā)展新紀(jì)元。

由英特爾推出的《綠色數(shù)據(jù)中心創(chuàng)新實(shí)踐——冷板液冷系統(tǒng)設(shè)計(jì)參考》是產(chǎn)業(yè)生態(tài)伙伴緊密合作、聯(lián)合創(chuàng)新的重要成果之一，內(nèi)容涵蓋液冷一次側(cè)及二次側(cè)整個(gè)鏈路的設(shè)計(jì)，旨在與冷板液冷生態(tài)伙伴及潛在使用者分享對(duì)于冷板液冷技術(shù)關(guān)鍵部件設(shè)計(jì)選型的考量，其付梓發(fā)布也是要通過(guò)面向更廣泛的產(chǎn)業(yè)伙伴展現(xiàn)冷板液冷技術(shù)關(guān)鍵部件的研究進(jìn)展，來(lái)共同促其標(biāo)準(zhǔn)化，進(jìn)而降低其設(shè)計(jì)與使用成本，推動(dòng)建立并完善冷板液冷的生態(tài)系統(tǒng)，為推進(jìn)數(shù)據(jù)中心行業(yè)加速脫碳轉(zhuǎn)型，并以此支持各行各業(yè)實(shí)現(xiàn)低碳發(fā)展，共同為中國(guó)實(shí)現(xiàn)碳達(dá)峰、碳中和目標(biāo)而做出新的貢獻(xiàn)。

本文對(duì)參與冷板散熱系統(tǒng)設(shè)計(jì)、驗(yàn)證、管路的連接組裝、系統(tǒng)的檢測(cè)及維護(hù)人員均具有參考意義。

冷板式液冷整體鏈路圖

數(shù)據(jù)中心發(fā)展趨勢(shì)

隨著云計(jì)算、大數(shù)據(jù)、人工智能等新一代信息技術(shù)快速發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。作為儲(chǔ)存和計(jì)算基礎(chǔ)設(shè)施的數(shù)據(jù)中心加速建設(shè)是大勢(shì)所趨。

一、數(shù)據(jù)中心總體能耗不斷抬升

隨著數(shù)字經(jīng)濟(jì)在人類活動(dòng)中的占比逐漸增加，信息數(shù)據(jù)量激增，與之對(duì)應(yīng)的數(shù)據(jù)分析、處理能力不斷提升，使得服務(wù)器的密度越來(lái)越高，導(dǎo)致數(shù)據(jù)中心產(chǎn)生熱量日益增多。據(jù)行業(yè)數(shù)據(jù)報(bào)告顯示，預(yù)計(jì)未來(lái)5年，其仍將以15%~20%的速率持續(xù)增長(zhǎng)，也將使未來(lái)數(shù)據(jù)中心行業(yè)用電占社會(huì)總用電量的比率進(jìn)一步提升。

作為“新基建”的引領(lǐng)行業(yè)，數(shù)據(jù)中心是以技術(shù)創(chuàng)新為驅(qū)動(dòng)和信息網(wǎng)絡(luò)為基礎(chǔ)的高質(zhì)量發(fā)展行業(yè)，在為社會(huì)和工業(yè)的數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新等服務(wù)提供基礎(chǔ)設(shè)施體系的同時(shí)，快速增加的能源消耗也帶來(lái)熱點(diǎn)地區(qū)局部能源的稀缺和地域之間的不均衡。在北上廣這些核心地區(qū)，很多潛在項(xiàng)目面臨有房無(wú)電的窘境。因此，作為單體能源消耗密度高的行業(yè)，數(shù)據(jù)中心必須以綠色低碳、節(jié)能減排來(lái)應(yīng)對(duì)快速發(fā)展帶來(lái)的挑戰(zhàn)，才能實(shí)現(xiàn)健康可持續(xù)發(fā)展。

根據(jù)相關(guān)國(guó)家政策要求，在未來(lái)布局的算力樞紐 8 大節(jié)點(diǎn)中，東部數(shù)據(jù)中心PUE需要降低到1.25以下（包括華南地區(qū)），西部地區(qū)的數(shù)據(jù)中心PUE要求在1.2以下，且要求制冷系統(tǒng)采取新的解決方案。

二、功率密度隨需求不斷提高

近年來(lái)，數(shù)據(jù)中心單位空間產(chǎn)生熱量的瓦數(shù)正在不斷上升，同時(shí)功率密度也在增加，嚴(yán)重制約了傳統(tǒng)冷卻方法和技術(shù)的進(jìn)一步應(yīng)用和推廣。因此，液冷作為數(shù)據(jù)中心新興的制冷技術(shù)，逐漸被人們接納并應(yīng)用。

Uptime Institute發(fā)布的《2020全球數(shù)據(jù)中心調(diào)查報(bào)告》顯示，2020年全球71%的數(shù)據(jù)中心平均功率密度低于10kW /機(jī)架，最常見(jiàn)是5~9kW /機(jī)架，平均單機(jī)架功率為8.4kW /機(jī)架，平均功率密度高于20kW /機(jī)架的數(shù)據(jù)中心約占16％。雖然整體功率密度相較于高性能計(jì)算（HPC）等領(lǐng)域還不算高，但總體上升趨勢(shì)明顯，相比于2017年的5.6kW /機(jī)架、2011年的2.4 kW /機(jī)架增長(zhǎng)顯著。而且宏觀上看，數(shù)據(jù)中心未來(lái)的功率密度還將繼續(xù)上升。

造成這一趨勢(shì)的原因主要有兩個(gè)方面。一是從應(yīng)用層面來(lái)看，計(jì)算密集型應(yīng)用場(chǎng)景的激增，加上云業(yè)務(wù)廣為互聯(lián)網(wǎng)頭部企業(yè)采用，導(dǎo)致承載這些應(yīng)用負(fù)載的服務(wù)器設(shè)備功耗大幅增加，進(jìn)而使得數(shù)據(jù)中心設(shè)計(jì)功率密度呈現(xiàn)逐年增大的趨勢(shì)。另外一個(gè)原因來(lái)自IT硬件層面。為了滿足高算力負(fù)載需求，通過(guò)單機(jī)架疊加多核處理器提高計(jì)算密度，導(dǎo)致了IT硬件的處理器功耗顯著增加，也使得單機(jī)架功率密度越來(lái)越高。比如，從當(dāng)前占據(jù)全球服務(wù)器CPU主要市場(chǎng)的英特爾?架構(gòu)處理器看，英特爾?至強(qiáng)?可擴(kuò)展處理器TDP（熱設(shè)計(jì)功耗）從2019年的205W上升了到達(dá)現(xiàn)在的270W，在2023年初將達(dá)到350W，提升近一倍。而這在提供強(qiáng)大算力的同時(shí)無(wú)疑也帶來(lái)散熱困擾，而解決了散熱瓶頸就意味著實(shí)現(xiàn)算力提升。

數(shù)據(jù)中心液冷散熱解決方案

采用風(fēng)冷的數(shù)據(jù)中心通?？梢越鉀Q 12kW 以內(nèi)的機(jī)柜制冷。隨著服務(wù)器單位功耗增大，原先尺寸的普通服務(wù)器機(jī)柜可容納的服務(wù)器功率往往超過(guò) 15kW，相對(duì)于現(xiàn)有的風(fēng)冷數(shù)據(jù)中心，這已經(jīng)到了空氣對(duì)流散熱能力的天花板。而液冷技術(shù)作為一種散熱能力更強(qiáng)的技術(shù)，可以支持更高的功率密度。

一、液冷的優(yōu)勢(shì)

1、滿足高功率密度機(jī)柜的散熱需求。液冷的高效制冷效果有效提升了服務(wù)器的使用效率和穩(wěn)定性，同時(shí)可使數(shù)據(jù)中心在單位空間布置更多的服務(wù)器，提高數(shù)據(jù)中心使用效率；

2、循環(huán)系統(tǒng)耗能少，系統(tǒng)噪音小。使用高比熱的液體工質(zhì)，冷卻工質(zhì)循環(huán)能耗少，且液冷簡(jiǎn)化了換熱流程，也減小了風(fēng)冷末端在房間輸送冷風(fēng)過(guò)程中受湍流影響所致的部分能量衰減的問(wèn)題；

3、占地小，易于選址。使用液冷系統(tǒng)的數(shù)據(jù)中心相對(duì)于傳統(tǒng)的風(fēng)冷數(shù)據(jù)中心更加簡(jiǎn)單，去掉了龐大的末端空調(diào)系統(tǒng)，提高了建筑利用率，在小空間里也能布置足夠規(guī)模的服務(wù)器，應(yīng)用場(chǎng)景更易布置，受地理位置影響較小，全國(guó)布局皆可實(shí)現(xiàn)低PUE運(yùn)行；

4、降低 TCO，運(yùn)營(yíng) PUE 較低，全年 PUE 可達(dá)到 1.2 以下。采用液冷散熱方案的數(shù)據(jù)中心PUE比采用風(fēng)冷的常規(guī)冷凍水系統(tǒng)降低0.15以上，可讓有限的能源更多分配給算力，從而降低運(yùn)行成本，增加算力產(chǎn)出；

5、余熱回收易實(shí)現(xiàn)。相比傳統(tǒng)水溫，使用液冷方案的水溫更高，溫差大，熱源品味和余熱系統(tǒng)效率高；

6、適應(yīng)性強(qiáng)。冷板式液冷兼容性強(qiáng)，易配套開(kāi)發(fā)，不需改變?cè)行螒B(tài)和設(shè)備材料；空間利用率高，可維護(hù)性強(qiáng)，布置條件與普通機(jī)房相近，可直接與原制冷系統(tǒng)（常規(guī)冷凍水系統(tǒng)）兼容適應(yīng)。

基于冷板液冷解決方案的一次側(cè)系統(tǒng)

對(duì)于液冷二次側(cè)末端不同的水溫需求，液冷一次側(cè)冷源可采用機(jī)械制冷系統(tǒng)和自然冷卻系統(tǒng)。機(jī)械制冷系統(tǒng)包括風(fēng)冷冷凍水系統(tǒng)和水冷冷凍水系統(tǒng)，可提供 12℃-18℃ 的中溫冷凍水；自然冷卻是在室外氣象條件允許的情況下，利用室外空氣的冷量而不需機(jī)械制冷的冷卻過(guò)程，自然冷卻系統(tǒng)可采用開(kāi)式冷卻塔、閉式冷卻塔和干冷器等設(shè)備實(shí)現(xiàn)，可提供 30℃ 以上的冷卻水。液冷一次側(cè)冷源形式需結(jié)合二次側(cè)末端水溫需求和項(xiàng)目地室外環(huán)境情況確定。

一、機(jī)械制冷系統(tǒng)

1、風(fēng)冷冷凍水系統(tǒng)

風(fēng)冷冷凍水系統(tǒng)是冷凍水制備的一種方式，主要由風(fēng)冷冷水機(jī)組、冷凍水泵及配套設(shè)施組成，其液態(tài)制冷劑在其蒸發(fā)器盤(pán)管內(nèi)直接蒸發(fā)，實(shí)現(xiàn)對(duì)盤(pán)管外的冷凍水吸熱而制冷，并通過(guò)風(fēng)冷的方式冷卻為液態(tài)。

風(fēng)冷冷凍水系統(tǒng)不需要占用專門(mén)的機(jī)房且無(wú)需安裝冷卻塔及泵房，初期成本投入較低、運(yùn)行方便，不需要專業(yè)人員維護(hù)，無(wú)冷卻水系統(tǒng)，具備節(jié)水和降低維護(hù)費(fèi)用等優(yōu)點(diǎn)。但風(fēng)冷冷水機(jī)組一般裝在室外，運(yùn)維環(huán)境相對(duì)較為惡劣，維護(hù)性及可靠性均不如水冷冷水機(jī)組，并且風(fēng)冷機(jī)組在夏季高溫制冷效果較差，運(yùn)行效率較低。

2、水冷冷凍水系統(tǒng)

水冷冷凍水系統(tǒng)是冷凍水制備的一種方式，主要由水冷冷水機(jī)組、冷凍水泵、冷卻水泵、冷卻塔及配套設(shè)施組成，其液態(tài)制冷劑在蒸發(fā)器盤(pán)管內(nèi)直接蒸發(fā)，實(shí)現(xiàn)對(duì)盤(pán)管外的冷凍水吸熱而制冷，并通過(guò)水冷的方式冷卻為液態(tài)。

水冷冷凍水系統(tǒng)具有耗電量較低、全年制冷效果好、可靠性高和使用壽命長(zhǎng)的優(yōu)點(diǎn)。但其需要專用機(jī)房、冷卻塔、冷卻水泵、冷凍水泵等設(shè)備，初投資較大，并且需要循環(huán)水，水資源消耗大，且機(jī)組本體和冷卻設(shè)施需要維護(hù)，相較于風(fēng)冷機(jī)組，其維護(hù)費(fèi)用比較高。

二、自然冷卻系統(tǒng)

1、開(kāi)式冷卻塔

開(kāi)式冷卻塔經(jīng)過(guò)將循環(huán)冷卻水直接噴淋到冷卻塔填料上，同時(shí)由風(fēng)機(jī)帶動(dòng)冷卻塔內(nèi)氣流流動(dòng)，通過(guò)室外空氣與冷卻水之間的熱質(zhì)交換蒸發(fā)冷卻循環(huán)水，冷卻后的循環(huán)水在冷卻塔底部出水。開(kāi)式冷卻塔中循環(huán)冷卻水與室外空氣存在熱質(zhì)交換。

開(kāi)式冷卻塔示意圖

開(kāi)式冷卻塔初投資和運(yùn)行成本均較低，占地面積較小，重量較輕，但其運(yùn)行水質(zhì)較差，易引起被冷卻換熱器結(jié)垢，適用于室外空氣品質(zhì)較好的區(qū)域。另外，雖然可增設(shè)一級(jí)板式換熱器和冷卻水泵來(lái)避免核心換熱器結(jié)垢，但對(duì)應(yīng)系統(tǒng)較為復(fù)雜，初投資提升。

2、閉式冷卻塔

閉式冷卻塔是將管式換熱器置于塔內(nèi)，通過(guò)室外流通的空氣、噴淋水與管內(nèi)的循環(huán)冷卻水進(jìn)行熱交換而實(shí)現(xiàn)向大氣散熱的設(shè)備。閉式冷卻塔有內(nèi)循環(huán)和外循環(huán)兩個(gè)系統(tǒng)，其內(nèi)循環(huán)通過(guò)與被冷卻設(shè)備對(duì)接，構(gòu)成一個(gè)封閉式系統(tǒng)，將系統(tǒng)熱量帶到冷卻塔，也即內(nèi)循環(huán)水通過(guò)換熱盤(pán)管將熱量傳遞到大氣中；外循環(huán)由循環(huán)噴淋泵，布水系統(tǒng)、集水盤(pán)及管路組成，外循環(huán)水不與內(nèi)循環(huán)水相接觸，只是通過(guò)冷卻塔內(nèi)的換熱器吸收內(nèi)循環(huán)水的熱量，然后通過(guò)和空氣直接接觸來(lái)散熱。

閉式冷卻塔示意圖

閉式冷卻塔的水質(zhì)較好，被冷卻換熱器不易結(jié)垢，壽命長(zhǎng)，應(yīng)用在室外環(huán)境質(zhì)量差且對(duì)循環(huán)水質(zhì)要求高的場(chǎng)合優(yōu)勢(shì)明顯；但閉式冷卻塔初投資和運(yùn)行成本均較高，占地面積大，重量較重。

3、干冷器

干冷器即干式冷卻器，其工作過(guò)程沒(méi)有水的消耗，是通過(guò)管內(nèi)走液體與管外走自然風(fēng)來(lái)冷卻管內(nèi)液體，降低管內(nèi)液體溫度，達(dá)到冷卻的目的。干冷器中的載冷劑通常使用乙二醇溶液，需要根據(jù)項(xiàng)目地冬季極端溫度選取溶液濃度。

干冷器示意圖

干冷器沒(méi)有壓縮機(jī)，總體耗電量低，機(jī)組使用壽命長(zhǎng)，初投資比風(fēng)冷冷水系統(tǒng)和水冷冷水系統(tǒng)低，但其一般安裝在室外，運(yùn)行環(huán)境相對(duì)惡劣，且在夏季炎熱散熱較差的區(qū)域，需配置水噴淋冷卻系統(tǒng)或濕簾系統(tǒng)增強(qiáng)換熱，導(dǎo)致占地面積增大。

三、一次側(cè)系統(tǒng)應(yīng)用場(chǎng)景

在冷板式液冷系統(tǒng)中，發(fā)熱器件不直接接觸液體，而是通過(guò)與裝有液體的冷板直接接觸來(lái)散熱，或者由導(dǎo)熱部件將熱量傳導(dǎo)到冷板上，然后通過(guò)冷板內(nèi)部液體循環(huán)帶走熱量。由于服務(wù)器芯片等發(fā)熱器件不用直接接觸液體，所以該方式對(duì)現(xiàn)有服務(wù)器芯片組件及附屬部件改動(dòng)量較小，可操作性更強(qiáng)，成為目前成熟度最高、應(yīng)用最廣泛的液冷散熱方案。

二次側(cè)相對(duì)穩(wěn)定，通過(guò)冷卻液分配單元（CDU）及后面的系統(tǒng)架構(gòu)進(jìn)行配置。一次側(cè)可以考慮多種的使用條件和場(chǎng)景進(jìn)行組合。按照制冷的方式，主要分成機(jī)械制冷和自然冷卻制冷，同時(shí)結(jié)合國(guó)內(nèi)情況，進(jìn)行劃分如下：

一次側(cè)和二次側(cè)供液溫度的參考值

一次側(cè)冷源有多種組成形式，需根據(jù)當(dāng)?shù)厥彝猸h(huán)境溫度（包括干球 / 濕球溫度）及液冷服務(wù)器的進(jìn)液溫度，確定是否需要下調(diào)水溫；另外供水溫度應(yīng)比室內(nèi)露點(diǎn)溫度高出 2℃～3℃左右，以防結(jié)露。

1、方案一：冷水機(jī)組 + 冷卻塔（開(kāi)式）+ 板換

在高熱高濕地區(qū)，機(jī)房環(huán)境溫度要求高，直接采用閉式冷塔 / 干冷器無(wú)法直接滿足供冷要求，需要輔助機(jī)械制冷裝置；冷源通常采用冷水機(jī)組 + 冷卻塔的聯(lián)合供冷的方式，此結(jié)構(gòu)適應(yīng)性強(qiáng)，效率高，但耗水量較大，不適合缺水的地區(qū)。

冷塔 + 水冷冷機(jī) + 板換系統(tǒng)示意圖

系統(tǒng)根據(jù)室外溫度變化分成兩種模式：

模式一：室外溫度較低，無(wú)需冷機(jī)開(kāi)啟，僅憑冷塔 + 板換即可滿足制冷要求。

模式二：冷塔出水水溫高于 CDU 需求，需要機(jī)械降溫補(bǔ)冷，形成冷塔 + 冷機(jī)的組合形式。

2、方案二：風(fēng)冷冷水機(jī)組

風(fēng)冷冷水機(jī)組將冷凝器、水泵、壓縮機(jī)等部件合成整體，且通常配置干冷器（免費(fèi)冷源模塊），集成度高；但是無(wú)法利用水的蒸發(fā)潛熱，系統(tǒng)能效低，適合系統(tǒng)偏小環(huán)境以及缺水地區(qū)。

風(fēng)冷冷水機(jī)組示意圖

使用模式與場(chǎng)景 1 相近，也具備兩種模式：

模式一：室外溫度較低，無(wú)需冷機(jī)開(kāi)啟，僅憑免費(fèi)冷源模塊即可滿足制冷要求。

模式二：免費(fèi)冷源模塊無(wú)法滿足 CDU 的溫度要求，需要機(jī)械降溫補(bǔ)冷，則直接使用風(fēng)冷冷機(jī)形式。

3、方案三：閉式冷卻塔 / 干冷器

對(duì)于當(dāng)?shù)貧鉁厝贻^低，可采用閉式冷塔/干冷器直接供冷，全年無(wú)需機(jī)械制冷。

閉式冷卻塔/干冷器液冷系統(tǒng)示意圖

閉式冷塔和干冷器使用模式基本相同，閉式冷卻塔系統(tǒng)仍以蒸發(fā)散熱為主，可以輸出更低的溫度，循環(huán)系統(tǒng)水質(zhì)較好，對(duì)于 CDU 或者其它換熱設(shè)備友好，只是耗水量大。干冷器體積較大，單機(jī)制冷量偏小，但容易布置，配置上濕膜，還可以部分使用蒸發(fā)冷卻。

該系統(tǒng)也分成兩種模式：

模式 1：干模式，無(wú)需通過(guò)水蒸發(fā)散熱。

模式 2：濕模式，系統(tǒng)需要通過(guò)噴水蒸發(fā)的潛熱帶走熱量，閉式冷卻塔此時(shí)和開(kāi)式冷卻塔相同。干冷器通過(guò)進(jìn)風(fēng)口的濕膜初步降溫，再進(jìn)行二次降溫。

4、方案四：開(kāi)式冷卻塔

開(kāi)式冷卻塔制冷模式與閉式冷卻塔完全相同，只是開(kāi)式冷卻塔水路與大氣相通，水質(zhì)較差。

開(kāi)式冷卻塔冷卻示意圖

上述方案以液冷側(cè)需求為主要考量因素。冷板液冷機(jī)房在實(shí)際運(yùn)轉(zhuǎn)過(guò)程中，液冷系統(tǒng)往往仍然需要配備少量空調(diào)使用，以滿足服務(wù)器中非液冷部件的散熱需求。

一次側(cè)冷源建議方案

二次側(cè)冷液冷板概述

二次側(cè)液體回路是指從冷量分配單元到機(jī)架，通過(guò)供回冷卻工質(zhì)歧管和 IT 設(shè)備連接，然后再通過(guò)歧管返回冷量分配單元的設(shè)計(jì)。來(lái)自二次側(cè)冷卻回路的熱量通過(guò)冷量分配單元的板式熱交換器傳遞到一次側(cè)冷卻回路，最終排放到大氣中或被熱回收再利用。

隨著 IT 設(shè)備功率密度的增加，需要更高效的冷卻技術(shù)來(lái)滿足日益增長(zhǎng)的算力需求。與傳統(tǒng)的風(fēng)冷相比，液冷方案提供了更加高效的冷卻效率。而何時(shí)轉(zhuǎn)換到液冷取決于許多不同的因素，例如包括散熱性能需求、電力配備、PUE 要求、IT 設(shè)備密度、冷卻成本，以及將來(lái)的 IT 設(shè)備的性能需求和部署策略等等。另外，是改造現(xiàn)有設(shè)施還是重新建造新的數(shù)據(jù)中心機(jī)房, 也需納入 TCO 的考量范圍。

采用液體冷卻的一個(gè)直接原因是，傳統(tǒng)的風(fēng)冷方案已經(jīng)無(wú)法滿足 IT設(shè)備的散熱需求，故而需要新的方案提升冷卻能力。對(duì)于 CPU 和GPU 等高功耗元器件，究竟何時(shí)或在何種功率水平下需要液體冷卻，目前尚無(wú)通用指南，不能一概而論。但應(yīng)注意的是，除了成本分析外，還需要了解液冷方案的一些設(shè)計(jì)考量，比如冷卻回路中的所有浸潤(rùn)材料與所使用的冷卻工質(zhì)相容并保持長(zhǎng)期可靠性，使用的冷卻工質(zhì)不能與任何其他冷卻工質(zhì)混合使用等等。

液冷部件設(shè)計(jì)考量

一、冷卻工質(zhì)

二次側(cè)冷卻回路中常用的冷卻工質(zhì)包括水基冷卻工質(zhì)和非水基冷卻工質(zhì)。其選擇需要在滿足冷卻性能需求的同時(shí)，還應(yīng)滿足二次側(cè)冷卻回路中所有浸潤(rùn)材料的相容性和長(zhǎng)期可靠性，并同時(shí)考慮IT設(shè)備及冷卻工質(zhì)本身維護(hù)的便利性、使用預(yù)期壽命及液體的成本等綜合因素。

每種液冷冷卻工質(zhì)都有不同的優(yōu)點(diǎn)和缺點(diǎn)，下面表中有詳細(xì)介紹。水基冷卻工質(zhì)具有良好的傳熱性能，其中的純水液通過(guò)維持超低電導(dǎo)率環(huán)境抑制浸潤(rùn)材料的腐蝕和微生物的滋生；配方液通過(guò)緩蝕劑和殺生劑的添加劑降低浸潤(rùn)材料的腐蝕風(fēng)險(xiǎn)和抑制細(xì)菌生長(zhǎng)。但這些添加劑會(huì)降低水的熱傳導(dǎo)性能，也存在因消耗而失去作用的問(wèn)題，所以需要研究對(duì)整體性能的潛在影響和品質(zhì)監(jiān)測(cè)方法。

水的另一個(gè)特性是常溫常壓下其冰點(diǎn)是 0°C。因此，需要考慮其工作環(huán)境溫度范圍以及是否滿足操作、運(yùn)輸和儲(chǔ)存期間的要求，通常使用的防凍劑包括丙二醇和乙二醇。但隨著冷卻工質(zhì)中丙二醇或乙二醇含量的增加，會(huì)造成冷卻工質(zhì)粘滯系數(shù)過(guò)高，對(duì)熱性能造成部分衰減，同時(shí)水泵的揚(yáng)程需要提高，導(dǎo)致水泵功耗提升。因此，了解操作溫度及儲(chǔ)存和運(yùn)輸過(guò)程的溫度要求非常重要，不要添加太高比例的丙二醇或乙二醇，25% 及以上的丙二醇或乙二醇溶液，即具有一定的抑制液體中細(xì)菌生長(zhǎng)的功能。另外，通常冷卻工質(zhì)使用防凍劑首選丙二醇。丙二醇比乙二醇毒性小，在自然環(huán)境中分解速率也更快。少量的丙二醇甚至被用作食品工業(yè)的添加劑，具體優(yōu)缺點(diǎn)見(jiàn)下表。

為了減低液冷系統(tǒng)在運(yùn)輸過(guò)程中的腐蝕和污染的風(fēng)險(xiǎn)，IT 設(shè)備或機(jī)架可以預(yù)先充入合適的冷卻工質(zhì)或惰性氣體加以保護(hù)。在系統(tǒng)現(xiàn)場(chǎng)裝配時(shí)，除了按照制造商提供的裝配操作流程，還應(yīng)考慮在系統(tǒng)運(yùn)行之前沖洗預(yù)充的液體及充分排除系統(tǒng)內(nèi)部的氣體。此外，必須定期檢測(cè)液冷冷卻工質(zhì)，尤其是配方液的品質(zhì)以了解其成分變化。

非水冷卻工質(zhì)主要是礦物油或合成油、介電液體和冷媒。礦物油或合成油類工質(zhì)因其粘度、粘性和易吸濕水解等問(wèn)題不作推薦；介電液體有單相和兩相兩類，沸點(diǎn)較高的液體通常用于單相冷卻，沸點(diǎn)較低的液體通常用于相變冷卻。介電液體的一個(gè)優(yōu)點(diǎn)是，在發(fā)生潛在泄漏時(shí)，液體本身是電絕緣體（低導(dǎo)電率），一般不會(huì)造成 IT 設(shè)備的電子電路短路。介電液體通常密度更高，成本也比較貴，同時(shí)針對(duì)某些介電液體需要考慮全球變暖潛能值（GWP）的影響，這些因素必須在選擇冷卻工質(zhì)時(shí)予以充分考慮。除介電液體外，冷媒也可用于兩相冷卻。冷媒具有相對(duì)較低的沸騰溫度，允許液體相變并蒸發(fā)，可以通過(guò)改變工作壓力來(lái)改變飽和溫度。

水基冷卻工質(zhì)優(yōu)缺點(diǎn)

防凍液優(yōu)缺點(diǎn)

介電液體優(yōu)缺點(diǎn)

冷媒優(yōu)缺點(diǎn)

1、浸潤(rùn)材料

浸潤(rùn)材料是指其表面與冷卻工質(zhì)直接接觸的材料，必須和冷卻工質(zhì)之間具備相容性，以將冷卻回路中潛在的腐蝕風(fēng)險(xiǎn)和泄漏風(fēng)險(xiǎn)降至最低。因此，詳細(xì)了解所有冷卻部件和所使用的材料至關(guān)重要，需要和所有浸潤(rùn)材料部件及液體供應(yīng)商建立密切合作，確保材料的相容性。ASHRAE 提供的列表只是一個(gè)初步的建議，隨著新設(shè)計(jì)及新材料成分引入，它將繼續(xù)完善和更新。需要注意的是，該列表并不是對(duì)所述材料相容性的承諾，具體材料的選擇，仍然需要通過(guò)測(cè)試來(lái)確定。

2、過(guò)濾裝置

過(guò)濾裝置就是用于彌補(bǔ)冷卻工質(zhì)品質(zhì)和系統(tǒng)腐蝕可能帶來(lái)的風(fēng)險(xiǎn)的專門(mén)功能組件，用于防止因顆粒物、碎屑和細(xì)菌污染而引起的操作可靠性問(wèn)題。顆粒物是微觀的，通常以微米為單位進(jìn)行測(cè)量。

過(guò)濾裝置的主要作用是為了防止顆粒物積聚污染系統(tǒng)部件，尤其是在冷板液冷中，還與微通道冷板內(nèi)的翅片陣列寬度、熱交換器板間隙寬度及快換接頭結(jié)構(gòu)都有關(guān)。在這些地方，顆粒物污染可能導(dǎo)致堵、性能降低、泄漏或系統(tǒng)故障。過(guò)濾裝置的位置是系統(tǒng)設(shè)計(jì)者需要考慮的一個(gè)問(wèn)題，過(guò)濾裝置工作會(huì)影響系統(tǒng)壓降，而良好的設(shè)計(jì)旨在盡可能地減少過(guò)濾器的壓降從而提高系統(tǒng)冷卻效率。可根據(jù)開(kāi)式系統(tǒng)或密閉式系統(tǒng)選擇過(guò)濾裝置的精度。設(shè)計(jì)者應(yīng)考慮維護(hù)的便利性，這包含計(jì)劃周期性的維護(hù)和計(jì)劃外的突發(fā)維護(hù)干預(yù)，使用冗余設(shè)計(jì)來(lái)保障液冷系統(tǒng)實(shí)現(xiàn)在線維護(hù)。

3、冷卻工質(zhì)要求

冷板使用的冷卻工質(zhì)應(yīng)滿足如下要求，即冷卻工質(zhì)應(yīng)具有良好的熱力學(xué)性能，不同冷卻工質(zhì)的物性參數(shù)參見(jiàn)中國(guó)國(guó)標(biāo) GB / T 15428-1995的附錄 A 及 YD / T 3982-2021 中第 4 章和第 6 章的要求。

4、冷卻工質(zhì)選擇考量指標(biāo)

冷卻工質(zhì)液體具有不同的熱性能，在評(píng)估不同液體的熱性能時(shí)應(yīng)對(duì)此予以重視。下表中顯示了液體評(píng)估時(shí)的重要參數(shù)。按照液冷裝置部署所在地的地理位置和氣候條件，這些參數(shù)需要綜合考慮。

冷卻工質(zhì)液體熱性能參數(shù)

二、冷板的設(shè)計(jì)與驗(yàn)證

冷板的選擇取決于散熱要求、成本要求、操作參數(shù)及使用的浸潤(rùn)材料等因素。二次側(cè)冷卻回路中與冷卻工質(zhì)接觸的所有部件所使用的材料必須要和冷卻工質(zhì)的浸潤(rùn)材料清單（WML）相符。根據(jù)需要被冷卻的元器件不同的溫度要求、冷卻工質(zhì)參數(shù)，例如流速、溫度和傳熱特性，冷板設(shè)計(jì)復(fù)雜難度也不同。例如，常用的微通道冷板結(jié)構(gòu)比較復(fù)雜，其中微通道主要是增加與液體接觸面積，以提高冷卻性能。而更簡(jiǎn)化的冷板設(shè)計(jì)是帶有簡(jiǎn)易內(nèi)部流體通道的模塊。

隨著設(shè)計(jì)復(fù)雜性的增加，成本也隨之增加。因此，如果使用簡(jiǎn)單的設(shè)計(jì)就可以滿足冷卻需求，那就不需要通過(guò)增加設(shè)計(jì)的復(fù)雜性，來(lái)獲得更高的冷卻性能。

冷板示意圖（分體式）

1、冷板設(shè)計(jì)考量指標(biāo)

在設(shè)計(jì)冷板時(shí)，需要考慮不同的參數(shù)，這些參數(shù)如表 8 所示（通常使用熱界面材料（TIM）來(lái)增強(qiáng)需要冷卻的部件與冷板之間的傳熱性能，這里不展開(kāi)討論）。同時(shí)，還需要考慮冷板與內(nèi)部液體回路管道的物理連接。對(duì)于微通道冷板設(shè)計(jì)，也有一些重要參數(shù)，其中翅片之間的間距是確定過(guò)濾裝置孔目大小設(shè)計(jì)要求的一個(gè)重要參考參數(shù)，為避免污垢堵塞，建議液體中顆粒尺寸不大于 50μm。

冷板設(shè)計(jì)考量參數(shù)

2、冷板設(shè)計(jì)要求

冷板設(shè)計(jì)滿足如下要求：

應(yīng)根據(jù)芯片的型號(hào)尺寸及電子信息設(shè)備的內(nèi)部結(jié)構(gòu)進(jìn)行設(shè)計(jì)，以獲得更好的換熱效率；在滿足芯片整個(gè)使用周期內(nèi)的殼溫要求下，盡可能優(yōu)化流道設(shè)計(jì)，減小冷板模塊的流阻；

應(yīng)保障滿足芯片插座的載荷要求及芯片對(duì)散熱器重量的要求；

應(yīng)考慮配管位置、方向及液體進(jìn)出口位置，避免與電子信息設(shè)備產(chǎn)生結(jié)構(gòu)干涉；

冷板基板和流道宜采用銅或鋁合金材質(zhì)，一個(gè)系統(tǒng)中不應(yīng)有兩種電位差較大的金屬；

應(yīng)考慮冷板的安裝及拆卸順序，滿足芯片的操作要求；

應(yīng)滿足芯片的扣合力技術(shù)要求,及安裝/拆除后散熱器底面平面度的技術(shù)要求；

冷板接口設(shè)計(jì)應(yīng)考慮冷板最大允許壓力和安全余量，并考慮拆裝冷板組件時(shí)可能產(chǎn)生的接口應(yīng)力等問(wèn)題；

如使用配方液冷卻工質(zhì)，緩蝕劑配方必須與冷板選用材質(zhì)相匹配，并兼顧整個(gè)系統(tǒng)的材質(zhì)匹配問(wèn)題；

冷卻工質(zhì)的選用應(yīng)考慮與二次側(cè)循環(huán)回路中所有直接接觸的固體表面材質(zhì)間的相容性。

3、冷板熱性能要求

冷板熱性能應(yīng)滿足如下要求：

冷板使用者應(yīng)提供冷板入口處冷卻工質(zhì)的溫度和流量條件；

待冷卻芯片的殼溫在整個(gè)使用期間不應(yīng)超過(guò)芯片供應(yīng)商規(guī)定的最大殼溫值；

二次側(cè)冷卻環(huán)路總的流阻需要適配冷量分配單元循環(huán)泵工作點(diǎn)揚(yáng)程能力；

系統(tǒng)總的流阻容量選擇以及待冷卻芯片的殼溫需要考慮一定的冗余，流阻容量的冗余宜不小于 10%，殼溫冗余宜不小于 3℃，以便滿足系統(tǒng)的容差需求；

冷板設(shè)計(jì)者宜提供冷板使用的熱邊界條件曲線，即入口處冷卻工質(zhì)溫度與流經(jīng)冷板的冷卻工質(zhì)流量之間的依存關(guān)系。圖中給出了冷板設(shè)計(jì)的熱邊界條件曲線。當(dāng)冷板使用邊界條件（入口流量及入口溫度）位于曲線下方（含曲線）的任一邊界條件（冷板入口處冷卻工質(zhì)的溫度及其流量）時(shí)，該冷板的冷卻能力即可滿足待冷卻芯片的最大殼溫要求。可同時(shí)參考冷板熱阻與冷板流阻曲線示意圖；

冷板入口處冷卻工質(zhì)流速不宜高于 1.5m/s，冷卻工質(zhì)供回液溫差宜控制在 5℃-10℃ 范圍內(nèi)。

冷板設(shè)計(jì)熱邊界條件曲線

4、冷板熱性能測(cè)試

將冷板鎖固在待測(cè)芯片上，冷板的液體進(jìn)出口與熱性能測(cè)試系統(tǒng)相連，同時(shí)確保測(cè)試環(huán)路中非凝性氣體排空，并將流經(jīng)冷板的液體流量調(diào)節(jié)到期望值，給待測(cè)芯片施加期望的功耗；待測(cè)試結(jié)果穩(wěn)定后，記錄冷板進(jìn)出口的壓力值、待測(cè)芯片的殼溫、冷板入口液體溫度、給待測(cè)芯片施加的功耗值，以及流經(jīng)冷板的液體流量值。依據(jù)測(cè)試結(jié)果，分別依據(jù)式（1）和式（2）計(jì)算冷板在一定的流量范圍內(nèi)的熱阻值和流阻值，繪出冷板的熱性能曲線和流阻曲線。

R=（Tc - TL） ? Q ………………………………(1)

R——冷板熱阻，單位為（℃/W）

Tc——待冷卻芯片的殼溫，單位為（℃）

TL——冷板入口液體溫度，單位為（℃）

Q——施加在芯片上的功耗值，單位為（W）

ΔP=P1 - P2………………………………………（2）

ΔP——流經(jīng)冷板的流阻值，單位為（KPa）

P1——冷板進(jìn)口的壓力值，單位為（KPa）

P2——冷板出口的壓力值，單位為（KPa）

在用戶期望的冷板使用邊界條件下（給定的 TL 和 Q），測(cè)得的冷板所能支持的殼溫值，在考慮標(biāo)準(zhǔn)差和冷板生命周期內(nèi)熱性能衰減之后不能高于芯片的最大殼溫。

冷板熱性能和流阻曲線

三、冷量分配單元及冷卻性能

冷量分配單元（CDU）是一種用于在液體回路之間進(jìn)行熱交換的裝置。CDU 組件包括接口、泵、液-液或風(fēng)-液熱交換器、儲(chǔ)液罐、閥門(mén)、控制裝置、監(jiān)控裝置、過(guò)濾器及各種傳感器，主要用于制冷量、流量、壓力及溫度的測(cè)量和控制。CDU 使用的各種組件材料必須要和所用冷卻工質(zhì)進(jìn)行匹配測(cè)試驗(yàn)證，確保其相容性。

CDU 將二次側(cè)流體回路與一次側(cè)回路隔離，提供二次側(cè)流體回路和一次側(cè)流體回路之間的連接及熱交換，CDU 的功能還包括對(duì)壓力、流量、溫度、露點(diǎn)控制、水質(zhì)潔凈度及泄漏監(jiān)測(cè)。通過(guò)使用CDU 分離一次側(cè)和二次側(cè)回路，可降低潛在的泄漏（二次側(cè)回路中的液體量較小，壓力和流速較低）。在使用優(yōu)化方面，通過(guò) CDU 控制可以平衡由于溫度的要求、負(fù)載的不同及功耗優(yōu)化造成的各 IT 設(shè)備間的差異。

CDU 支持的機(jī)架數(shù)量可以從單個(gè)機(jī)柜擴(kuò)展到組合機(jī)架的組或集群，液體通過(guò)安裝在機(jī)架中帶接頭的專門(mén)管道供回液歧管分配。CDU 的大小和參數(shù)設(shè)置取決所有 IT 設(shè)備集群產(chǎn)生的熱負(fù)荷。當(dāng)然各個(gè)功率水平因組件而異，確定熱負(fù)荷的大小需要考慮到未來(lái)有可能引入新技術(shù)時(shí)需要的熱冗余。此外，冷卻工質(zhì)的性質(zhì)和特性（如導(dǎo)熱系數(shù)、粘度、比熱和密度）也會(huì)影響冷卻能力和泵的工作功耗。

冷量分配單元熱交換原理示意圖

1、冷量分配單元的考量指標(biāo)

在選擇 CDU 時(shí)，有些參數(shù)需要考量，其中一些參數(shù)如表 9 所示。另外，需要和 CDU 的供應(yīng)商確認(rèn)，所有用于 CDU 部件的浸潤(rùn)材料必須和冷卻工質(zhì)材料相容。

冷量分配單元（CDU）考量參數(shù)

2、冷量分配單元冷卻性能

CDU 的換熱器冷卻能力取決于其趨近溫度特性。趨近溫度是冷卻工質(zhì)在 IT 設(shè)備入口處的溫度減去一次側(cè)冷卻水在 CDU 入口處的溫度。除了趨近溫度之外，在考慮 CDU 的散熱及機(jī)械性能時(shí)，還有其他因素需要考慮。其關(guān)鍵參數(shù)包括：

趨近溫度（宜選用（3-10）°C）

液體成分（例如：純水、25%PG、55%PG）

一次側(cè)流量、二次側(cè)流量和泵功率和揚(yáng)程

一次側(cè)用水溫度等級(jí)（例如：W27、W32、W45、W+ 等等）

由于沒(méi)有一套標(biāo)準(zhǔn)化參數(shù)用于不同 CDU 之間的性能比較，建議每個(gè)客戶與各自的 CDU 供應(yīng)商合作，依據(jù)實(shí)際操作條件，評(píng)估所考慮的 CDU 能否滿足散熱要求。例如，可以讓供應(yīng)商提供 CDU 在特定液體操作下，在一次側(cè)和二次側(cè)不同流量的對(duì)應(yīng)關(guān)系、CDU 的排熱能力及趨近溫度等。

3、冷量分配單元一次側(cè)冷卻系統(tǒng)

室外冷源：

參考《GB 50019 - 2015 工業(yè)建筑供暖通風(fēng)與空氣調(diào)節(jié)設(shè)計(jì)規(guī)范》，CDU 一次側(cè)冷卻室外機(jī)在采用蒸發(fā)冷卻時(shí)，可以將供水溫度逼近室外濕球溫度。因此，在不使用制冷機(jī)組的情況下，CDU 一次側(cè)最低供水溫度主要由項(xiàng)目所在地的夏季空調(diào)室外計(jì)算濕球溫度確定（可參考 ASHRAE 各地環(huán)境以及十年極端天氣）。

參考《Liquid Cooling Guidelines for Datacom Equipment Centers》，開(kāi)式冷卻塔循環(huán)水與外界空氣直接接觸，需要排放廢水。且水中雜質(zhì)顆粒物較多，需要防止結(jié)垢。為保證制冷效果與穩(wěn)定性，CDU 一次側(cè)冷卻設(shè)備不推薦使用開(kāi)式冷卻塔，建議采用閉式冷卻塔或者干冷器。

一次側(cè)管材：

參考 ASHRAE《Liquid Cooling Guidelines for Datacom EquipmentCenters》，一次側(cè)回路水管材質(zhì)可以考慮：

銅合金：122、220、230、314、360、377、521、706、836、952；

聚合物 / 彈性體：丙烯腈丁二烯橡膠（NBR）、乙丙二烯單體（EPDM）、

聚四氟乙烯（PTFE）；

不銹鋼：300 系列、400 系列、碳鋼。

水質(zhì)要求：

CDU 一次側(cè)循環(huán)水水質(zhì)的好壞直接影響 CDU 的換熱效率以及使用壽命。為支撐液冷系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行，CDU 一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)可以參考 GB/T 29044-2012《采暖空調(diào)系統(tǒng)水質(zhì)》中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標(biāo)準(zhǔn)。

GB / T 29044-2012《采暖空調(diào)系統(tǒng)水質(zhì)》中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標(biāo)準(zhǔn)

同時(shí)，可參考 ASHRAE_TC.9.9_ Water-Cooled Servers CommonDesigns, Components, and Processes_2019

ASHRAE 一次側(cè)循環(huán)水要求

4、液冷群控系統(tǒng)

液冷群控系統(tǒng)負(fù)責(zé)室外冷源、液冷 CDU、一次側(cè)循環(huán)水泵、補(bǔ)水、水質(zhì)監(jiān)測(cè)、漏液告警等，通過(guò)群控系統(tǒng)實(shí)現(xiàn)組網(wǎng)運(yùn)行、節(jié)能控制，具備主備、輪詢、冗余配置、故障切換以及供冷連續(xù)性功能。在群控模式下，主控制器根據(jù)機(jī)房實(shí)際負(fù)載情況，對(duì)液冷機(jī)組進(jìn)行加減機(jī)和降頻控制和巡檢告警等。

四、機(jī)架式冷卻工質(zhì)供回液歧管設(shè)計(jì)考量

機(jī)架供回液歧管是二次側(cè)回路中的一個(gè)關(guān)鍵部件，用于分配流入或流出機(jī)架內(nèi) IT 設(shè)備的冷卻工質(zhì)。在使用機(jī)架式 CDU 的液冷部署中，歧管可以與 IT 設(shè)備和機(jī)架式 CDU 直接構(gòu)成完整的閉式循環(huán)回路。歧管結(jié)構(gòu)的特點(diǎn)是沿著管的方向有一系列形成液體回路的快換接頭連接著 IT 設(shè)備，連接接頭有盲插、手動(dòng)連接、螺紋連接等多種類型。接頭的直徑和歧管尺寸的選擇需要滿足當(dāng)前和未來(lái)液體流量及操作性能要求，以及 IT 設(shè)備內(nèi)的液體流動(dòng)拓?fù)浣Y(jié)構(gòu)和冷板數(shù)量需求。為了有效利用空間，冷卻工質(zhì)歧管位置應(yīng)位于機(jī)架占地面積內(nèi)。

歧管的位置通常在機(jī)架內(nèi)后部，也可以根據(jù)IT設(shè)備的部署及配電設(shè)計(jì)要求，放置在機(jī)架的前面或側(cè)面。供回液歧管位置的選擇需要確保滿足快換接頭、電源接口、網(wǎng)絡(luò)和其他 I/O 的操作要求，包括 IT 設(shè)備運(yùn)行的電纜和軟管的管理，需要方便 IT 設(shè)備的接入和斷開(kāi)。供回液歧管為二次側(cè)液體回路提供了一個(gè)重要的連接點(diǎn)，液體回路的布局可能會(huì)有所不同（此處不詳細(xì)討論），供回液歧管與液冷系統(tǒng)管網(wǎng)的連接點(diǎn)可以在機(jī)架的底部或頂部，但因連接位置點(diǎn)泄漏風(fēng)險(xiǎn)相對(duì)較大，在底部泄漏后滴落在地板上風(fēng)險(xiǎn)更低,所以建議連接點(diǎn)設(shè)置在機(jī)架底部。

二次側(cè)回路的連接部件包括能夠保持二次側(cè)操作壓力的管道和快換接頭，同時(shí)，快換接頭需要滿足爆破壓力的要求工質(zhì)（見(jiàn)第七章壓力安規(guī)）。典型的數(shù)據(jù)中心預(yù)期使用壽命是 10-20 年，除快換接頭外，由于歧管的部分結(jié)構(gòu)壽命限制，可能需要對(duì)供回液歧管進(jìn)行維修、維護(hù)和升級(jí)，還應(yīng)顧及供回液歧管的裝配、調(diào)試和終身維護(hù)，因此需要仔細(xì)考慮歧管的設(shè)計(jì)和選擇。

機(jī)架式冷卻工質(zhì)供回液歧管示意圖

1、冷卻工質(zhì)供回液歧管考量指標(biāo)

當(dāng)評(píng)估不同的歧管設(shè)計(jì)方案時(shí)，需要考慮不同的參數(shù)以滿足歧管各支路流量分配的均勻性，以及歧管提供流量與需求流量的匹配性。其中一些參數(shù)如下表 所示。

冷卻工質(zhì)供回液歧管考量參數(shù)

2、冷卻工質(zhì)供回液歧管參考設(shè)計(jì)要求

任何歧管的參考設(shè)計(jì)都需要滿足表中列出的最低運(yùn)行條件，以確保其能夠正常工作，同時(shí)在世界上絕大多數(shù)地方運(yùn)輸過(guò)程中不會(huì)出現(xiàn)問(wèn)題。

冷卻工質(zhì)供回液歧管參考設(shè)計(jì)要求

五、冷板式液冷回路中循環(huán)泵的選擇

泵是向其它系統(tǒng)重要部件提供液體流量的核心。泵的選擇是系統(tǒng)設(shè)計(jì)最重要的一環(huán)，在設(shè)計(jì)液冷解決方案的早期階段就需要考慮。為了使冷卻工質(zhì)與泵相匹配，泵的形態(tài)及制造材料有多種選擇。出于維護(hù)和降低故障的目的，還可能會(huì)采用雙泵配置的冗余設(shè)計(jì)，無(wú)論是串聯(lián)配置還是并聯(lián)配置，管路的連接都需要考慮空間、布局、尺寸、材料相容性、維護(hù)方便性和連接類型。

泵由各種類型的電機(jī)驅(qū)動(dòng)，在評(píng)估或優(yōu)化裝置的能源效率時(shí)，需要考慮這一點(diǎn)。泵的安裝位置決定了其局限性和選擇標(biāo)準(zhǔn)。泵在二次側(cè)的位置的選擇有很大的差異性。具體來(lái)說(shuō)，如果泵放在 IT 設(shè)備中，其高度需不高于IT 設(shè)備的機(jī)箱高度。IT 設(shè)備內(nèi)的空間非常寶貴，泵的集成構(gòu)成了服務(wù)器機(jī)箱布局的一部分。IT 設(shè)備供應(yīng)商在設(shè)計(jì)液冷方案的時(shí)候需要管理機(jī)箱內(nèi)冷卻工質(zhì)的流量，使其和需被冷卻的電子元器件熱負(fù)載相匹配。

基于這一目的，泵可直接集成到冷板上，或以分離的形式提供循環(huán)動(dòng)力和所需流量。作為一個(gè)好的系統(tǒng)設(shè)計(jì)，設(shè)計(jì)人員還需考慮壓降和效率。此外，還需滿足冷卻工質(zhì)與泵內(nèi)部材料和過(guò)濾裝置的材料相容性，以防污染顆粒堵塞泵并降低其工作效率，甚至導(dǎo)致故障。液體特性包括粘度，液體粘度的變化會(huì)改變泵的工作效率和壽命，選擇不當(dāng)?shù)谋每赡軙?huì)降低泵的壽命。

另一個(gè)考慮因素是工作環(huán)境，包括液體的特性和操作溫度，這將決定泵內(nèi)使用的部件材料，因?yàn)槔鋮s工質(zhì)將與泵內(nèi)件直接接觸。泵的選型要求還取決于管道布局 / 設(shè)計(jì)、管道長(zhǎng)度、彎管品質(zhì)和材料選擇等參數(shù)，這些可能會(huì)導(dǎo)致液體和管壁摩擦并形成湍流，從而導(dǎo)致壓降增加。

1、泵的選擇考量指標(biāo)

泵的選擇考量參數(shù)

六、快換接頭的選擇方法

在二次側(cè)流體回路中，快換接頭是保證服務(wù)器具備在線插拔維護(hù)性能的關(guān)鍵部件，決定了 IT 設(shè)備的可維護(hù)性和模塊化設(shè)計(jì)，但其會(huì)給液冷系統(tǒng)帶來(lái)額外的流阻，因此快換接頭選型應(yīng)考慮其流阻特性和后續(xù)服務(wù)器升級(jí)的需求。

快換接頭是公 / 母配置（插頭 / 插座、插件 / 主體等）配對(duì)使用的。斷開(kāi)時(shí)，集成在快換接頭內(nèi)部的用于密封流體流動(dòng)的自封閥芯會(huì)斷開(kāi)流體的連接，以保護(hù)周?chē)O(shè)備不受影響，因此其選型必須嚴(yán)格限制每次斷開(kāi)時(shí)冷卻工質(zhì)的泄漏量；一般要求單次插拔泄漏量小于 1/6 液滴（連續(xù)插拔 6 次，允許一滴滴落）或小于 0.5 毫升，且建議使用液體泄漏量最小的快換接頭，此類接頭通常為無(wú)滴、無(wú)溢流或平齊斷面設(shè)計(jì)。

在使用手動(dòng)插拔快換接頭連接的系統(tǒng)中，應(yīng)考慮人體工程學(xué)問(wèn)題（例如鎖緊機(jī)構(gòu)、連接力、空間限制），確保易于維修。盲插設(shè)計(jì)通常還需要考慮安裝公差和不對(duì)中公差，設(shè)計(jì)可靠的盲插配合機(jī)構(gòu)（如導(dǎo)向裝置）?？鞊Q接頭與二次側(cè)回路組件（機(jī)架液歧管、CDU、軟管等）的接口可以通過(guò)多種方式實(shí)現(xiàn)。對(duì)于軟管連接，椎管扣壓式或卡箍式結(jié)構(gòu)提供了一種簡(jiǎn)單可靠的連接方法；對(duì)于更剛性的連接，如機(jī)架液歧管組件，螺紋連接比較常見(jiàn)，應(yīng)注意的是，螺紋連接應(yīng)禁止使用生料帶和螺紋密封膠。SAEJ 1926或 G / BSPP ISO 1179 等 O 形圈連接堅(jiān)固可靠，便于安裝和制造。

快換接頭示意圖

1、快換接頭考量指標(biāo)

表中列出了選擇冷板式液冷快換接頭時(shí)需要考慮的參數(shù)。需要注意的是，工作壓力和爆破壓力不同，工作壓力可定義為正常工作條件下的最大系統(tǒng)壓力，爆破壓力表示部件發(fā)生災(zāi)難性故障時(shí)的最小壓力。

快換接頭考量參數(shù)

*無(wú)法提供插拔力曲線的，至少應(yīng)提供設(shè)計(jì)工況下的插拔力值，尤其在手動(dòng)插拔設(shè)計(jì)中，插拔力必須滿足運(yùn)維人員可手動(dòng)插拔的要求。

七、二次側(cè)管路

二次側(cè)管路將 CDU 和末端服務(wù)器冷板相連，一般連接方式有直連和環(huán)形管路連接兩種。環(huán)形管路是二次側(cè)回路中的一個(gè)關(guān)鍵部件，用于連接 CDU 的二次側(cè)和機(jī)架歧管，實(shí)現(xiàn)冷卻工質(zhì)均勻分配；環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU 支路、機(jī)架歧管支路、排氣裝置和排液口等，用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀閉合回路，且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外，環(huán)形管網(wǎng)中無(wú)死端，液體一直處于流動(dòng)狀態(tài)，不易變質(zhì)。

每個(gè) CDU 支路和機(jī)架支路上都安裝有閥門(mén)連接 CDU 和機(jī)架歧管，便于單個(gè)設(shè)備的維護(hù)。為確保局部管段檢修或發(fā)生故障時(shí)，其它管段能正常運(yùn)行，不間斷供液，應(yīng)采用閥門(mén)將環(huán)形管網(wǎng)分成若干獨(dú)立段，一般為相鄰機(jī)架管路段之間用閥門(mén)隔開(kāi)，也可將多個(gè)機(jī)架管路隔開(kāi)。

直連式示意圖

環(huán)形管路示意圖

環(huán)形管網(wǎng)一般布置在靜電地板下，管網(wǎng)上的閥門(mén)操作手柄應(yīng)方便操作，不與機(jī)架底座或靜電地板立柱相干涉；環(huán)形管網(wǎng)段與段之間、支路與 CDU、機(jī)架歧管之間通過(guò)快裝卡盤(pán)或者法蘭連接。當(dāng)管網(wǎng)較長(zhǎng)時(shí)，應(yīng)在某一段或某個(gè)連接處，采用軟連接和活套法蘭，采用軟連接吸收設(shè)計(jì)及加工時(shí)長(zhǎng)度方向誤差，采用活套法蘭吸收法蘭焊接時(shí)的角度誤差。

環(huán)形管網(wǎng)的管徑選型根據(jù) CDU 流量以及機(jī)架數(shù)量進(jìn)行核算，支路管徑與 CDU 和機(jī)架歧管接口匹配。環(huán)形管網(wǎng)宜采用 304 或以上不銹鋼材料在工廠內(nèi)預(yù)制完成，施工現(xiàn)場(chǎng)直接拼裝。不銹鋼管道焊接采用氬弧焊工藝，單面焊接，雙面成型。每一段管路都需無(wú)塵車(chē)間生產(chǎn)確保管內(nèi)潔凈，以及封閉包裝發(fā)往現(xiàn)場(chǎng)，且出廠前都必須經(jīng)過(guò)酸洗鈍化及超聲波清洗。

環(huán)形管網(wǎng)參考設(shè)計(jì)輸入

八、背板空調(diào)

背板空調(diào)負(fù)責(zé)液冷服務(wù)器風(fēng)冷部分散熱，其由背板空調(diào)系統(tǒng)（外殼、風(fēng)機(jī)、換熱盤(pán)管、控制器）、工質(zhì)管道及閥件、配電系統(tǒng)及自控系統(tǒng)組成，用于保障機(jī)組實(shí)現(xiàn)最優(yōu)性能和工藝設(shè)備等安全運(yùn)行。背板空調(diào)與機(jī)架緊密結(jié)合，安裝在機(jī)架后門(mén)。背板空調(diào)常用工況送風(fēng)溫度≤25℃，回風(fēng)溫度35℃。

泄漏檢測(cè)與干預(yù)

減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時(shí)，在實(shí)際設(shè)備安裝操作中，需要制定完善的泄漏管理計(jì)劃，管理計(jì)劃包括泄漏檢測(cè)和干預(yù)，且需要滿足數(shù)據(jù)中心的設(shè)施運(yùn)行要求。

在二次側(cè)冷卻回路中，需要在不同的存在泄漏風(fēng)險(xiǎn)的位置進(jìn)行檢測(cè)，如CDU、機(jī)架、快換接頭、和/或計(jì)算節(jié)點(diǎn)，可采用間接檢測(cè)方法，可通過(guò)監(jiān)測(cè)和分析現(xiàn)有硬件和傳感器的狀態(tài)，檢測(cè)并識(shí)別到管路中與泄漏特征匹配的微小壓降和/或流量變化。而直接檢測(cè)方法是在高風(fēng)險(xiǎn)區(qū)域部署專用泄漏檢測(cè)硬件。典型的直接檢測(cè)裝置為點(diǎn)探測(cè)器、薄膜檢測(cè)帶或泄漏檢測(cè)線纜，當(dāng)其與泄漏的導(dǎo)電冷卻液接觸時(shí)會(huì)記錄并告警。為了進(jìn)行可靠的泄漏檢測(cè)，其傳感器應(yīng)放置在發(fā)生泄漏時(shí)冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域，比如機(jī)架、CDU和/或二次側(cè)環(huán)路管道等設(shè)施的下方，以檢測(cè)二次側(cè)環(huán)路管路和機(jī)架之間和/或冷卻工質(zhì)輸送過(guò)程中的潛在泄漏風(fēng)險(xiǎn)。

由于計(jì)算節(jié)點(diǎn)通常是 IT 設(shè)備中最昂貴的組件，且存在泄漏的導(dǎo)電冷卻工質(zhì)可能造成設(shè)備損壞和數(shù)據(jù)丟失等風(fēng)險(xiǎn)，因此需要檢測(cè)計(jì)算節(jié)點(diǎn)附近的潛在泄漏，而且在檢測(cè)泄漏和快速定位發(fā)生泄漏的計(jì)算節(jié)點(diǎn)位置的同時(shí)，需要吸附、儲(chǔ)存和/或?qū)Я餮b置，避免漏液與高價(jià)值設(shè)備接觸，爭(zhēng)取人工處理響應(yīng)所需的時(shí)間。另外，增加用于確定泄漏位置的傳感器，會(huì)帶來(lái)成本相應(yīng)增加。

泄漏有不同級(jí)別的干預(yù)方式，最低級(jí)別的干預(yù)是手動(dòng)干預(yù)，即當(dāng)發(fā)生泄漏時(shí)，會(huì)通知設(shè)施人員到現(xiàn)場(chǎng)處理，但人員響應(yīng)時(shí)間周期內(nèi)可能已造成損失。高級(jí)別的干預(yù)是自動(dòng)電氣干預(yù)，即在發(fā)送泄漏事件的同時(shí)對(duì)IT設(shè)備進(jìn)行數(shù)據(jù)存儲(chǔ)、關(guān)機(jī)和/或自動(dòng)斷電。這可以降低暴露在泄漏/冷卻工質(zhì)中的硬件損壞或數(shù)據(jù)丟失的概率，但需要考慮如何處理被泄漏的液體接觸但被挽救了的設(shè)備。還有一種更好的的方法是自動(dòng)電氣和流體干預(yù)，也就是當(dāng)檢測(cè)到泄漏通知時(shí)，IT設(shè)備斷電，同時(shí)冷卻液關(guān)閉。這可以更大限度地避免大量硬件設(shè)施暴露接觸到泄漏液體中，從而方便維修，減少損失。當(dāng)然，泄漏自動(dòng)干預(yù)會(huì)造成成本的增加，是否采用需要根據(jù)實(shí)際需求進(jìn)行權(quán)衡。

泄漏檢測(cè)分類分為間接和直接兩種方式：

間接方式：通過(guò)使用現(xiàn)有的壓力、流量、溫度和氣泡等傳感器和算法，來(lái)確定泄漏；

直接方式：在特定位置（如上所述）使用泄漏繩/電纜、薄膜檢測(cè)帶等檢測(cè)作為傳感器，直接檢測(cè)漏液。

泄漏干預(yù)分類分為兩種方式：

手動(dòng)干預(yù)：在檢測(cè)到泄漏后使用手動(dòng)干預(yù)，例如，關(guān)閉流量控制閥并關(guān)閉IT設(shè)備；

自動(dòng)干預(yù)：在檢測(cè)到泄漏后使用自動(dòng)干預(yù)方法，例如，IT 設(shè)備斷電和/或冷卻液關(guān)閉。

壓力安規(guī)

液冷系統(tǒng)及其部件需要符合當(dāng)?shù)匕踩?guī)范，也可參考國(guó)際電工委員會(huì)（IEC）針對(duì) IT 設(shè)備的安全標(biāo)準(zhǔn)，即 IEC 60950-1和 IEC 62368-1。

IEC 62368-1《音頻/視頻，信息和通信技術(shù)設(shè)備第 1 部分：安全要求》第 3 版（2018 年）是新的安全標(biāo)準(zhǔn)，其要求冷板以正常工作壓力的3倍壓力進(jìn)行爆破壓力測(cè)試，允許變形但不能泄漏；而在正常工作壓力下（例如：40psi） 液體不泄漏，冷板無(wú)變形。

總結(jié)

數(shù)字化和綠色低碳已經(jīng)成為經(jīng)濟(jì)社會(huì)高質(zhì)量、可持續(xù)發(fā)展的關(guān)鍵推動(dòng)力。中國(guó)“雙碳”目標(biāo)的提出，更讓數(shù)字化與綠色低碳相互協(xié)同，加速推動(dòng)數(shù)字基礎(chǔ)設(shè)施優(yōu)化升級(jí)，推進(jìn)千行百業(yè)更快速實(shí)現(xiàn)碳中轉(zhuǎn)型，也成為中國(guó)發(fā)展數(shù)字經(jīng)濟(jì)，把握新一輪科技革命和產(chǎn)業(yè)變革新機(jī)遇，構(gòu)建現(xiàn)代化經(jīng)濟(jì)體系的重要引擎。英特爾植根中國(guó)，攜手生態(tài)伙伴積極行動(dòng)，不斷協(xié)同推進(jìn)技術(shù)創(chuàng)新，堅(jiān)定不移實(shí)施責(zé)任戰(zhàn)略，助力中國(guó)加速實(shí)現(xiàn)“雙碳”目標(biāo)。

《綠色數(shù)據(jù)中心創(chuàng)新實(shí)踐——冷板液冷系統(tǒng)設(shè)計(jì)參考》是在生態(tài)伙伴積極參與和大力支持下，應(yīng)對(duì)IT設(shè)備功耗和功率密度的增加，需要新的冷卻技術(shù)來(lái)滿足不斷提高的計(jì)算性能需求，而共同探索和提出的更經(jīng)濟(jì)、更高效的冷卻方案參考。本規(guī)范借鑒國(guó)際經(jīng)驗(yàn)，經(jīng)大量實(shí)驗(yàn)，系統(tǒng)闡述了冷板液冷系統(tǒng)設(shè)計(jì)相關(guān)的要求，以及未來(lái)液冷設(shè)計(jì)需要遵守的規(guī)范要求，可為數(shù)據(jù)中心液冷方案設(shè)計(jì)與研究提供路徑與借鑒。

就在本設(shè)計(jì)參考規(guī)范推出前不久，英特爾也發(fā)布了到 2040 年實(shí)現(xiàn)溫室氣體零排放的目標(biāo)及里程碑。我們也希望籍此設(shè)計(jì)參考規(guī)范面世，進(jìn)一步深化與產(chǎn)業(yè)伙伴的合作創(chuàng)新，繼續(xù)深入探討冷板液冷技術(shù)，不斷完善本規(guī)范，進(jìn)而為推進(jìn)IT設(shè)備、算力設(shè)施，尤其是作為數(shù)字經(jīng)濟(jì)底座的數(shù)據(jù)中心進(jìn)一步節(jié)能降耗，探討新方案、新途徑，為綠色新型基礎(chǔ)設(shè)施建設(shè)打造最佳實(shí)踐，并由此釋放整個(gè)產(chǎn)業(yè)生態(tài)和科技生態(tài)之力，為中國(guó)數(shù)字基建脫碳拓展更廣闊的道路，為數(shù)字經(jīng)濟(jì)整體邁向“碳中和”奠定堅(jiān)實(shí)基礎(chǔ)，并助力中國(guó)為全球可持續(xù)發(fā)展做出更大貢獻(xiàn)。

液冷應(yīng)用案例

一、超聚變液冷解決方案

超聚變數(shù)字技術(shù)有限公司經(jīng)過(guò) 10 年可靠性積累，170 余項(xiàng)可靠性測(cè)試，已經(jīng)成功在國(guó)內(nèi)外交付商用液冷服務(wù)器 10000+臺(tái)，商用案例有互聯(lián)網(wǎng)、高校、云數(shù)據(jù)中心、政企、超算、金融等。

超聚變打造整創(chuàng)新架構(gòu)整機(jī)柜液冷服務(wù)器，整機(jī)柜使用機(jī)柜上走電下走水架構(gòu)，原生液冷設(shè)計(jì)實(shí)現(xiàn)天然可靠性保障，支持 100%液冷散熱，PUE 達(dá) 1.10 以下，滿足國(guó)家政策要求，是東數(shù)西算最佳的液冷解決方案，整機(jī)柜支持高密部署，整機(jī)柜可支持 144 個(gè) CPU，同時(shí)機(jī)房免冷機(jī)部署，機(jī)房空間利用率再提升20%；業(yè)界首創(chuàng)液、網(wǎng)、電三總線盲插，機(jī)柜內(nèi) 0 線纜部署，支持機(jī)房向機(jī)器人運(yùn)維演進(jìn)，同時(shí)配套超聚變智能運(yùn)維管理軟件業(yè)務(wù)上線效率提升 10 倍以上。通過(guò)架構(gòu)創(chuàng)新和整機(jī)工程技術(shù)創(chuàng)新打造最佳的商用液冷方案，致力為客戶提供綠色節(jié)能算力，為東數(shù)西算主要樞紐節(jié)點(diǎn)提供優(yōu)質(zhì)方案。

在國(guó)內(nèi)某液冷數(shù)據(jù)中心布署有超聚變上萬(wàn)液冷節(jié)點(diǎn)，是全球最大液冷集群，TCO 降低 30%，交付效率提升 100%。

二、英特爾助力京東云打造冷板液冷解決方案

到 2025 年，重點(diǎn)工業(yè)行業(yè)能效全面提升，數(shù)據(jù)中心等重點(diǎn)領(lǐng)域能效明顯提升，綠色低球能源利用比例顯著是高，節(jié)能提效進(jìn)一步成為綠色任碳的"等一能源"和降相成碳的首要舉措，新建大型超大型數(shù)挺中心電能利用效率(PUE)優(yōu)于1.3。

1、數(shù)據(jù)中心能耗持續(xù)增長(zhǎng)液冷散熱比風(fēng)冷更具優(yōu)勢(shì)

現(xiàn)代化高密度數(shù)據(jù)中心，不斷提升的整體功耗給救熱效率，節(jié)能減排、運(yùn)營(yíng)成本等帶來(lái)了極大挑戰(zhàn)，相比傳統(tǒng)的空氣冷卻方案，液體冷卻(液冷)有著更高的冷卻效率與解源效率:

熱量能夠在更靠近其來(lái)源的地方與液冷介質(zhì)進(jìn)行交換

同體積的傳熱介質(zhì)，冷卻劑傳遞熱量的速度是空氣的6倍，蓄熱量是空氣的1000倍

冷卻液傳熱次數(shù)更少，容量縮減更小，可更有效降低XPU等關(guān)鍵組件的運(yùn)行溫度及性能損失

2、高密度工作負(fù)載計(jì)算能力需求不斷提升

芯片整體TDP隨性能增加而增加，京東云 x86 處理器典型TDP，2013年為105瓦，2022年為350瓦

CPU漏電功率隨溫度升高而增加，占用更多功率預(yù)算，冷卻系統(tǒng)要幫助將熱阻降低到典型范圍：0.3-0.5 c/w

液冷與風(fēng)冷在設(shè)計(jì)上有較大差異，在效率、穩(wěn)定性、經(jīng)濟(jì)性等方面還有很多優(yōu)化空間

3、面向可持續(xù)發(fā)展的冷板液冷解決方案

京東云冷板液冷解決方案是從數(shù)據(jù)中心級(jí)到系統(tǒng)級(jí)的整體方案，涵蓋CDU、機(jī)架、服務(wù)器等不同層級(jí)的產(chǎn)品與技術(shù)，在CDU、工作液、歧管、服務(wù)器等方面進(jìn)行了針對(duì)性的設(shè)計(jì)。

CDU

在整體液冷解決方案中，CDU 必須具有泵、熱交換器、過(guò)濾器、補(bǔ)水系統(tǒng)、變頻器、監(jiān)視器功能(如溫度和壓力傳感器)和其他組件

工作液

一次回路側(cè)選擇去離子水+乙二醇作為工作流體。去離子水有低電阻特性，乙二醇確保流體在低環(huán)境溫度下凍結(jié)而導(dǎo)致管道破裂的低風(fēng)險(xiǎn)。二次回路選擇純?nèi)ルx子水以提高熱性能。

歧管

安裝在機(jī)架上的歧管將冷流體分配到每個(gè)服務(wù)器節(jié)點(diǎn)，在歧管頂部的快速連接器可方使機(jī)架部署；歧管底端設(shè)計(jì)了手動(dòng)排污口，方便系統(tǒng)排水維護(hù)。

服務(wù)器

服務(wù)器液冷方案主要由冷板、管路、快速接頭和檢漏線組成，單相冷板供液溫度范圍為 40~45℃，工作液容乙二酶溶液(去離子水)。為防范液體泄露，京東云采用檢漏線包裹液冷系統(tǒng)，特別是在冷板和管路接頭處，確保漏液情況下及時(shí)報(bào)告并啟動(dòng)漏液應(yīng)急措施。

4、第三代英特爾”至強(qiáng)”可擴(kuò)展平臺(tái)助力京東云服務(wù)器液冷設(shè)計(jì)

第三代英特爾至強(qiáng)可擴(kuò)展處理器

提供8個(gè)插措配置的多插槽內(nèi)核計(jì)數(shù)密度

性能、吞吐量和 CPU頻率顯著提升

內(nèi)置AI加速功能，提供無(wú)規(guī)性能基礎(chǔ)，加快多云、智能邊緣和后端等數(shù)據(jù)的變革性影響。

京東云已于 2021年第二季度在數(shù)據(jù)中心部署了冷板液冷解決方案采用了基于第三代英特爾至強(qiáng)可擴(kuò)展處理器的定制化服務(wù)器，調(diào)整了核心數(shù)、基礎(chǔ)和 Turbo題率，TDP、RAS特性、T機(jī)箱等主要基數(shù)，以適配其可持續(xù)的液冷數(shù)據(jù)中心。

5、實(shí)際工程部署結(jié)束，京東云冷板液冷方案優(yōu)勢(shì)顯著

通過(guò)部署冷板液冷整體解決方案，京東云自建數(shù)據(jù)中心實(shí)現(xiàn)：

數(shù)據(jù)中心PUF 降至1.1

每個(gè)14KW 機(jī)柜每年節(jié)電31031度

每個(gè)14KW 機(jī)柜每年碳減排24.4噸

三、藍(lán)海大腦冷板液冷解決方案

藍(lán)海大腦通過(guò)多年的努力，攻克了各項(xiàng)性能指標(biāo)、外觀結(jié)構(gòu)設(shè)計(jì)和產(chǎn)業(yè)化生產(chǎn)等關(guān)鍵技術(shù)問(wèn)題，成功研制出藍(lán)海大腦高性能冷板散熱解決方案，支持快速圖形處理，GPU 智能運(yùn)算，性價(jià)比高，外形美觀，滿足了人工智能企業(yè)對(duì)圖形、視頻等信息的強(qiáng)大計(jì)算處理技術(shù)的需求。

快速、高效、可靠、易于管理的藍(lán)海大腦液冷工作站具備出色的靜音效果和完美的溫控系統(tǒng)。在滿負(fù)載環(huán)境下，噪音控制在 35 分貝左右。借助英偉達(dá) NVIDIA 、英特爾Intel、AMD GPU顯卡可加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理速度，更快地創(chuàng)作精準(zhǔn)的光照渲染效果，提供高速視頻和圖像處理能力，加速AI并帶來(lái)更流暢的交互體驗(yàn)。

深度學(xué)習(xí)液冷服務(wù)器系統(tǒng)突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進(jìn)行冷卻，其余熱源仍采用風(fēng)冷方式進(jìn)行冷卻。通過(guò)這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時(shí)，降低主要熱源 CPU 散熱所耗電能，并增強(qiáng)服務(wù)器可靠性。經(jīng)檢測(cè)，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。

液體冷卻方案名詞解釋

一、冷板式液冷

冷板式液冷是指采用液體作為傳熱工質(zhì)在冷板內(nèi)部流道流動(dòng)，通過(guò)熱傳遞對(duì)熱源實(shí)現(xiàn)冷卻的非接觸液體冷卻技術(shù)。其中，熱量通過(guò)裝配在需要冷卻的電子元器件上的冷板，再通過(guò)冷板與液體工質(zhì)的熱交換實(shí)現(xiàn)的方式，稱為間接式液冷。其與浸沒(méi)或噴淋式液冷技術(shù)不同，后者主要是指電子元器件（通常在熱源表面也需要安裝散熱翅片，以增加熱交換面積）與冷卻工質(zhì)直接接觸的冷卻方式。

二、冷板

冷板是帶有內(nèi)部流體通道并允許冷卻工質(zhì)流過(guò)的熱交換器或散熱器。冷板安裝在需要冷卻的電子元器件熱表面上，將元器件產(chǎn)生的熱量通過(guò)液體冷卻工質(zhì)傳遞到冷量分配單元的板式熱交換器。冷板的設(shè)計(jì)多種多樣，可以根據(jù)不同的需求對(duì)其進(jìn)行結(jié)構(gòu)設(shè)計(jì)優(yōu)化，其內(nèi)部流道可以是溝槽、扣合翅片、鏟齒、折疊翅片等構(gòu)造。對(duì)于一些高功耗或高熱密度元器件的散熱設(shè)計(jì)，流道通常還會(huì)設(shè)計(jì)成更復(fù)雜的微通道結(jié)構(gòu)，以增加接觸面積，提高其散熱性能。

冷板基本結(jié)構(gòu)形態(tài)包括散熱模塊和固定模塊，固定模塊設(shè)計(jì)應(yīng)最大限度滿足扣合力正壓冷板。根據(jù)散熱模塊和固定模塊之間的連接方式可分為分體式液冷冷板（冷板散熱模塊與固定模塊由螺釘或其他方式連接，可根據(jù)需求進(jìn)行拆卸與組裝），以及一體式液冷冷板（冷板散熱模塊與固定模塊不可拆卸與組裝）。根據(jù)密封形式則可分為密封圈組裝式或焊接密封等。

三、混合冷卻

指同時(shí)使用風(fēng)冷和冷板液冷的方式。常見(jiàn)的混合冷卻是對(duì)高功率和高熱密度元器件使用液冷冷卻，而對(duì)于低功率元件的冷卻則使用風(fēng)冷的方式。以 IT 設(shè)備的冷卻為例，對(duì)于 CPU / GPU 或內(nèi)存模塊上會(huì)安裝液冷冷板，而風(fēng)扇則用于形成強(qiáng)迫風(fēng)冷對(duì)其他元器件進(jìn)行冷卻。

此外，還有一種將冷板、泵及換熱器集成在計(jì)算系統(tǒng)里面的設(shè)計(jì)應(yīng)用。所以采用混合冷卻方式的設(shè)計(jì)仍然需要空調(diào)，來(lái)滿足非液冷元器件的散熱需求。為進(jìn)一步降低機(jī)房空調(diào)的功耗，可以在機(jī)柜門(mén)安裝液冷背板門(mén)對(duì)熱空氣進(jìn)行初步冷卻，這種方式可以用于高溫機(jī)房的設(shè)計(jì)，甚至可以取消機(jī)房空調(diào)，構(gòu)成全液冷冷卻設(shè)計(jì)。

四、全液冷卻

全液冷卻指的是將所有元器件產(chǎn)生的熱量全部通過(guò)液體冷卻工質(zhì)傳遞至外部環(huán)境的冷卻方式。對(duì)于 IT 設(shè)備，采用全液體冷卻大致有兩種方式，一種是通過(guò)冷板設(shè)計(jì)實(shí)現(xiàn)服務(wù)器熱量完全導(dǎo)入冷卻工質(zhì)，一種是通過(guò)冷板和液冷背板門(mén)組合的方式將服務(wù)器的熱量全部導(dǎo)入冷卻工質(zhì)。前者需要通過(guò)設(shè)計(jì)一個(gè)與服務(wù)器設(shè)計(jì)相匹配的復(fù)合冷板組件為所有元器件提供冷卻工質(zhì)的熱傳遞路徑。

對(duì)于全液冷機(jī)架的設(shè)計(jì)，機(jī)架通常會(huì)有一個(gè)冷板背板門(mén)安裝在熱空氣出口，將服務(wù)器中的熱量傳遞到液冷工質(zhì)中。全液體冷卻方式只需要最低能耗限度的室內(nèi)空調(diào)，來(lái)消除殘余在空氣中的熱量。在可接受高溫機(jī)房的設(shè)計(jì)中，室內(nèi)空調(diào)甚至可以取消，以進(jìn)一步降低數(shù)據(jù)中心 PUE。

五、單相和兩相冷卻工質(zhì)（冷卻工質(zhì) / 冷媒）

依據(jù)冷卻工質(zhì)在吸收或釋放熱量過(guò)程中可能保持液相或產(chǎn)生氣液相轉(zhuǎn)化的特性，可將冷卻工質(zhì)區(qū)分為單相冷卻工質(zhì)和兩相冷卻工質(zhì)。對(duì)于在整個(gè)運(yùn)行過(guò)程中保持單一液態(tài)的冷卻工質(zhì)稱之為單相冷卻工質(zhì)，通常包含水基冷卻工質(zhì)和非水基冷卻工質(zhì)兩類。

水基冷卻工質(zhì)中，以純水為溶劑，不添加任何其他材料或只依據(jù)耐零下溫度需求添加一定比例（0%~60%）防凍劑構(gòu)成的，為純水液，需要配合工質(zhì)純化模塊使用；以純水為溶劑，添加緩蝕劑、殺生劑等，并依據(jù)耐零下溫度需求添加一定比例（0%~60%）防凍劑構(gòu)成的,為配方液，使用時(shí)需要定期取樣檢測(cè)添加劑狀況。非水基冷卻工質(zhì)，一般為沸點(diǎn)不低于水的氫氟醚、全氟碳等介電液體或礦物油，使用時(shí)需在浸潤(rùn)材料兼容性上應(yīng)進(jìn)行嚴(yán)格審查和測(cè)試。

對(duì)于在吸熱和放熱過(guò)程中會(huì)發(fā)生氣液兩相轉(zhuǎn)換的液體，稱之為兩相冷卻工質(zhì)。兩相冷卻工質(zhì)的沸點(diǎn)通常較低，主要通過(guò)液體的氣化潛熱吸收熱量，在循環(huán)中形成攜帶熱量的兩相流。兩相冷卻工質(zhì)通常是介電液體或冷媒。不同兩相冷卻工質(zhì)的沸點(diǎn)通常不同。

冷板式相變液冷技術(shù)的冷板有時(shí)也被稱為蒸發(fā)器。在本文中，冷板指用于單相冷卻工質(zhì)或兩相冷卻工質(zhì)的冷板，冷卻工質(zhì)指單相或兩相冷卻工質(zhì)。冷卻工質(zhì)和所有暴露在冷卻工質(zhì)中的材料（稱為浸潤(rùn)材料）之間必須具有相容性，以降低在長(zhǎng)期工作環(huán)境下腐蝕、加速老化、滲透等風(fēng)險(xiǎn)。且即使在確保冷卻工質(zhì)和所有浸潤(rùn)材料相容，在實(shí)際操作中仍然需要定期檢查冷卻工質(zhì)，以確保冷卻工質(zhì)的品質(zhì)穩(wěn)定可靠。

六、冷量分配單元

冷量分配單元的主要作用是隔離一次側(cè)與二次側(cè)回路，并在其內(nèi)部提供一次側(cè)與二次側(cè)的熱交換能力。冷量分配單元主要分為機(jī)架式（嵌柜式）、機(jī)柜式和平臺(tái)式等。機(jī)柜式 CDU 通常為一個(gè)或多個(gè) IT設(shè)備的機(jī)架甚至整個(gè)機(jī)房提供冷卻，具備比機(jī)架式 CDU 所需更大的冷卻能力和供液能力。平臺(tái)式 CDU 通常是一種帶有更大冷卻能力和供液能力的 CDU 類型，最大冷卻能力可達(dá)到 10MW 以上，可以為整個(gè)數(shù)據(jù)中心提供冷卻。為避免 CDU 故障造成冷量不足，需要結(jié)合實(shí)際情況充分考慮 CDU 的 N+1、N+2 冗余備份，或?qū)?CDU內(nèi)部的泵驅(qū)模塊進(jìn)行 N+1 冗余設(shè)計(jì)，以確保足夠的冷量用于冷卻 IT設(shè)備，或構(gòu)成冗余設(shè)計(jì)實(shí)現(xiàn) CDU 的可在線維護(hù)。

CDU 中通常包含熱交換模塊、一二次側(cè)過(guò)濾組件、二次側(cè)泵驅(qū)模塊、定壓脫氣模塊、定壓補(bǔ)液模塊、恒溫恒壓監(jiān)控模塊、漏液檢測(cè)模塊、冷卻工質(zhì)品質(zhì)參數(shù)（電導(dǎo)率、pH）檢測(cè)模塊、控制系統(tǒng)、防凝露及去離子裝置等。其中，二次側(cè)過(guò)濾組件的過(guò)濾能力須匹配冷卻回路中對(duì)顆粒最敏感的部件，如自封式快換接頭和微通道冷板的需求，以確保冷卻工質(zhì)中潛在的顆粒不會(huì)在流體回路中造成堵塞，并阻止冷卻工質(zhì)的流動(dòng)，或插拔時(shí)部件失去自封能力。建議過(guò)濾精度為 50 微米。

七、機(jī)架式冷卻工質(zhì)供回液歧管

冷卻工質(zhì)供回液歧管主要功能是將從 CDU 分配進(jìn)入各機(jī)架內(nèi)的冷卻工質(zhì)再次均勻分流到各 IT 設(shè)備，并從冷板出液端收集回流液體。歧管必須能夠提供符合 IT 設(shè)備需求的冷卻流量，確保機(jī)架內(nèi)冷卻工質(zhì)流量分布均勻，保障 IT 設(shè)備可在線移出或接入液冷系統(tǒng)。這些因素在設(shè)計(jì)中必須仔細(xì)考量。

八、自封式快換接頭

自封式快換接頭（QD）用于幫助維護(hù)人員檢修而提供快速連接，或斷開(kāi)IT 設(shè)備或其組件與液冷系統(tǒng)的連接并確保具備自封功能，進(jìn)而確保冷卻工質(zhì)不會(huì)泄漏，液冷系統(tǒng)運(yùn)行不受影響，IT 設(shè)備可持續(xù)安全運(yùn)行。自封式快換接頭一般有兩種設(shè)計(jì)，即手動(dòng)插拔式和盲插式。手動(dòng)插拔式是需要人為手動(dòng)握住快換接頭，進(jìn)行插拔連接操作的接頭設(shè)計(jì)，可分為單手插拔和雙手插拔式，因?yàn)樯婕笆謩?dòng)插拔動(dòng)作，需要保證足夠插拔操作空間。而盲插接頭是一種通過(guò)壓力將公母頭插入導(dǎo)通或拔開(kāi)斷開(kāi)，無(wú)需手動(dòng)操作的接頭設(shè)計(jì)，需要通過(guò)精確的滑軌設(shè)計(jì)或定位銷(xiāo)來(lái)輔助定位連接，并要保持導(dǎo)通所需的壓力，以避免公母頭滑移導(dǎo)致接頭液路斷開(kāi)。

審核編輯 黃昊宇