電子發(fā)燒友網(wǎng)報道（文/吳子鵬）11月12日下午，就在雙十一大促的后一天，阿里云疑似發(fā)生大規(guī)模、大范圍故障，導致包括淘寶、閑魚、阿里云盤、釘釘在內的阿里系產(chǎn)品全線崩潰。一時間，“阿里云盤崩了”“淘寶又崩了”“釘釘崩了”和“閑魚崩了”等多條相關詞條進入微博熱搜榜。

12日晚8點，阿里方面發(fā)布官方消息稱，19:20左右，經(jīng)工程師緊急處理，阿里旗下淘寶、釘釘、阿里云盤等APP已全面恢復。

根據(jù)群公告和官方信息，此次阿里云系統(tǒng)宕機的時間線為：
·17時44分起，阿里云產(chǎn)品控制臺訪問及API調用出現(xiàn)使用異常，阿里云工程師開始緊急介入排查；
·17時50分，阿里云已確認故障原因與某個底層服務組件有關，工程師緊急處理中；
·18時54分，經(jīng)過阿里工程師處理，杭州、北京等地域控制臺已恢復，其他地域控制臺服務逐步恢復中；
·19時20分，阿里工程師通過分批重啟組件服務，絕大部分地域控制臺服務已恢復訪問；
·19時43分，異常管控服務組件均已完成重啟，除個別云產(chǎn)品（如消息隊列MQ、消息服務MNS）仍需處理，其余云產(chǎn)品控制臺及API服務已恢復；
·20時12分，北京、杭州等地域消息隊列MQ已完成重啟，其余地域逐步恢復中；
·21時11分，受影響云產(chǎn)品均已恢復，因故障影響部分云產(chǎn)品的數(shù)據(jù)（如監(jiān)控、賬單等）可能存在延遲推送情況，不影響業(yè)務運行。

此次宕機波及甚廣

上面的詞條可能有細心的網(wǎng)友已經(jīng)發(fā)現(xiàn)，“淘寶又崩了”這個詞條多了一個又字。近兩年，幾乎每年都有“淘寶崩了”進入微博熱搜榜。

2021年10月20日晚間，由于雙十一改成了“八點檔”而不再是零點開售，所以很多人開始在此時蹲守，準備“褥羊毛”，或者趁著便宜買自己需要的東西。然而，預售剛開始就有網(wǎng)友反饋給客服發(fā)消息發(fā)不出去。原因就是服務器系統(tǒng)受不了如此巨大的訪問量，崩潰了。隨后，淘寶官方賬號在當天20時43分的時候回復稱，原來不熬夜的你們這么猛嗎？

2022年7月12日晚間，“淘寶崩了”再次上熱搜，據(jù)多名網(wǎng)友反映，他們在購買商品時突然遇到了卡頓的情況。針對這一次的情況，淘寶官方賬號表示：平臺正常。

當然，阿里云也不是第一次發(fā)生規(guī)模性故障了。2022年12月，阿里云香港地域發(fā)生長時間持續(xù)性故障，服務中斷一度超過12小時，這是阿里云運營十多年來持續(xù)時間最長的一次大規(guī)模故障。2022年12月25日，阿里云在官方微信發(fā)布《關于阿里云香港Region可用區(qū)C服務中斷事件的說明 》。其中提到，12月18日，由于香港Region可用區(qū)C機房冷卻系統(tǒng)失效，包間溫度逐漸升高，導致一機房包間溫度達到臨界值觸發(fā)消防系統(tǒng)噴淋，電源柜和多列機柜進水，部分機器硬件損壞。整個處置過程超過10小時。

雖然這一次阿里云的故障處置沒有香港那么久，不過從上面的時間線也能夠看出，基本上也是花費了一個半小時才做到絕大部分地域的正常訪問。并且，此次系統(tǒng)宕機的影響范圍遠超上一次阿里云香港地域故障。

阿里云公告顯示，國內包括華北2 (北京)、華北6 (烏蘭察布)、華南1(深圳)、中國香港、華東1(杭州)等節(jié)點受到影響；國際市場包括英國(倫敦)、韓國(首爾)、日本(東京)、阿聯(lián)酋(迪拜)、美國 (弗吉尼亞)、菲律賓 (馬尼拉)、新加坡等節(jié)點受到影響。

阿里云公告顯示，受影響的主要產(chǎn)品包括OSS、OTS、SLS、MNS等產(chǎn)品，大部分產(chǎn)品如ECS、RDS、網(wǎng)絡等運營正常。這些受影響的產(chǎn)品包括企業(yè)級分布式應用服務、云原生大數(shù)據(jù)計算服務MaxCompute、云存儲網(wǎng)關、塊存儲、混合云備份服務、云原生內存數(shù)據(jù)庫Tair、運維安全中心(堡壘機)、數(shù)據(jù)庫備份、物聯(lián)網(wǎng)平臺、超級計算集群、彈性裸金屬服務器、云服務器ECS、云呼叫中心、交通云控平臺、客服工作臺、視覺智能開放平臺、運維事件中心和新零售智能助理等。

2022年12月，當阿里云香港地域節(jié)點發(fā)生故障時，有消息人士稱，阿里云將此次故障定義為“p0級事故”。隨后不久，時任阿里巴巴集團董事會主席兼CEO張勇發(fā)出全員郵件稱，自己將兼任阿里云智能總裁，取代原總裁張建鋒。

如今，最新的故障雖然時間沒有那么長，但是波及面實在是太大了，不知道阿里云是否會繼續(xù)自己的鐵血管理風格。

機房運轉的四大挑戰(zhàn)

我們都知道，云計算是互聯(lián)網(wǎng)的核心支撐技術之一。根據(jù)Gartner相關統(tǒng)計數(shù)據(jù)，2022年以IaaS、PaaS、SaaS 為代表的全球云計算市場規(guī)模為 4910億美元，同比增長19%，雖然增速有所降低，不過市場需求依然強勁。這表明，雖然有經(jīng)濟下行和通脹的壓力存在，云計算依然是未來的重要發(fā)展趨勢和實現(xiàn)新科技的重要手段，預計全球云計算市場規(guī)模會在2026年突破萬億美元級別。

在市場份額方面，IDC的數(shù)據(jù)顯示，在公有云IaaS市場，2022年全球前四名云廠商依次為亞馬遜、微軟、谷歌和阿里云，其中阿里云的市場份額為5.2%。當然，如果僅統(tǒng)計中國企業(yè)或MNC使用國內公有云資源的業(yè)務，阿里云是當之無愧的市場第一，2022年上半年的占比高達37.2%。

這些大的云計算企業(yè)基本每年都會規(guī)模性故障，比如2022年7月，因遭遇極端高溫天氣，甲骨文和谷歌在倫敦的數(shù)據(jù)中心也曾因冷卻系統(tǒng)出現(xiàn)問題而發(fā)生運行故障，導致部分網(wǎng)站癱瘓。

綜合而言，作為云計算的硬件底層，機房主要會遇到四大方面的挑戰(zhàn)，分別來自環(huán)境、電力、硬件和軟件。

機房會遇到的環(huán)境挑戰(zhàn)非常多，首當其沖就是高溫，上述甲骨文和谷歌的機房故障就是因為高溫，一旦溫度負荷超過降溫系統(tǒng)的極限，宕機是不可避免的。除了高溫之外，濕度過高、震動、灰塵和自然災害等，都會對機房的運行造成很大的干擾。

機房的電力問題有時來自外部，有時則是內部。外部原因主要是供電系統(tǒng)突發(fā)故障，非預期性斷電是最常見的故障；內部原因則主要是初期規(guī)劃問題，有時候可能是對于服務器更新?lián)Q代帶來的用電增長估計不足，有時候可能是成本壓力沒有備用設備。

第三個挑戰(zhàn)是硬件本身的問題，機房的主要硬件設備包括服務器、交換機、路由器、硬件網(wǎng)關、硬件防火墻、交/直流電源、冷卻系統(tǒng)和監(jiān)控系統(tǒng)。這是一套配合非常緊密的硬件系統(tǒng)，某一類設備故障和設備老化都有可能造成機架大面積癱瘓。

最后一個挑戰(zhàn)則來自軟件。在服務領域，軟件負責整個系統(tǒng)的監(jiān)管、調度，同時軟件還能夠提升服務器集群的性能、安全性和可擴展性，當然服務器上的軟件本身也是一種服務。軟件端造成沖擊最常見的兩種方式是數(shù)據(jù)訪問量短時間劇增，以及軟件升級和更新。

此次阿里云的故障來自產(chǎn)品控制臺訪問及API調用，實際上就是軟件系統(tǒng)出了問題。對于這類問題，系統(tǒng)重啟是最直接有效的方式，不過過程中需要對數(shù)據(jù)進行留存和保護。

小結

大數(shù)據(jù)時代一個重要的特征是越來越多的數(shù)據(jù)及相關服務匯集在科技巨頭的設備上，一旦發(fā)生故障就會產(chǎn)生很大的波及范圍，也就會引起廣泛的關注。雖然大家都知道故障來自哪些方面，不過由于設備更新?lián)Q代和系統(tǒng)升級的節(jié)奏太快，很多問題是很難具體化的，在爆發(fā)之前它們都是未知的。