99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Intel和Linux技術帶來分布式計算的高潮?

我快閉嘴 ? 來源:CSDN ? 作者:Just ? 2020-09-30 16:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

回顧計算機發(fā)展的歷史,任何一個計算架構的成功都離不開強大的硬件,但這背后更需要繁榮的軟件生態(tài)。

1960年的集中式計算出現(xiàn)后,諸多基礎軟件應運而生,隨后進入“Win-tel”獨霸PC的時代,近年來,IntelLinux又帶來了分布式計算的高潮。

如今,隨著5G的到來,移動互聯(lián)網(wǎng)業(yè)務進一步發(fā)展,大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等創(chuàng)新應用場景層出不窮,應用場景的多樣性催生出數(shù)據(jù)的多樣性,導致原有的單一計算架構明顯跟不上龐雜的業(yè)務需求,業(yè)界對提出一種全新計算架構的呼聲愈烈。

很快,華為瞄準了多樣性算力架構。在去年9月的華為全聯(lián)接大會上,他們提出了“鯤鵬+昇騰”的雙引擎計算戰(zhàn)略以應對算力需求的爆發(fā)式增長。

這是一個全棧協(xié)同創(chuàng)新的過程,需要硬件提供算力,軟件釋放算力,盡最大可能讓上層應用使用算力,并且最終創(chuàng)造價值。硬件是整個生態(tài)的基礎,但決定多算力架構能否取得成功的關鍵樞紐是軟件,這是華為需要啃下的另一塊硬骨頭。

四大基礎軟件再升級

要想充分釋放硬件的算力,需要先了解其瓶頸究竟是什么。

華為鯤鵬計算領域副總裁江大勇告訴CSDN,在硬件方面,ARM這樣的主流處理器從百核甚至到千核的多核方向發(fā)展,但問題在于,核數(shù)的線性增長并不意味著算力的效能會隨之增長,因為算力的分配和調度復雜度的增加反而會消耗一部分算力的效能。與此同時,端邊云協(xié)同的趨勢對ARM計算架構也提出了相應需求,而X86、ARM和xPU的異構計算框架的趨勢也正在形成。

如此,多核多算力的硬件架構轉變相應地迫使基礎軟件架構做出調整。

去年以來,趁著國內開源的熱烈氣氛,華為也相繼開源了四大基礎軟件:openEuler(歐拉)操作系統(tǒng)、openGauss(高斯)數(shù)據(jù)庫、openLooKeng(羅庚)高性能數(shù)據(jù)虛擬化引擎,以及MindSpore全場景AI計算框架。

操作系統(tǒng)是所有計算機系統(tǒng)軟件的“根”,但目前的操作系統(tǒng)并不能很好地支持多樣性算力和ARM等架構。華為則希望面向未來的場景,通過openEuler創(chuàng)建一個創(chuàng)新平臺,能夠全面支持ARM,X86,RISC-V 等現(xiàn)在主流計算機架構。openEuler已于去年12月31日正式開源。

而在9月24日的HC大會分論壇上,江大勇發(fā)布了openEuler 20.09版本,包括極致性能、安全可信、生態(tài)引擎三大特點,背后提供支撐的項目主要是輕量級虛擬機StratoVirt 1.0和云原生容器iSula 2.0,secGear機密計算框架和IMA完整性度量架構,自動化測試平臺Compass-CI和UKUI桌面。OpenEuler21.03及后續(xù)版本,將在云、邊、端全場景協(xié)同上持續(xù)創(chuàng)新,支持應用一次開發(fā),多場景部署。

目前,openEuler操作系統(tǒng),代碼量超過100萬行,代碼貢獻者數(shù)量已超過1000個,下載量超1.4萬次,社區(qū)訪問量超過150萬次,已有多家伙伴基于openEuler做了商業(yè)應用。

同樣,數(shù)據(jù)庫是基礎軟件皇冠上的明珠,也是客戶業(yè)務系統(tǒng)的核心,所有應用軟件的運行和數(shù)據(jù)處理都要與其進行數(shù)據(jù)交互。雖然以MySQL, PGSQL為代表的開源數(shù)據(jù)庫已成為主流選擇,但真正的企業(yè)級用戶對企業(yè)關鍵數(shù)據(jù)、核心業(yè)務的承載體,有著性能、安全和運維的更高要求。江大勇認為,現(xiàn)在開源的數(shù)據(jù)庫沒有完全達到企業(yè)級的能力。

今年6月已經(jīng)開源的openGauss數(shù)據(jù)庫則具備企業(yè)級性能,包括高性能、高可用、高安全三大特性。openGuass第一個開源版本聚焦在與鯤鵬協(xié)同性能優(yōu)化上,基于2路鯤鵬服務器,性能可達到150萬tmpC,相對業(yè)界主流產(chǎn)品的 性能超過50%。

而在今年12月底,openGauss還會進一步迭代企業(yè)級特性,包括行列混合存儲引擎,支持混合負載,內存引擎MOT達到250W tmpC,有512個功能參數(shù)推薦的智能運維以及安全審計。明年3月底,openGauss則會關注企業(yè)安全,實現(xiàn)全密態(tài)數(shù)據(jù)庫和智能增強功能。江大勇稱,未來,openGauss將在每6個月發(fā)布一個新版本,每年發(fā)布一個穩(wěn)定版本。

面向海量數(shù)據(jù),盡管目前有HBase、Hadoop、Hive,MySQL等各種數(shù)倉,但缺乏統(tǒng)一的SQL接口,支持多數(shù)倉的軟件,這是大數(shù)據(jù)使用的一大難題。

今年3月,華為開源的openLooKeng則是一個數(shù)據(jù)虛擬化引擎,致力于為大數(shù)據(jù)用戶提供極簡的數(shù)據(jù)分析體驗,讓用戶像用“數(shù)據(jù)庫”一樣使用“大數(shù)據(jù)”。

openLooKeng具備引擎歸一、多樣分析,生態(tài)引擎以及高可靠、易用性特點,可以進行跨格式、跨倉、跨域使用,讓開發(fā)者做數(shù)據(jù)治理更加簡單。江大勇稱,百億級的數(shù)據(jù)量可以做到10秒級的分析處理。未來,openLooKeng將在極致性能、全場景高效融合分析、批流交互式方面持續(xù)突破。

此外,華為正式發(fā)布了端邊云全場景的AI計算框架MindSpore 1.0:支持模型、算子及硬件處理單元級全自動并行;對端邊云設備如手機、攝像機、服務器等全場景自適配;開發(fā)流程極簡,開發(fā)者可基于MindSpore快速實現(xiàn)模型導入、靈活調試。

為什么要開源基礎軟件

開源軟件的商業(yè)模式早已被驗證。華為也希望通過開源的方式快速構建上述基礎軟件能力,并繁榮軟件生態(tài)。

事實上,在Linux最新的內核5.8版本中,華為在全球范圍對內核的貢獻排名第二,修改代碼量全球排名第一。另外,華為還為ARM架構打通全棧能力,貢獻了全球超過40+的主流開源社區(qū)。

這些基礎軟件能開源也主要得益于華為過去10多年的技術積累,比如openEuler、openGauss數(shù)據(jù)庫在開源前,就已在運營商業(yè)務中廣泛使用,背后凝結了數(shù)千名工程師的技術研發(fā)投入。

由此也不難看出,現(xiàn)在的華為在貢獻開源和引領開源上是齊頭并進。

當然,華為也并非能完全參考英特爾等廠商的開源模式。江大勇對CSDN稱,與原來其他廠商做產(chǎn)品和解決方案不同,華為做計算產(chǎn)業(yè)更強調“生態(tài)”,這就決定了華為“有所為有所不為”。

這一點也讓華為在基礎軟件的開源策略上更加清晰,華為所做的即是為開發(fā)者和合作方提供開發(fā)工具和應用實踐等底層支持,幫助后者應用快速遷移到整個鯤鵬平臺,以此促進計算產(chǎn)業(yè)的發(fā)展。

在江大勇看來,現(xiàn)在應用的發(fā)展已經(jīng)遠快于以前做應用標準的方式,所以開源可能是當下更能被認可和接受的一種趨勢,而通過這種方式也更能促進社會效率的提升。更重要的是,通過開源社區(qū)的協(xié)作模式把底層的基礎技術做好后,差異化應用也會更快落地,社會效益也會更大,這也會形成事實上的統(tǒng)一標準。

最具挑戰(zhàn)的是開源意識

對華為來說,開源上述四大基礎軟件只是開始。因為應用、處理器、新的項目需求還在不斷發(fā)展,江大勇認為,只開源這些軟件并不足夠。

“openEuler剛開放的時候大約有30多個SIG組,但現(xiàn)在已經(jīng)有70多個,因為不斷地有開發(fā)者提出了新的業(yè)務需求或創(chuàng)新想法,也有開發(fā)者主動把RISC-V等能力開放到了社區(qū)?!?/p>

他預計,在分布式方面,未來可能還會增加一些新的能力,在元函數(shù)方面,可能在今年年底或明年年初也會有相應能力開放。而要壯大軟件功能和生態(tài),更重要的是依靠開發(fā)者社區(qū)的力量。

作為一家公認的執(zhí)行力強悍的企業(yè),華為在社區(qū)建設上也卓有成效。近期的鯤鵬開發(fā)者活動首次進行18個城市同步聯(lián)動,采用線下+線上的方式進行,吸引了上萬名開發(fā)者參與。

在江大勇看來,中國的開發(fā)者軟件開發(fā)者數(shù)量并不少,但需要形成一種活躍的開源社區(qū)文化,而不只是把社區(qū)當做代碼托管的地方。

而通過華為在構建開發(fā)者社區(qū)和生態(tài)過程中的經(jīng)歷,他也總結了中國開源需要提升的地方:

首先,開源社區(qū)本身的代碼托管等基礎設施服務要加強;其次,中國需要有更適合的開源協(xié)議;最后,最具挑戰(zhàn)的是擁有開源意識和文化,他認為,應該鼓勵高校學生和研究機構參與到開源中,加快社會性的協(xié)同創(chuàng)新,持續(xù)性支持和發(fā)揚開源協(xié)作精神。最終,讓中國開發(fā)者實現(xiàn)從貢獻開源進一步在全球范圍內引領開源。
責任編輯:tzh

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19899

    瀏覽量

    235411
  • ARM
    ARM
    +關注

    關注

    134

    文章

    9353

    瀏覽量

    377768
  • Linux
    +關注

    關注

    87

    文章

    11512

    瀏覽量

    213901
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    使用VirtualLab Fusion中分布式計算的AR波導測試圖像模擬

    計算時間超過31小時。通過使用一個由8個多核PC組成的網(wǎng)絡,提供35個客戶端分布式計算,將模擬時間減少到1小時5分鐘?;灸M任務基本任務集合:FOV使用分布式
    發(fā)表于 04-10 08:48

    VirtualLab Fusion應用:基于分布式計算的AR光波導中測試圖像的仿真

    (10201次模擬):大約43小時。 模擬結果:不同視場角的輻射通量*。 *注: 21個×21個方向的結果存儲在參數(shù)連續(xù)變化的光柵的查找表中。 使用分布式計算 參數(shù)運行用于改變當前視場模式的角度,這
    發(fā)表于 02-19 08:51

    分布式云化數(shù)據(jù)庫有哪些類型

    分布式云化數(shù)據(jù)庫有哪些類型?分布式云化數(shù)據(jù)庫主要類型包括:關系型分布式數(shù)據(jù)庫、非關系型分布式數(shù)據(jù)庫、新SQL分布式數(shù)據(jù)庫、以列方式存儲數(shù)據(jù)、
    的頭像 發(fā)表于 01-15 09:43 ?499次閱讀

    基于ptp的分布式系統(tǒng)設計

    在現(xiàn)代分布式系統(tǒng)中,精確的時間同步對于確保數(shù)據(jù)一致性、系統(tǒng)穩(wěn)定性和性能至關重要。PTP(Precision Time Protocol)是一種網(wǎng)絡協(xié)議,用于在分布式系統(tǒng)中實現(xiàn)高精度的時間同步
    的頭像 發(fā)表于 12-29 10:09 ?575次閱讀

    HarmonyOS Next 應用元服務開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)權限與基礎數(shù)據(jù)

    使用分布式數(shù)據(jù)對象遷移數(shù)據(jù),當需要遷移的數(shù)據(jù)較大(100KB以上)或需要遷移文件時,可以使用分布式數(shù)據(jù)對象。原理與接口說明詳見分布式數(shù)據(jù)對象跨設備數(shù)據(jù)同步。 說明:自API 12起,由于直接使用跨
    發(fā)表于 12-24 09:40

    分布式光伏發(fā)電系統(tǒng)的應用

    分布式光伏發(fā)電系統(tǒng)現(xiàn)狀? Q/GDW1480-2015 《分布式電源接入電網(wǎng)技術規(guī)定》:分布式電源并網(wǎng)電壓等級可根據(jù)各并網(wǎng)點裝機容量進行初步選擇,推薦如下: 8kW 及以下可接入220
    的頭像 發(fā)表于 11-21 16:31 ?698次閱讀
    <b class='flag-5'>分布式</b>光伏發(fā)電系統(tǒng)的應用

    分布式光伏為企業(yè)帶來哪些便捷!

    發(fā)改能源〔2022〕206號文件指出:“在農村地區(qū)優(yōu)先支持屋頂分布式光伏發(fā)電以及沼氣發(fā)電等生物質能發(fā)電接入電網(wǎng),電網(wǎng)企業(yè)等應當優(yōu)先收購其發(fā)電量?!?《國家能源局綜合司關于報送整縣(市、區(qū))屋頂分布式
    的頭像 發(fā)表于 11-18 15:34 ?744次閱讀
    <b class='flag-5'>分布式</b>光伏為企業(yè)<b class='flag-5'>帶來</b>哪些便捷!

    分布式通信的原理和實現(xiàn)高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經(jīng)超出了單個 GPU 的范圍。所以就需要實現(xiàn)跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我
    的頭像 發(fā)表于 11-18 09:39 ?1311次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現(xiàn)高效<b class='flag-5'>分布式</b>通信背后的<b class='flag-5'>技術</b>NVLink的演進

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發(fā)表于 11-12 01:02 ?571次閱讀
    <b class='flag-5'>分布式</b>光纖測溫解決方案

    淺談屋頂分布式光伏發(fā)電技術的設計與應用

    【摘要】為了緩解城市用電緊張袁降低人們的用電成本,可以在工業(yè)園區(qū)、辦公樓屋頂?shù)葓鏊鶓梦蓓?b class='flag-5'>分布式光伏發(fā)電技術進行就近轉換、并網(wǎng)發(fā)電袁充分利用建筑物屋頂?shù)奶栙Y源。概述屋頂分布式光伏發(fā)電技術
    的頭像 發(fā)表于 11-11 15:10 ?1859次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發(fā)電<b class='flag-5'>技術</b>的設計與應用

    分布式光纖測溫是什么?應用領域是?

    分布式光纖測溫是一種先進的溫度測量技術,它利用光纖的拉曼散射原理進行溫度監(jiān)測。以下是對分布式光纖測溫的詳細介紹: 一、基本原理 分布式光纖測溫的原理基于光纖的拉曼散射效應。當光纖某處的
    的頭像 發(fā)表于 10-24 15:30 ?1268次閱讀
    <b class='flag-5'>分布式</b>光纖測溫是什么?應用領域是?

    分布式光纖聲波傳感技術的工作原理

    分布式光纖聲波傳感技術(Distributed Acoustic Sensing,DAS)是一種利用光纖作為傳感元件,實現(xiàn)對沿光纖路徑上的環(huán)境參數(shù)進行連續(xù)分布式測量的技術。
    的頭像 發(fā)表于 10-18 14:50 ?2963次閱讀
    <b class='flag-5'>分布式</b>光纖聲波傳感<b class='flag-5'>技術</b>的工作原理

    分布式輸電線路故障定位中的分布式是指什么

    的全面覆蓋。這些監(jiān)測點之間通過無線網(wǎng)絡進行數(shù)據(jù)互聯(lián),形成一個分布式的監(jiān)測系統(tǒng); 三相覆蓋:對于三相輸電線路,分布式故障定位系統(tǒng)會在每相上都安裝相應的監(jiān)測裝置,以實現(xiàn)對三相導線的全面監(jiān)控。 二、技術特點 行波測距
    的頭像 發(fā)表于 10-16 11:39 ?696次閱讀
    <b class='flag-5'>分布式</b>輸電線路故障定位中的<b class='flag-5'>分布式</b>是指什么

    一文講清什么是分布式云化數(shù)據(jù)庫!

    分布式云化數(shù)據(jù)庫是一種先進的數(shù)據(jù)管理系統(tǒng),它將傳統(tǒng)的數(shù)據(jù)庫技術分布式計算、云計算和大數(shù)據(jù)處理技術
    的頭像 發(fā)表于 10-14 10:06 ?486次閱讀

    基于分布式計算的AR光波導中測試圖像的仿真

    (10201次模擬):大約43小時。 模擬結果:不同視場角的輻射通量。 注: 21個×21個方向的結果存儲在參數(shù)連續(xù)變化的光柵的查找表中。 使用分布式計算 參數(shù)運行用于改變當前視場模式的角度,這允許將
    發(fā)表于 08-07 14:13