99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

國產(chǎn)框架超越 PyTorch 和 TensorFlow?

人工智能與大數(shù)據(jù)技術 ? 來源:中國網(wǎng)科學 ? 作者:HyperAI超神經(jīng) ? 2021-04-09 15:11 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

深度學習領域,PyTorch、TensorFlow 等主流框架,毫無疑問占據(jù)絕大部分市場份額,就連百度這樣級別的公司,也是花費了大量人力物力,堪堪將 PaddlePaddle 推入主流。

在這樣資源主導、肉食者謀的競爭環(huán)境下,一家國產(chǎn)深度學習框架的創(chuàng)業(yè)公司 OneFlow 出現(xiàn)了。

它以處理大規(guī)模模型見長,甚至今年將全部源碼和實驗對比數(shù)據(jù),在 GitHub 進行了開源。

質(zhì)疑不可避免的出現(xiàn)了:OneFlow 這種擅長解決大模型訓練的新架構(gòu)有必要嗎?深度學習框架的效率有那么重要嗎?創(chuàng)業(yè)公司有可能在競爭中脫穎而出么?

我們借著 CosCon 20' 開源年會的機會,采訪了一流科技 CEO 袁進輝,了解到了他和一流科技的工程師們,1300 多個日日夜夜、數(shù)十萬行代碼背后的故事。

光環(huán)再多,創(chuàng)業(yè)也得一步一個腳印

2016 年 11 月,袁進輝在清華附近的一棟寫字樓里,寫下了 OneFlow 的第一版設計理念。此時的袁進輝剛剛從工作了近 4 年的微軟亞洲研究院(MSRA)離職。

「MSRA 前員工」并不是袁進輝身上唯一的 tag,2003 年從西安電子科技大學本科畢業(yè)后,他被保送到清華大學計算機系繼續(xù)直博學習,師從中國科學院院士、中國 AI 學科奠基人之一張鈸教授。

2008 年袁進輝從清華大學畢業(yè)后,先后加入網(wǎng)易、360 搜索。他開發(fā)的鷹眼系統(tǒng),被中國國家隊作為日常訓練輔助系統(tǒng)。除此之外,他在 MSRA 工作期間,專注于大規(guī)模機器學習平臺,還研發(fā)出了當時世界上最快的主題模型訓練算法和系統(tǒng) LightLDA,被應用于微軟在線廣告系統(tǒng)。

LightLDA 于 2014 年面世,僅僅兩年之后,獨具慧眼的袁進輝就又萌生了一個大膽地猜想:隨著業(yè)務需求和場景的豐富,能高效處理大模型訓練的分布式深度學習框架,必然成為繼 Hadoop、Spark 之后,數(shù)據(jù)智能時代基礎設施的核心。

但是當時主流的深度學習框架都是由 Google、Amazon、Facebook 等大廠牽頭開發(fā)的,即使是國內(nèi)情況也類似。這由于開發(fā)深度學習框架不光需要雄厚的研發(fā)成本,更重要的是能耐得住寂寞,做好打持久戰(zhàn)的準備,因此尚沒有初創(chuàng)企業(yè)敢在該領域試水。

已有的深度學習框架都已經(jīng)打的如火如荼了,一家初創(chuàng)企業(yè),又搞出來一個新框架,會有用戶買單嗎?行動派袁進輝不但敢想,他還敢干。

敲下 OneFlow 第一行代碼的時候,他還沒想清楚詳細地實現(xiàn)策略,更談不上完善的業(yè)務邏輯。他的想法很簡單,又很復雜,要做一款「開發(fā)者愛用」的產(chǎn)品。

一群天才+21 個月,OneFlow 初版上線

2017 年 1 月,袁進輝成立一流科技,召集了 30 多位工程師,開啟了 OneFlow 的正式「團戰(zhàn)」。盡管大家對困難已經(jīng)做了充分預估,但是隨著開發(fā)的逐漸深入,涌現(xiàn)的重重困難還是出乎的團隊的意料。

深度學習框架的技術非常復雜,況且 OneFlow 采用了一個全新的技術架構(gòu),沒有先例可以參考,光是把技術設想跑通,就花了快兩年時間。

2018 年秋天,一流科技的發(fā)展進入了最艱難的階段。產(chǎn)品研發(fā)遲遲不能定型,一些員工的耐心跟信心消耗殆盡,加上公司下輪融資一波三折,團隊的士氣和信心面臨極大挑戰(zhàn)。

在創(chuàng)業(yè)圈有個「18 個月魔咒」的說法,意思是一年半沒看到希望,沒有正反饋,創(chuàng)業(yè)團隊的心態(tài)就會發(fā)生變化,失去耐心。袁進輝意識到,不能再等了,必須要盡早在真實場景去使用 OneFlow,讓大家看到 OneFlow 的創(chuàng)新的確是有價值的, 從而形成正反饋。

2018 年 9 月,在經(jīng)歷了長達 1 年 9 個月的研發(fā)后,袁進輝和團隊推出了 OneFlow 閉源版。當時 OneFlow 還沒有開源,也存在大大小小的問題,但產(chǎn)品正式發(fā)布了,總算是給團隊成員吃了個定心丸。

專注大規(guī)模訓練,效率秒殺同類框架

2018 年 11 月,幸運之神降臨到一流科技。Google 推出了最強自然語言模型 BERT,開啟了 NLP 新時代。這驗證了袁進輝的預測,擅長處理大規(guī)模訓練的新架構(gòu),是必須且必要的。

很快,一流科技的工程師就基于 OneFlow 支持了 BERT-Large 的分布式訓練,這也是當時唯一一個支持分布式 BERT-Large 訓練的框架,性能和處理速度遠超已有的開源框架。

ce11a668-989f-11eb-8b86-12bb97331649.png

OneFlow 異構(gòu)分布式流式系統(tǒng)架構(gòu)圖

OneFlow 「一戰(zhàn)成名」,這也為一流科技積累第一批頭部互聯(lián)網(wǎng)企業(yè)用戶提供了契機。令人倍感意外的是,當時的袁進輝因為「仍對產(chǎn)品不滿意」,所以選擇了一條格外低調(diào)的路。

從 2018 年 9 月閉源版本發(fā)布,到 2020 年 7 月正式開源,袁進輝又用了 22 個月來打磨 OneFlow。他和團隊一邊持續(xù)優(yōu)化經(jīng)典模型,一邊解決原來沒預計到的問題,在袁進輝看來,哪怕是產(chǎn)品文檔沒做好,他都不會輕易把 OneFlow 推到臺面上。

2020 年 7 月 31 日,OneFlow 正式在 GitHub 開源。這個以訓練大規(guī)模模型著稱的開源框架,第二次站到聚光燈下,完美詮釋了四個字--效率為王。

ce2f9e70-989f-11eb-8b86-12bb97331649.png

深度學習框架版圖幾乎由美國企業(yè)主導

ce69eb84-989f-11eb-8b86-12bb97331649.png

國內(nèi)開源的深度學習框架版圖中

只有 OneFlow 是由初創(chuàng)企業(yè)研發(fā)并開源

訓練速度更快、GPU 利用率更高、多機加速比更高、運維成本更低、用戶上手難度更低,五個強大優(yōu)勢讓 OneFlow 能快速適應各個場景,并進行快速延展。袁進輝和團隊對 OneFlow 的性能追求和優(yōu)化,達到了極致。

近期,OneFlow 發(fā)布了 v0.2.0 版本,更新的性能優(yōu)化多達 17 個,使得 CNN 和 BERT 的自動混合精度訓練速度大幅提升。

開發(fā)團隊還建立了一個名為 DLPerf 的開源項目,將實驗環(huán)境、實驗數(shù)據(jù)、可復現(xiàn)算法完全開源,測評了在相同的物理環(huán)境上(4臺 V100 16G x8的機器),OneFlow 和其他幾個主流框架在 ResNet50-v1.5 和 BERT-base 模型上的吞吐率及加速比。

cf9ae314-989f-11eb-8b86-12bb97331649.png

7 個框架在 ResNet50-v1.5 模型上的吞吐率對比

結(jié)果證明 OneFlow 在單機單卡、多機多卡下的吞吐率都明顯領先其他框架,成為在主流旗艦顯卡(V100 16G)上訓練 ResNet50-v1.5 和 BERT-base 模型最快的框架,OneFlow ResNet50-v1.5 AMP 單卡比 NVIDIA 深度優(yōu)化過的 PyTorch 快 80%, 比 TensorFlow 2.3 快 35%。

直面質(zhì)疑,做賽道的「少數(shù)派」

事實上,OneFlow 從誕生至今,受到的質(zhì)疑并不在少數(shù),「上車晚且生存空間狹小」是最主流的聲音,對此袁進輝表現(xiàn)出了超乎尋常的坦然。

在他看來,深度學習框架本就是一個新生事物,技術和產(chǎn)業(yè)都在中早期,不存在上車早晚的問題。在技術收斂之前,性能高、易用性強、符合用戶使用價值的產(chǎn)品,就會受到用戶的青睞。

至于生存空間小一說,更是子虛烏有。開源讓小公司和大公司的產(chǎn)品有機會公平競技,優(yōu)秀的新生框架挑戰(zhàn)權(quán)威的框架,正是開源精神的內(nèi)核之一。

質(zhì)疑聲并沒有阻礙 OneFlow 的發(fā)展,相反,袁進輝和團隊加快了 OneFlow 的升級和完善進程,更新優(yōu)化性能、梳理開發(fā)者文檔、收集社區(qū)反饋……這些努力和堅持,為 OneFlow 吸引了更多用戶,其中不乏最初的「懷疑論者」。

在 COSCon'20中國開源年會上,袁進輝做了題為《深度學習訓練系統(tǒng)演進》的分享,向所有開發(fā)者介紹了 OneFlow 下一步的開發(fā)規(guī)劃,除了堅持效率為王、繼續(xù)性能優(yōu)化外,開發(fā)團隊還在努力降低用戶的學習成本和遷移成本。目前 PyTorch 用戶遷移到 OneFlow 的成本已經(jīng)相當?shù)土?,因為二者的用?a target="_blank">接口幾乎一樣,已訓練好的模型轉(zhuǎn)換成 OneFlow 的成本也足夠低。

客觀講,OneFlow 在完備性和易用性上,與 TensorFlow 和 PyTorch 相比還有差距。但是,OneFlow 的特色是效率高、擴展性好以及分布式特別容易使用,非常適合大規(guī)模人臉識別、大規(guī)模廣告推薦系統(tǒng)、以及類似 GPT-3 這種模型參數(shù)巨大的模型訓練場景。

采訪的最后袁進輝老師也毫不掩飾對人才的渴望,他表示 OneFlow 正在招聘機器學習工程師以及深度學習工程師,非常歡迎有識之士加入這個朝氣勃勃、渴望勝利的團隊。

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 框架
    +關注

    關注

    0

    文章

    404

    瀏覽量

    17858
  • 開源
    +關注

    關注

    3

    文章

    3653

    瀏覽量

    43702
  • pytorch
    +關注

    關注

    2

    文章

    809

    瀏覽量

    13885
  • OneFlow
    +關注

    關注

    0

    文章

    9

    瀏覽量

    8916

原文標題:超越 PyTorch 和 TensorFlow,這個國產(chǎn)框架有點東西

文章出處:【微信號:TheBigData1024,微信公眾號:人工智能與大數(shù)據(jù)技術】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    PyTorch 2.5.1: Bugs修復版發(fā)布

    ? 一,前言 在深度學習框架的不斷迭代中,PyTorch 社區(qū)始終致力于提供更穩(wěn)定、更高效的工具。最近,PyTorch 2.5.1 版本正式發(fā)布,這個版本主要針對 2.5.0 中發(fā)現(xiàn)的問題進行了修復
    的頭像 發(fā)表于 12-03 16:11 ?1590次閱讀
    <b class='flag-5'>PyTorch</b> 2.5.1: Bugs修復版發(fā)布

    RK3568國產(chǎn)處理器 + TensorFlow框架的張量創(chuàng)建實驗案例分享

    一、實驗目的 本節(jié)視頻的目的是了解張量定義、了解張量的表示形式、并學習基于TensorFlow框架的張量創(chuàng)建方法。 二、實驗原理. 張量定義 1、張量是多維數(shù)組,這個定義常見于各種人工智能軟件。 2
    發(fā)表于 12-03 14:43

    卷積神經(jīng)網(wǎng)絡的實現(xiàn)工具與框架

    卷積神經(jīng)網(wǎng)絡因其在圖像和視頻處理任務中的卓越性能而廣受歡迎。隨著深度學習技術的快速發(fā)展,多種實現(xiàn)工具和框架應運而生,為研究人員和開發(fā)者提供了強大的支持。 TensorFlow 概述
    的頭像 發(fā)表于 11-15 15:20 ?643次閱讀

    Google AI Edge Torch的特性詳解

    已經(jīng)支持 Jax、Keras 和 TensorFlow 編寫的模型,現(xiàn)在我們加入了對 PyTorch 的支持,進一步豐富了框架選擇。
    的頭像 發(fā)表于 11-06 10:48 ?900次閱讀
    Google AI Edge Torch的特性詳解

    pytorch怎么在pycharm中運行

    第一部分:PyTorch和PyCharm的安裝 1.1 安裝PyTorch PyTorch是一個開源的機器學習庫,用于構(gòu)建和訓練神經(jīng)網(wǎng)絡。要在PyCharm中使用PyTorch,首先需
    的頭像 發(fā)表于 08-01 16:22 ?2446次閱讀

    pytorch環(huán)境搭建詳細步驟

    PyTorch作為一個廣泛使用的深度學習框架,其環(huán)境搭建對于從事機器學習和深度學習研究及開發(fā)的人員來說至關重要。以下將介紹PyTorch環(huán)境搭建的詳細步驟,包括安裝Anaconda、配置清華鏡像源
    的頭像 發(fā)表于 08-01 15:38 ?1801次閱讀

    pytorch和python的關系是什么

    ,PyTorch已經(jīng)成為了一個非常受歡迎的框架。本文將介紹PyTorch和Python之間的關系,以及它們在深度學習領域的應用。 Python簡介 Python是一種高級、解釋型、通用的編程語言,由Guido van Rossu
    的頭像 發(fā)表于 08-01 15:27 ?3218次閱讀

    PyTorch深度學習開發(fā)環(huán)境搭建指南

    PyTorch作為一種流行的深度學習框架,其開發(fā)環(huán)境的搭建對于深度學習研究者和開發(fā)者來說至關重要。在Windows操作系統(tǒng)上搭建PyTorch環(huán)境,需要綜合考慮多個方面,包括軟件安裝、環(huán)境配置以及版本兼容性等。以下是一個詳細的
    的頭像 發(fā)表于 07-16 18:29 ?2413次閱讀

    TensorFlow是什么?TensorFlow怎么用?

    TensorFlow是由Google開發(fā)的一個開源深度學習框架,它允許開發(fā)者方便地構(gòu)建、訓練和部署各種復雜的機器學習模型。TensorFlow憑借其高效的計算性能、靈活的架構(gòu)以及豐富的工具和庫,在學
    的頭像 發(fā)表于 07-12 16:38 ?1295次閱讀

    基于PyTorch的卷積核實例應用

    在深度學習和計算機視覺領域,卷積操作是一種至關重要的技術,尤其在圖像處理和特征提取方面發(fā)揮著核心作用。PyTorch作為當前最流行的深度學習框架之一,提供了強大的張量操作功能和靈活的API,使得實現(xiàn)
    的頭像 發(fā)表于 07-11 15:19 ?892次閱讀

    pytorch如何訓練自己的數(shù)據(jù)

    本文將詳細介紹如何使用PyTorch框架來訓練自己的數(shù)據(jù)。我們將從數(shù)據(jù)準備、模型構(gòu)建、訓練過程、評估和測試等方面進行講解。 環(huán)境搭建 首先,我們需要安裝PyTorch??梢酝ㄟ^訪問PyTorc
    的頭像 發(fā)表于 07-11 10:04 ?1000次閱讀

    pytorch中有神經(jīng)網(wǎng)絡模型嗎

    當然,PyTorch是一個廣泛使用的深度學習框架,它提供了許多預訓練的神經(jīng)網(wǎng)絡模型。 PyTorch中的神經(jīng)網(wǎng)絡模型 1. 引言 深度學習是一種基于人工神經(jīng)網(wǎng)絡的機器學習技術,它在圖像識別、自然語言
    的頭像 發(fā)表于 07-11 09:59 ?1709次閱讀

    tensorflowpytorch哪個更簡單?

    PyTorch更簡單。選擇TensorFlow還是PyTorch取決于您的具體需求和偏好。如果您需要一個易于使用、靈活且具有強大社區(qū)支持的框架,Py
    的頭像 發(fā)表于 07-05 09:45 ?1421次閱讀

    tensorflowpytorch哪個好

    tensorflowpytorch都是非常不錯的強大的框架,TensorFlow還是PyTorch哪個更好取決于您的具體需求,以下是關于這
    的頭像 發(fā)表于 07-05 09:42 ?1183次閱讀

    keras模型轉(zhuǎn)tensorflow session

    和訓練深度學習模型。Keras是基于TensorFlow、Theano或CNTK等底層計算框架構(gòu)建的。TensorFlow是一個開源的機器學習框架,由Google Brain團隊開發(fā)。
    的頭像 發(fā)表于 07-05 09:36 ?842次閱讀