99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

云天勵(lì)飛DeepEdge10適配DeepSeek開源周“首個(gè)大招”:FlashMLA

AI機(jī)械姬 ? 來源:AI機(jī)械姬 ? 作者:AI機(jī)械姬 ? 2025-02-27 11:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

2 月 24 日,DeepSeek"開源周"正式啟動(dòng),并發(fā)布首個(gè)代碼庫(kù)FlashMLA,引發(fā)全球關(guān)注。

FlashMLA是針對(duì)英偉達(dá)Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核,專為可變長(zhǎng)度序列優(yōu)化設(shè)計(jì),是DeepSeek高效使用算力的核心程序模塊。FlashMLA通過MLA解碼優(yōu)化與分頁KV緩存技術(shù),顯著提升硬件利用率,加速大語言模型解碼過程,有效提高響應(yīng)速度與吞吐量,適用于各種實(shí)時(shí)對(duì)話生成場(chǎng)景。

云天勵(lì)飛芯片團(tuán)隊(duì)在FlashMLA開源后,迅速完成了DeepEdge10 平臺(tái)與FlashMLA的適配工作。在適配過程中,云天勵(lì)飛采用了Op fusion tiling、Online softmax、Double buffer、細(xì)粒度存算并行等先進(jìn)技術(shù),并基于自研的Triton-like編程語言快速開發(fā)驗(yàn)證了高效的FlashMLA算子。通過一系列優(yōu)化,不僅顯著提升了計(jì)算效率,還大幅降低了顯存占用,充分展現(xiàn)了DeepEdge10 平臺(tái)“算力積木”芯片架構(gòu)的卓越優(yōu)勢(shì),以及其與DeepSeek生態(tài)的高度契合性。

今日,云天勵(lì)飛已將相關(guān)代碼提交至開源平臺(tái)Gitee,為開源AI貢獻(xiàn)了重要的技術(shù)力量。

算子的源碼地址為:

https://gitee.com/Intellifusion_2025/tyllm/blob/master/python/tylang/flash_mla.py

DeepEdge10 系列芯片是專門針對(duì)大模型時(shí)代打造的芯片,支持包括 Transformer 模型、BEV 模型、CV 大模型、LLM 大模型等各類不同架構(gòu)的主流模型;基于自主可控的先進(jìn)國(guó)產(chǎn)工藝打造,采用獨(dú)特的“算力積木”架構(gòu),可靈活滿足智慧城市、智慧交通、智能制造、智慧倉(cāng)儲(chǔ)、機(jī)器人、邊緣智算中心等不同場(chǎng)景對(duì)算力的需求,為大模型推理提供強(qiáng)大動(dòng)力。

wKgZPGe_1piAUBg0AAd-aDFnMzU838.png

目前,DeepEdge10 芯片平臺(tái)已成功適配DeepSeek R1 系列模型及國(guó)產(chǎn)鴻蒙操作系統(tǒng)。未來,云天勵(lì)飛將持續(xù)加大研發(fā)力度,推動(dòng)芯片在國(guó)產(chǎn)化領(lǐng)域取得更大突破,為國(guó)產(chǎn)AI生態(tài)建設(shè)貢獻(xiàn)更多力量。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 云天勵(lì)飛
    +關(guān)注

    關(guān)注

    0

    文章

    149

    瀏覽量

    12205
  • DeepSeek
    +關(guān)注

    關(guān)注

    1

    文章

    797

    瀏覽量

    1735
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    摩爾線程全面支持DeepSeek開源成果

    DeepSeek開源周正式收官,作為國(guó)內(nèi)率先原生支持FP8計(jì)算精度的國(guó)產(chǎn)GPU企業(yè),摩爾線程迅速響應(yīng),并在短時(shí)間內(nèi),成功實(shí)現(xiàn)對(duì)DeepSeek各個(gè)開源項(xiàng)目的全面支持,涵蓋
    的頭像 發(fā)表于 03-04 10:06 ?510次閱讀

    摩爾線程完成DeepSeek開源庫(kù)FlashMLA和DeepGEMM適配

    DeepSeek啟動(dòng)“開源”以來,已陸續(xù)開源三個(gè)代碼庫(kù)。摩爾線程基于全新MUSA Compute Capability 3.1計(jì)算架構(gòu),可提供原生FP8計(jì)算能力,同時(shí)升級(jí)了高性能線
    的頭像 發(fā)表于 02-27 14:40 ?556次閱讀

    DeepSeek扔的第二枚開源王炸是什么

    。 DeepSeek在其開源活動(dòng)中連續(xù)扔出了兩枚震撼業(yè)界的“開源王炸”--FlashMLA與DeepEP。 ? 在25日,也就是
    的頭像 發(fā)表于 02-26 11:05 ?792次閱讀
    <b class='flag-5'>DeepSeek</b>扔的第二枚<b class='flag-5'>開源</b>王炸是什么

    沐曦GPU跑通DeepSeek開源代碼庫(kù)FlashMLA

    今日,DeepSeek正式啟動(dòng)"開源"計(jì)劃,首發(fā)代碼庫(kù)FlashMLA一經(jīng)開源即引發(fā)全網(wǎng)關(guān)注。截至發(fā)稿,該項(xiàng)目已在GitHub斬獲超7.2
    的頭像 發(fā)表于 02-25 16:25 ?867次閱讀

    云天勵(lì)DeepEdge200芯片和智能拍攝AI眼鏡 亮相國(guó)家博物館“網(wǎng)絡(luò)發(fā)展新圖景成就展”

    篇章,通過實(shí)物展品、影像資料及場(chǎng)景還原,呈現(xiàn)網(wǎng)絡(luò)技術(shù)賦能千行百業(yè)的生動(dòng)實(shí)踐。 云天勵(lì)作為國(guó)內(nèi)邊緣AI領(lǐng)軍企業(yè)參與了此次成就展。在“融合賦能”展區(qū),云天
    的頭像 發(fā)表于 02-24 18:35 ?2299次閱讀

    云天勵(lì)AI技術(shù)為智慧教育注入新動(dòng)能

    2月20日-21日,云天勵(lì)受邀參加“科學(xué)教育?社會(huì)協(xié)同”資源對(duì)接交流活動(dòng)。在會(huì)上,云天勵(lì)全面
    的頭像 發(fā)表于 02-21 14:13 ?616次閱讀

    云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek

    近日,云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek。該一體機(jī)由云天勵(lì)與華為聯(lián)合推出,可以部
    的頭像 發(fā)表于 02-14 11:02 ?958次閱讀

    云天勵(lì)飛上線DeepSeek R1系列模型

    春節(jié)期間,云天勵(lì)芯片團(tuán)隊(duì)完成 DeepEdge10 “算力積木”芯片平臺(tái)與DeepSeek-R1-Distill-Qwen-1.5B、
    的頭像 發(fā)表于 02-06 10:39 ?664次閱讀
    <b class='flag-5'>云天</b><b class='flag-5'>勵(lì)</b>飛上線<b class='flag-5'>DeepSeek</b> R1系列模型

    DeepEdge10芯片成功適配國(guó)產(chǎn)鴻蒙操作系統(tǒng)

    日前,DeepEdge10芯片已成功完成與國(guó)產(chǎn)鴻蒙操作系統(tǒng)的適配工作,標(biāo)志著該芯片在邊緣場(chǎng)景應(yīng)用領(lǐng)域?qū)崿F(xiàn)了供應(yīng)鏈及操作系統(tǒng)層面的全面國(guó)產(chǎn)化安全。 為實(shí)現(xiàn)這一適配,技術(shù)團(tuán)隊(duì)已構(gòu)建起針對(duì)鴻蒙操作系統(tǒng)
    的頭像 發(fā)表于 01-24 15:31 ?920次閱讀

    云天勵(lì)DeepEdge10芯片與國(guó)產(chǎn)鴻蒙操作系統(tǒng)完成適配

    日前,DeepEdge10芯片已完成國(guó)產(chǎn)鴻蒙操作系統(tǒng)的適配。目前已構(gòu)建適配鴻蒙的芯片編譯平臺(tái)框架,完成圖形等子系統(tǒng)的適配?;?b class='flag-5'>DeepEdge10
    的頭像 發(fā)表于 01-24 10:14 ?1090次閱讀

    云天勵(lì)收到深空探測(cè)實(shí)驗(yàn)室感謝信

    殷殷之誼,飲水思源。深空探測(cè)事業(yè)與深空探測(cè)實(shí)驗(yàn)室的高質(zhì)量發(fā)展離不開云天勵(lì)的鼎力支持和指導(dǎo)幫助。云天勵(lì)
    的頭像 發(fā)表于 01-14 16:09 ?719次閱讀

    云天勵(lì)聯(lián)合發(fā)布AI智能眼鏡

    近日,云天勵(lì)飛在互動(dòng)平臺(tái)上宣布,公司與閃極科技、LOHO眼鏡品牌攜手合作,共同推出了全新的AI智能眼鏡。這款眼鏡不僅集成了云天勵(lì)自研的大模
    的頭像 發(fā)表于 12-26 11:05 ?1164次閱讀

    云天勵(lì)首款A(yù)I眼鏡正式發(fā)布

    近日,云天勵(lì)與閃極科技、LOHO聯(lián)合打造的AI智能眼鏡正式發(fā)布。該產(chǎn)品搭載云天勵(lì)自研大模型“
    的頭像 發(fā)表于 12-20 16:37 ?708次閱讀

    云天勵(lì)榮獲全國(guó)首個(gè)低空經(jīng)濟(jì)獎(jiǎng)項(xiàng)

    近日,首屆中國(guó)低空經(jīng)濟(jì)產(chǎn)業(yè)博覽會(huì)暨高峰論壇在深圳舉行。大會(huì)頒發(fā)了首個(gè)全國(guó)低空獎(jiǎng),云天勵(lì)榮獲低空創(chuàng)新突破獎(jiǎng)。該獎(jiǎng)項(xiàng)頒發(fā)給在低空經(jīng)濟(jì)領(lǐng)域?qū)崿F(xiàn)了創(chuàng)新突破和創(chuàng)新成果,推動(dòng)低空經(jīng)濟(jì)在技術(shù)裝備、
    的頭像 發(fā)表于 11-17 16:20 ?1091次閱讀

    清華姚班師生訪問云天勵(lì),展望中國(guó)AI發(fā)展未來藍(lán)圖

    日前,清華大學(xué)姚班師生到云天勵(lì)參觀交流。云天勵(lì)董事長(zhǎng)兼CEO陳寧博士攜
    的頭像 發(fā)表于 08-06 09:28 ?1095次閱讀
    清華姚班師生訪問<b class='flag-5'>云天</b><b class='flag-5'>勵(lì)</b><b class='flag-5'>飛</b>,展望中國(guó)AI發(fā)展未來藍(lán)圖