99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

軟硬件雙向驅(qū)動 英特爾加速AI on PC落地

looger123 ? 來源:looger123 ? 作者:looger123 ? 2023-08-30 14:23 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

以ChatGPT、Claude2、Stable Diffusion、Midjourney等為代表的生成式AI崛起的背后,是大眾用戶親眼看到了AI技術切實落地到了實際應用之中,并為工作、創(chuàng)作、創(chuàng)意帶來前所未有的效率提升。它與AI1.0時代的卷積神經(jīng)網(wǎng)絡、深度學習等看起來就頗具技術門檻的核心技術相比,顯然更接地氣,更容易為大眾所接受。

毫無疑問,如今的我們正處在人工智能技術發(fā)展的關鍵階段,它正在逐漸滲透到人類生活、工作、學習的方方面面。而生成式AI作為AI宏觀體系中的一次大突破,正以驚人速度改變著自然語言處理、創(chuàng)意生成以及智能助手等領域的實踐落地。而在這個過程中,英特爾作為半導體、軟件、AI等技術領域的領導者和領先者,正以其強大的軟硬件支持,為生成式AI的蓬勃發(fā)展構筑核心生態(tài)。

·硬件:AI普及的關鍵是讓普通電腦也能輕松跑動各種大模型

一般來說,絕大部分AI相關應用的著力點在GPU,因為它擁有強大的并行計算能力和浮點性能。但是此前在大灣區(qū)的一場技術分享會上,英特爾顛覆了我們對于AI計算硬件的認知。

通過構建BigDL-LLM庫的方式,英特爾讓ChatGPT這樣的大語言模型順利運行在了支持AI加速引擎的第12代和13代酷睿處理器平臺上,并通過一系列優(yōu)化使其速度達到了非常流暢的級別。即便是主打續(xù)航、便攜能力的輕薄本,也能在16GB及以上內(nèi)存容量平臺中順利運行最高達160億參數(shù)的大語言模型。而讓普普通通的筆記本電腦都能夠順利支持AI應用,這必然會為AI普及構筑出前所未有的堅實基礎。

此外,BigDL-LLM庫不僅支持ChatGPT一種大語言模型,它還實現(xiàn)了對LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama等多個大語言模型的支持。而且英特爾還提供了易用的LangChain開源框架、Transformers神經(jīng)網(wǎng)絡API接口,并順利支持Windows、Linux操作系統(tǒng),從而為不同平臺的開發(fā)者們也帶來了巨大便利。

此外別忘了,英特爾現(xiàn)在也是高性能GPU領域的參與者,旗下的銳炫GPU不僅擁有應用于大型數(shù)據(jù)中心、服務器領域的產(chǎn)品,在消費市場落地的銳炫A系列顯卡同樣能夠為生成式AI應用提供可靠的算力支持。因此在Stable Diffusion、Midjourney這樣的需要GPU算力的圖像生成式AI應用領域,英特爾同樣能夠提供“專業(yè)對口”的硬件支持。如臺式機端的13代酷睿i7-13700K處理器加上銳炫A770獨顯,就能夠非常高效地運行Stable Diffusion。

·軟件:積極擁抱AI社區(qū)通過軟件優(yōu)化提升AI應用體驗

如果說硬件為應用落地構建了基礎,那么軟件就是如何在基礎之上構建高樓,而軟件層面的優(yōu)化,則是考慮如何讓“高樓”從毛坯變成精裝。

一直以來,英特爾在軟件領域的投入都十分令人矚目。通過精心構建軟件生態(tài),優(yōu)化模型性能,英特爾為生成式AI在個人電腦端的應用創(chuàng)造了有利條件。

英特爾積極擁抱AI社區(qū),通過基于OpenVINO PyTorch后端的方案,使得開源模型能夠在英特爾的客戶端處理器、集成顯卡、獨立顯卡和專用AI引擎上順暢運行。

同樣以生成式AI應用中最火的圖形視覺領域為例,英特爾開發(fā)了一套專門的AI框架,它可以在開啟OpenVINO加速的情況下,僅通過一行代碼的安裝,就可以加速PyTorch模型運行。此時,就可以讓Stable Diffusion Automatic1111 WebUI在集成顯卡和銳炫獨立顯卡上流暢運行。

wKgaomTu4EmAKS5pAACrFB7gZrg988.png

我們在一臺13代酷睿i7-13700H處理器+銳炫Xe核顯機器上試著讓Stable Diffusion生成一張圖片,所提的需求并未太過復雜,總體耗時為44秒,完成速度算是相當快的了,畢竟這是在移動平臺的核顯上做的圖片渲染和生成。

wKgZomTu4EqAKU8EAAE2OWcOpgg935.png

目前,單單是96EU的銳炫Xe核顯,就可以支持在Stable Diffusion上運行FP16精度的模型,從而快速生成高質(zhì)量圖片,為內(nèi)容創(chuàng)作、視覺創(chuàng)意提供便利。

從這一案例可以看出,無論是文字生成圖片還是圖片生成圖片,英特爾通過軟件優(yōu)化、模型優(yōu)化,將模型對硬件資源的需求盡可能降到最低,從而提升模型的推斷速度,確保那些以往需要高性能顯卡才能運行的開源模型能夠在個人電腦上也能高效運行,這對于AI應用普及同樣是意義非凡。

·英特爾大語言模型應用落地12代、13代酷睿電腦全部支持

在8月18日舉辦的大灣區(qū)技術分享會上,英特爾還進一步展示了其軟硬件體系在大語言模型應用方面的實際表現(xiàn)。通過集成了ChatGLM2、LLa MA2和Star Coder三個大語言模型的英特爾大語言模型應用Demo,成功展示了這些大語言模型在中文和英文應用方面的表現(xiàn)。

比如我們通過它詢問了“AI在PC領域上的應用”,它的首次響應延遲只有215.3ms,也就是在提交問題到AI識別問題,再到開始生成問題答案的過程只有215.3ms,可以說是非常迅速。

wKgZomTu4EqAZOCyAACS9OJIJnk280.png

此外可以看到,這款軟件集成了中文、英文、代碼三種語言環(huán)境,對應功能的指向性也很明確。聊天、情感分析、中文翻譯、故事創(chuàng)作等等,可以說是涵蓋了大語言模型的常見應用。這樣的分類可以幫助用戶更加明確地向AI提出需求,而如何明確、正確提出需求,本身也是目前AI應用中的難點之一。

我們也試著向AI提出了“和女朋友吵架了怎么哄她”的情感分析需求,首次響應時間為249.8ms,比上一個問題響應慢一些,可見和女朋友的情感問題擺在AI面前,它也需要多加思考一番。

wKgaomTu4EqAQiHNAABhHzR-4pc687.png

英特爾借助軟件端優(yōu)化和量化操作,使得大語言模型在進行回答時能夠以非常快的速度生成答案,并且不影響整機使用流暢性,這同樣也是AI應用普及的重要一步。目前英特爾已經(jīng)發(fā)布了這套Demo,任何搭載英特爾12代和13代酷睿的電腦都可以直接安裝并進行體驗。

·英特爾:AI on PC的核心賦能者

英特爾不僅僅是AI技術的提供者,更是讓AI on PC從“PPT”走向?qū)嶋H落地的核心賦能者。

借助支持AI加速引擎的12代、13代酷睿處理器,借助具備高效浮點性能的銳炫GPU等強力硬件,并且快速推出英特爾大語言模型應用Demo以及通過后端優(yōu)化和OpenVINO加速來更好地支持Stable Diffusion圖形視覺領域的AI應用,AI借助PC實現(xiàn)全面普及只是時間問題。

現(xiàn)階段,大眾用戶對于生成式AI應用的使用意愿極為強烈,因為它確實能夠解決很多實際問題。如提升辦公效率、提供輔助設計和創(chuàng)意理念等等,這些應用能夠徹底改變?nèi)祟惉F(xiàn)階段的工作、生活方式,激發(fā)人們在創(chuàng)作、創(chuàng)意層面的靈感,而硬件性能強大的電腦無疑是最佳載體。

除了已經(jīng)發(fā)布的第12代與13代酷睿之外,英特爾下一代Meteor Lake處理器也將進一步強化對于AI的底層支持,專門設計的NPU將為AI應用帶來更加高效的體驗。

在生成式AI集中落地的大潮中,英特爾是一個不可或缺的關鍵因素。從強勁性能的硬件支持到模型優(yōu)化的軟件技術,英特爾為生成式AI的發(fā)展提供了全方位支持。在英特爾的引領下,生成式AI與PC將實現(xiàn)驚人的化學反應,為人類帶來更智能、更富創(chuàng)意PC使用體驗。

文章來源:中關村在線

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19896

    瀏覽量

    235286
  • 英特爾
    +關注

    關注

    61

    文章

    10196

    瀏覽量

    174705
  • AI
    AI
    +關注

    關注

    88

    文章

    35164

    瀏覽量

    280019
  • ChatGPT
    +關注

    關注

    29

    文章

    1590

    瀏覽量

    9111
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    英特爾銳炫Pro B系列,邊緣AI的“智能引擎”

    2025年6月19日,上海—— 在MWC 25上海期間,英特爾展示了一幅由英特爾銳炫? Pro B系列GPU所驅(qū)動的“實時響應、安全高效、成本可控”的邊緣AI圖景。
    的頭像 發(fā)表于 06-20 17:32 ?340次閱讀
    <b class='flag-5'>英特爾</b>銳炫Pro B系列,邊緣<b class='flag-5'>AI</b>的“智能引擎”

    直擊Computex2025:英特爾重磅發(fā)布新一代GPU,圖形和AI性能躍升3.4倍

    5月19日,在Computex 2025上,英特爾發(fā)布了最新全新圖形處理器(GPU)和AI加速器產(chǎn)品系列。包括全新英特爾銳炫? Pro B系列GPU——
    的頭像 發(fā)表于 05-20 12:27 ?4471次閱讀
    直擊Computex2025:<b class='flag-5'>英特爾</b>重磅發(fā)布新一代GPU,圖形和<b class='flag-5'>AI</b>性能躍升3.4倍

    英特爾發(fā)布全新GPU,AI和工作站迎來新選擇

    英特爾推出面向準專業(yè)用戶和AI開發(fā)者的英特爾銳炫Pro GPU系列,發(fā)布英特爾? Gaudi 3 AI
    發(fā)表于 05-20 11:03 ?1514次閱讀

    2025英特爾人工智能創(chuàng)新應用大賽正式啟動

    近日,2025英特爾人工智能創(chuàng)新應用大賽(以下簡稱“大賽”)正式啟動。本屆大賽以“‘碼’上出發(fā),‘芯’創(chuàng)未來”為主題,在賽制、規(guī)模、獎項和賽事支持上實現(xiàn)多重升級,為開發(fā)者和企業(yè)提供展示創(chuàng)意和成果的廣闊平臺,鼓勵他們充分利用英特爾及合作伙伴豐富的
    的頭像 發(fā)表于 04-02 15:24 ?556次閱讀

    英特爾發(fā)布最強大的商用AI PC產(chǎn)品陣容

    在2025年世界移動通信大會(MWC 2025)上,英特爾發(fā)布了該公司迄今為止最強大的商用AI PC產(chǎn)品陣容,搭載了英特爾 酷睿 Ultra 200V、200U、200H、200HX和
    的頭像 發(fā)表于 03-08 09:28 ?649次閱讀

    英特爾2024產(chǎn)品年鑒:AI軟硬件的融合發(fā)展

    潛力,并攜手廣泛的生態(tài)合作伙伴促進應用落地。具體而言,2024年英特爾軟硬件產(chǎn)品及生態(tài)方面主要取得了以下進展: 12月 英特爾發(fā)布代號為Battlemage的全新 銳炫B系列顯卡 。
    的頭像 發(fā)表于 12-31 17:28 ?441次閱讀
    <b class='flag-5'>英特爾</b>2024產(chǎn)品年鑒:<b class='flag-5'>AI</b>與<b class='flag-5'>軟硬件</b>的融合發(fā)展

    英特爾與扣子云平臺合作推出AI PC Bot專區(qū)與端側插件商店

    。 Coze-AIPC是扣子云平臺與英特爾聯(lián)合發(fā)布的增強版智能體開發(fā)平臺,它深度整合了英特爾AI PC的端側能力與扣子云平臺的優(yōu)勢。通過扣子云平臺創(chuàng)新的“端插件”機制,
    的頭像 發(fā)表于 12-27 14:11 ?1022次閱讀

    使用英特爾AI PC為YOLO模型訓練加速

    之后,情況有了新的變化,PyTorch2.5正式開始支持英特爾顯卡,也就是說,此后我們能夠借助英特爾 銳炫 顯卡來進行模型訓練了。
    的頭像 發(fā)表于 12-09 16:14 ?1598次閱讀
    使用<b class='flag-5'>英特爾</b><b class='flag-5'>AI</b> <b class='flag-5'>PC</b>為YOLO模型訓練<b class='flag-5'>加速</b>

    英特爾構建AI PC新平臺,引領AI應用新生態(tài)

    PC產(chǎn)品和解決方案,展現(xiàn)了技術卓越性和全棧生態(tài)優(yōu)勢。在AI PC問世一周年之際,英特爾持續(xù)深耕生態(tài)并與全產(chǎn)業(yè)鏈共同推動AI
    的頭像 發(fā)表于 12-05 09:09 ?757次閱讀

    英特爾發(fā)布全新企業(yè)AI一體化方案

    近日,英特爾正式推出了全新的企業(yè)AI一體化方案。該方案以英特爾至強處理器和英特爾Gaudi 2D AI
    的頭像 發(fā)表于 12-03 11:20 ?596次閱讀

    英特爾發(fā)布全新企業(yè)AI一體化解決方案

    加速器等先進硬件。此外,它還結合了OPEA開放軟件平臺,確保了方案的靈活性和兼容性。 作為該方案的首個落地實踐,英特爾攜手新華三共同發(fā)布了新華三AIGC靈犀一體機。這款一體機充分利用了
    的頭像 發(fā)表于 12-02 10:48 ?919次閱讀

    英特爾目標明年出貨1億臺AI PC

    英特爾近日宣布,其目標是在明年實現(xiàn)1億臺AI PC的出貨,相較于2024年4000萬臺的出貨目標,實現(xiàn)了150%的大幅增長。這一雄心勃勃的目標展示了英特爾
    的頭像 發(fā)表于 10-31 17:07 ?604次閱讀

    英特爾計劃明年AI PC出貨一億臺

    目標相較于原先2024年4000萬臺的目標有了大幅提升。這些AI PC將由英特爾AI處理器驅(qū)動,其中大部分將基于去年年底推出的Meteor
    的頭像 發(fā)表于 10-31 14:26 ?893次閱讀

    英特爾攜手百度智能云加速AI落地

    在2024年9月25日-26日舉辦的2024百度云智大會上,作為大會的聯(lián)合主辦方,英特爾帶來了AI全棧軟硬件方案,深入講解了如何基于英特爾 至強 處理器和新一代極具性價比的
    的頭像 發(fā)表于 10-12 10:08 ?855次閱讀

    英特爾軟硬件構建模塊如何幫助優(yōu)化RAG應用

    軟硬件構建模塊如何幫助優(yōu)化RAG應用,在簡化部署和支持擴展的同時,增強其上下文感知能力和實時響應性能。 1 為您的應用量身定制GenAI ChatGPT的面世改變了AI的發(fā)展格局。企業(yè)爭相利用這項新技術
    的頭像 發(fā)表于 07-24 15:12 ?890次閱讀
    <b class='flag-5'>英特爾</b><b class='flag-5'>軟硬件</b>構建模塊如何幫助優(yōu)化RAG應用