99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗

looger123 ? 來源:looger123 ? 作者:looger123 ? 2025-03-18 12:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

今年春節(jié)后,DeepSeek R1 風暴般地席卷全國,小到手機 App,大到新能源汽車,似乎一夜間所有產品都接入了 DeepSeek R1。不得不說 DeepSeek R1 確實好用,對筆者這種編輯來說,從大綱到審閱,效率有著極大的提升。不過,官方滿血版的 DeepSeek R1 雖然好用,但會經常“掉線”,平均一個小時只能使用一次。第三方的滿血 DeepSeek R1 很少掉線,但涉及隱私或保密數(shù)據時,大家并不放心上傳云端。

于是,很多人萌生自己搭建 DeepSeek R1 的想法。然而滿血版的 DeepSeek R1 模型體積足足有 404GB,遠超一般消費級顯卡的顯存。即使 32B 的蒸餾模型體積也有 20GB。這就對顯卡的性能提出了較高的要求。例如,32GB 顯存的英偉達 RTX 5090 D 公版官方售價為 16999 元,但實際上要多花一萬多元才能買到。

一、配置與部署

那么,有沒有什么經濟實惠且效果不錯的方案呢?聰明的你想到讓多張顯卡協(xié)同工作,不過 AMD 目前的新顯卡已經不支持交火了,英偉達的 SLI 技術也不支持顯存疊加,而 Intel 的 Arc 顯卡不僅支持交火,并且顯存也可以疊加,價格也很實惠,兩張 Arc A770 16GB 價格 3600 元左右,就可獲得 32GB 的大現(xiàn)存。IT之家這次嘗試使用兩張藍戟 Intel Arc A770 Photon 16G OC 進行交火,來配置 DeepSeek R1 32B 的蒸餾模型。其具體配置如下圖:

wKgZPGfY8SqASvLfAABwDQSsQ1c41.jpeg

Intel Arc A770 有 8G 和 16GB 兩個版本,我們選擇的藍戟 Intel Arc A770 Photon 16G OC 配備 16GB GDDR6 顯存,顯存帶寬可達 512GB/s,其擁有 32 個 Xe 核心,最高頻率 2400Mhz。

wKgZO2fY8SqAdRY8AABqVPLigOo29.jpeg

因為是雙卡方案,所以需要留意主板與電源的配置,主板至少需要有兩個 PCIe 顯卡插槽,并且每個插槽必須支持 PCIe 4.0 x8 的傳輸速率。電源方面,單張藍戟 Intel Arc A770 Photon 16G OC 的 TBP 為 285W,兩張顯卡的功耗就要接近 600W。為了保證系統(tǒng)的穩(wěn)定,我們選擇了海韻的 1300W 電源進行測試,這款電源不僅能滿足功率需求,還能滿足兩張顯卡所需的 4 個 PCIe 8Pin 接口。模型我們選擇通過使用 IPEX-LLM 部署在 Linux 上,相比 Window 系統(tǒng)效率會更高一些。

wKgZPGfY8SqAWrdgAABdO7eJe3E40.jpeg

搭建結束后,我們用另一臺電腦局域網訪問后端,在操作時盡量不使用測試電腦進行截圖錄屏,避免無關操作對 GPU 的占用。

wKgZO2fY8SuAXfFPAABFDw2JMvQ10.jpeg

二、性能與效果

因為是 32B 的模型,所以我們直接上強度,讓模型幫我們寫一個 HTML 小游戲。我們首先對模型進行提問:

請用 html 寫個貪吃蛇游戲的代碼,需要包含以下功能:

?使用鍵盤上的上下左右箭頭鍵控制蛇的移動方向。

?蛇會自動向前移動,并在吃到紅色的食物時增長并增加得分。

?當蛇碰到墻壁或自己時,游戲結束并顯示得分。

?點擊“重新開始”按鈕可以重置游戲并重新開始。

游戲規(guī)則:

?蛇不能碰到墻壁或自己,否則游戲結束。

?每吃一個食物,得分增加 10 分。

?食物不會出現(xiàn)在蛇的身體上。

DeepSeek R1 開始分析問題并生成代碼,此時兩張 Arc A770 顯卡的風扇全力運轉,后端顯示 Avg Generation Throughput 可以穩(wěn)定在 26 tokens / s 以上。對比之下,單張 RTX 5090 D 運行 32B 模型的性能大約為 46 tokens / s,而官方不到兩成的價格卻得到了五成以上的性能,這個表現(xiàn)還是很讓人驚喜的。

wKgZPGfY8SuAKM97AADOEl3IYJo88.jpeg

生成后的 HTML 小游戲可以直接預覽運行,我發(fā)現(xiàn)操作有沖突,按上下方向鍵會滾動網頁。

wKgZO2fY8SuAHQrhAAN5HM-_qI8714.gif

于是我提出對代碼進行修改,要求用 A、S、D、W 來代替方向鍵。DeepSeek R1 很精準的理解了我的需求,并完成了修改。

wKgZPGfY8SyAOvnbAABPpDqY6DA41.jpeg

隨后,我要求生成更為復雜的俄羅斯方塊 HTML 代碼,雖說參數(shù)量只有 32B,但 DeepSeek R1 所生成的游戲同樣很完善,幾乎沒有什么 Bug。

wKgZO2fY8SyAYhfxAASrughOLYg746.gif

說到 AI 大模型的邏輯能力測試,那肯定繞不開弱智吧經典問答。我們選擇了兩個問題對雙 A770 搭建的 DeepSeek R1 進行測試:

1、神父去世是離職還是升職?

這種讓人一愣的問題 32B 的 DeepSeek R1 也能從現(xiàn)實與信仰兩種角度出發(fā)給出分析與解釋??梢钥闯?32B 模型的邏輯能力還是很強的,有著極高的可用性。

wKgZPGfY8SyALvFxAABxxNwJIBo96.jpeg

2、變形金剛應該交車險還是人險?

面對二選一的提問,32B 的 DeepSeek R1 并沒有死板的做出選擇,其理解了變形金剛不同形態(tài)的特征給出了兩種保險都買的絕佳選擇。

wKgZO2fY8S2APLXAAAB7QebVhAY92.jpeg

總結:

從測試結果來看,兩張 Intel Arc A770 16GB 顯卡(總計 3600 元)組成的雙卡部署 DeepSeek R1 蒸餾模型的方案確實經濟實惠。通過 IPEX-LLM 工具在 Linux 系統(tǒng)上部署,測試顯示雙 A770 顯卡能穩(wěn)定運行 32B 模型,生成 HTML 小游戲和處理復雜問題時表現(xiàn)優(yōu)異,平均吞吐量達 26 tokens / s,有著不錯的性價比??傮w而言,A770 雙卡低成本部署 DeepSeek 32B 兼具成本、性能和數(shù)據隱私優(yōu)勢,適合中小企業(yè)和個人開發(fā)者。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    10196

    瀏覽量

    174671
  • 顯卡
    +關注

    關注

    16

    文章

    2505

    瀏覽量

    69521
  • 顯存
    +關注

    關注

    0

    文章

    112

    瀏覽量

    13893
  • DeepSeek
    +關注

    關注

    1

    文章

    797

    瀏覽量

    1740
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    瑞薩RZ/V2H平臺支持部署離線版DeepSeek -R1大語言模型

    瑞薩RZ/V2H平臺支持部署離線版DeepSeek -R1大語言模型
    的頭像 發(fā)表于 05-13 17:07 ?806次閱讀
    瑞薩RZ/V2H平臺支持<b class='flag-5'>部署</b>離線版<b class='flag-5'>DeepSeek</b> -<b class='flag-5'>R1</b>大語言<b class='flag-5'>模型</b>

    ORinNano離線部署Deepseek R1模型教程

    ORinNano離線部署Deepseek R1模型教程
    的頭像 發(fā)表于 04-10 15:32 ?487次閱讀
    ORinNano離線<b class='flag-5'>部署</b><b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>教程

    NVIDIA RTX 5880 Ada顯卡部署DeepSeek-R1模型實測報告

    DeepSeek-R1 模型在 4 張 NVIDIA RTX 5880 Ada 顯卡配置下,面對短文本生成、長文本生成、總結概括三大實戰(zhàn)場景,會碰撞出怎樣的性能火花?參數(shù)規(guī)模差異懸殊的 70B
    的頭像 發(fā)表于 03-17 11:12 ?1436次閱讀
    NVIDIA RTX 5880 Ada<b class='flag-5'>顯卡</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek-R1</b><b class='flag-5'>模型</b>實測報告

    RK3588開發(fā)板上部署DeepSeek-R1模型的完整指南

    下載DeepSeek-R1-Distill-Qwen-1.5B權重文件。 (2)安裝轉換工具 在Ubuntu創(chuàng)建虛擬環(huán)境并安裝RKLLM-Toolkit,以便將DeepSeek-R1大語言模型轉換
    發(fā)表于 02-27 16:45

    兆芯全面部署DeepSeek R1模型

    近日,基于兆芯高性能通用處理器的PC終端、工作站以及服務器成功實現(xiàn)DeepSeek-R1-Distill模型(1.5B/7B/32B/70
    的頭像 發(fā)表于 02-25 13:45 ?520次閱讀

    摩爾線程圖形顯卡MTT S80實現(xiàn)DeepSeek模型部署

    摩爾線程“全功能”圖形顯卡MTT S80,不僅游戲渲染性能強大,能玩《黑神話:悟空》,現(xiàn)在還能本地部署DeepSeek R1蒸餾
    的頭像 發(fā)表于 02-21 15:46 ?2204次閱讀
    摩爾線程圖形<b class='flag-5'>顯卡</b>MTT S80實現(xiàn)<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b>

    IBM在watsonx.ai平臺推出DeepSeek R1蒸餾模型

    ,進一步增強企業(yè)在安全、治理以及規(guī)?;?b class='flag-5'>部署方面的能力。 DeepSeek R1是IBM在AI領域的一項重要創(chuàng)新,它采用了蒸餾模型技術,能夠在
    的頭像 發(fā)表于 02-14 10:21 ?520次閱讀

    了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇

    -V3 DeepSeek-R1 勝出方 電路方程求解 處理簡單方程,但對矩陣運算、微分方程等支持有限 通過符號蒸餾技術優(yōu)化,可解析復雜電路網絡方程(如節(jié)點分析法) R1 SPICE代
    發(fā)表于 02-14 02:08

    DeepSeek模型成功部署,物通博聯(lián)在 AI 賦工業(yè)上持續(xù)探索、不斷前行

    和二次開發(fā),DeepSeek R1模型的發(fā)布迅速點燃了AI產業(yè)的革命之火。 DeepSeek R1 通過
    的頭像 發(fā)表于 02-12 11:15 ?732次閱讀

    Deepseek R1模型離線部署教程

    。作為國產AI大數(shù)據模型的代表,憑借其卓越的推理能力和高效的文本生成技術,在全球人工智能領域引發(fā)廣泛關注。 本文主要說明DeepSeek-R1如何離線運行在EASY-EAI-Orin-Nano(RK3576)硬件上, RK3576 具有優(yōu)異的端側AI
    的頭像 發(fā)表于 02-12 09:37 ?1765次閱讀
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>離線<b class='flag-5'>部署</b>教程

    Gitee AI 聯(lián)合沐曦首發(fā)全套 DeepSeek R1 千問蒸餾模型,全免費體驗!

    模型相比,較小尺寸的 DeepSeek 蒸餾版本模型 更適合企業(yè)內部實施部署,可以極大的降低落地成本
    的頭像 發(fā)表于 02-10 09:56 ?705次閱讀
    Gitee AI 聯(lián)合沐曦首發(fā)全套 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> 千問<b class='flag-5'>蒸餾</b><b class='flag-5'>模型</b>,全免費體驗!

    部署DeepSeek R1于AX650N與AX630C平臺

    背景 春節(jié)前,國產大模型 DeepSeek 橫空出世,迅速成為AI領域的焦點。作為端側AI效比優(yōu)異的 AX650N、AX630C 芯片平臺早已在節(jié)前完成 DeepSeek
    的頭像 發(fā)表于 02-09 09:32 ?1095次閱讀
    <b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>于AX650N與AX630C平臺

    壁仞科技順利部署DeepSeek R1千問蒸餾模型

    DeepSeek 的國內算力支持隊伍進一步壯大:來自上海的壁仞科技順利部署DeepSeek-R1-Distill千問蒸餾模型(1.5
    的頭像 發(fā)表于 02-08 16:56 ?1821次閱讀

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務

    。 據悉,DeepSeek開源模型在多語言理解與復雜推理任務中一直表現(xiàn)出卓越的性能,其V3、R1等系列模型更是備受業(yè)界關注。而此次摩爾線程所實現(xiàn)的D
    的頭像 發(fā)表于 02-06 13:49 ?813次閱讀

    云天勵飛上線DeepSeek R1系列模型

    模型、DeepSeek V3/R1 671B MoE大模型在有序適配中。適配完成后,Deep
    的頭像 發(fā)表于 02-06 10:39 ?669次閱讀
    云天勵飛上線<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列<b class='flag-5'>模型</b>