時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

AMD顯示卡可以本地玩DeepSeek了!附簡單部署教程

2025-02-09 18:35:17

快科技2月9日訊息,DeepSeek火得一塌糊塗,國內外的相關企業都在積極適配支援,而對於AI大模型來說,使用GPU執行無疑是最高效的,比如AMD,無論是Instinct加速卡還是Radeon遊戲卡,都已經適配到位。

你只需要任意一塊AMD RX 7000系列顯示卡,就可以在本地體驗DeepSeek。

AMD Radeon遊戲卡本地部署DeepSeek非常簡單,只需開啟AMD官網(中英文均可),搜尋"15.1.1",進入第一個結果,下載AMD Adrenalin 25.1.1測試版驅動,安裝並重啟。

直接下載地址:

https://www.amd.com/zh-cn/resources/support-articles/release-notes/RN-RAD-WIN-25-1-1.

然後開啟LM Studio官網網站的銳龍專欄(https://lmstudio.ai/ryzenai),並下載LM Studio for Ryzen AI安裝包,安裝並執行。

啟動之後,點選右下角設定(可選中文語言),找到並開啟"Use LM Studios Hugging Face"這個選項。

回到主介面,在左側選單欄點選搜尋圖示,輸入"DeepSeek R1",就可以看到已經訓練好的各種DeepSeek模型。

至於如何選擇,可以參考如下的AMD官方推薦列表,比如旗艦級的RX 7900 XTX可以支援到32B引數,主流的RX 7600則僅支援8G模型。

然後下載合適的模型,在主介面上方選擇已下載的模型,然後調高"GPU Offload"的數值,不同選項的具體含義可自行搜尋或者直接詢問DeepSeek。

模型載入完畢後,就可以盡情地在本地體驗DeepSeek了。

與此同時,AMD Instinct GPU加速卡也已經部署整合DeepSeek V3模型,並最佳化了SGLang效能,支援完整的671B引數,開發者可以藉助AMD ROCm平臺快速、高效地開發AI應用。

1、啟動Docker容器

docker run -it --ipc=host --cap-add=SYS_PTRACE --network=host

--device=/dev/kfd --device=/dev/dri --security-opt seccomp=unconfined

--group-add video --privileged -w /workspace lmsysorg/sglang:v0.4.2.post3-rocm630

2、開始使用

(1)、使用CLI登陸進入Hugging Face。

huggingface-cli login

(2)、啟動SGLang Server,在本地部署DeepSeekV3 FP8模型。

python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V3 --port 30000 --tp 8 --trust-remote-code

(3)、伺服器啟動後,開啟新的終端,傳送請求。

curl http://localhost:30000/generate

-H "Content-Type: application/json"

"text": "Once upon a time,",

"sampling_params": {

"max_new_tokens": 16,

"temperature": 0

3、基準測試

export HSA_NO_SCRATCH_RECLAIM=1

python3 -m sglang.bench_one_batch --batch-size 32 --input 128 --output 32 --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code

python3 benchmark/gsm8k/bench_sglang.py --num-questions 2000 --parallel 2000 --num-shots 8

Accuracy: 0.952

Invalid: 0.000

另外,如果需要BF16精度,可以自行轉換:

cd inference

python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights

熱門資訊
  • xMEMS實驗室的固態微型揚聲器縮小了開放式耳機的全音域音效尺寸 | 2024-11-24 02:38:35
  • AMD Ryzen 9 9950X3D與9900X3D 3D V-Cache CPU將於明年1月下旬釋出 | 2024-11-24 02:48:57
  • IBM Power11 CPU將於2025年釋出 準備工作已在進行 | 2024-11-24 02:59:27
  • 試飛成功!-40℃到60℃,都能穩定工作 | 2024-11-24 04:05:40
  • 我國首條規模化民航輪胎生產線建成投產 | 2024-11-24 04:13:15
  • RTX 5090 使用了自 RTX 2080 Ti 以來最大面積的晶片 | 2024-11-24 04:48:45
  • Nature子刊:哈獸研、生物物理所合作揭示非洲豬瘟病毒轉錄天然複合物的結構與調節機制 | 2024-11-24 05:25:07
  • 四川大學丁明明/付維力《自然·通訊》:氧化還原響應多色發光聚合物用於骨關節炎診療一體化 | 2024-11-24 06:24:02
  • 很難想象,這些機械動物是在什麼精神狀態下做出來的…… | 2024-11-24 06:35:03
  • 蛋白質設計再突破!麻省理工團隊利用AI與梯度最佳化開發新策略 | 2024-11-24 06:57:52
  • 浙江大學李洪軍/王偉林/顧臻/丁元團隊開發細菌輔助療法,增強過繼細胞療法對實體瘤的治療效果 | 2024-11-24 07:24:48
  • NEJM | 確認奧羅普切病毒垂直傳播給未出生嬰兒 | 2024-11-24 07:24:54
  • 俄羅斯駭客透過菊花鏈連線Wi-Fi網路的攻擊方法達到預定目標 | 2024-11-24 07:24:57
  • 湖北大學,首篇Nature Synthesis! | 2024-11-24 07:25:00
  • 量子飛躍:科學家首次揭示單光子的形狀 | 2024-11-24 08:12:09
  • 22位院士齊聚“夢想”號大洋鑽探船共同探討應用前景及未來發展規劃! | 2024-11-24 08:22:53
  • 榮耀耳夾式耳機官網開啟預約:C 形橋設計、純黑配色 | 2024-11-24 09:02:41
  • OPPO Watch 4 Pro 智慧手錶“高爾夫定製版”上線掛網 | 2024-11-24 09:04:14
  • 誰在領跑?運營商前10月資料出爐 | 2024-11-24 09:22:59
  • 香港城大張其春教授/華南師大蘭亞乾《自然·通訊》:透過Te-O-P 鍵製備大尺寸二維/三維共價聚合物單晶! | 2024-11-24 09:27:54
  • 康奈爾大學的創新顯微鏡DEEPscope實現了前所未有的深度和廣域大腦成像 | 2024-11-24 09:28:00
  • “這是中國的非凡機遇,德日遠遠落後了” | 2024-11-24 09:33:24
  • 沈向洋對話黃仁勳:AGI將帶來怎樣的革命性影響? | 2024-11-24 09:33:28
  • 德國工資太高,大眾汽車勞動力成本遠超競爭對手 | 2024-11-24 09:33:31
  • 華為新目標:鴻蒙應用,半年到一年內10萬個 | 2024-11-24 09:40:52
  • 頂流博主怒噴特斯拉無線充電,但他這回真就噴錯了 | 2024-11-24 09:41:04
  • RTX 5090面積比4090暴增22%!成RTX 2080 Ti以來最大晶片 | 2024-11-24 09:56:36
  • 殺瘋了?美國或對華實施新出口禁令,涉200家中國 AI 和晶片企業 | 2024-11-24 10:00:59
  • 賣一臺車虧10萬,蔚來李斌慌不慌? | 2024-11-24 10:03:21
  • 瓦爾基里臺式電腦機箱 VK03-M 開啟預售,首發 299 元 | 2024-11-24 10:06:17
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們