[電腦組合] AI computer config/acceleration card

raywan

想請問下有無人玩/自己屋企host AI server比自己用?
近排因為工作需要,經常要用AI model問/答問題,於是用家中電腦/laptop行一的比較簡單AI model,大部份小型AI model回答速度都好快/好滿意, AI model大約是3~8b token,當轉用比較大型AI model 30b~80b以上AI model,回答速度等同一個90歲老人家一樣,答一篇文章大約要5~10分鐘,可能我部電腦config比較差,5600x, 80GB ram,RTX3050 8GB vram...
想請問下大家除左增加CUDA數量/換RTX 4090以上display card之外,有咩方法可以直接加速AI 生成速度?
打算換9950x 192GB ram,display card,display card考慮轉用radeon display,問過AI model話AMD ROCm 等同CUDA加速效果....
有無其他師兄玩過display card以外AI model accelerator e.g Halio,TPU......
我主要想試下不同AI model相同問題,會有不同方法/技巧回答方式,所以我唔會比錢POE之類買AI service達到相同目的,主要想run下不同ai model學習回答技巧/增長知識
我試過相同AI model響不同cpu上跑,32核的確比16核要快,有沒有cuda display card加速對於小ai model的確有大幫助,但對於超大型ai model >100b token model cuda不算是線性加速,可能個model本身對cuda無做優化,我感覺唔到cuda對超大型ai model有強大加速,y還有,有些ai model 永遠都用唔盡cpu和CUDA 做運算,就算個model 一直運行緊,cpu同cuda都只係load緊一半power做運算,浪費時間同電力去完成一個無優化AI運算,所以先考慮另類ai accelerator

性情中人@yahoo

你似係要做 research 咁去玩個 AI，咁會唔會諗下用返啲真係用黎做 AI 既野？
https://www.nvidia.com/en-in/ai-data-science/workstations/

vinsai

加cpu ram冇用
要買多vram GPU
暫時呢張平
NVIDIA L20 GPU PCIe 48GB  ~$35K

ppkkkp

加cpu ram冇用
要買多vram GPU
暫時呢張平
NVIDIA L20 GPU PCIe 48GB  ~$35K
vinsai 發表於 2025-1-7 10:06

呢張無風扇，RTX a6000好啲

ppkkkp

你個問題唔係cuda唔夠，係vram唔夠搞到GPU要用cpu既ram所以慢左好多，而70b model最少要35GB vram, 所以nvidia單卡應該除左a6000就無其他選擇，之後就係2x4090/3090, 你可以參考下面既網
https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
https://blog.hjc.im/apple-uma-for-llms-problems.html

vinsai

呢張無風扇，RTX a6000好啲
ppkkkp 發表於 2025-1-8 20:21

Release Date
A6000 Oct 2020
L20 Nov 2023

CUDA cores       
A6000  10752       
L20  11776
   

A6000 點樣好D

ppkkkp

Release Date
A6000 Oct 2020
L20 Nov 2023

CUDA cores       
A6000  10752       
L20  11776
   

A6000 點樣好D ...
vinsai 發表於 2025-1-9 08:57

無散熱風扇，要自己DIY散熱

s84292

想請問下有無人玩/自己屋企host AI server比自己用?
近排因為工作需要,經常要用AI model問/答問題,於是用家 ...
raywan 發表於 2025-1-6 17:03

認真，去買部MAC MINI
M4PRO加到64GB RAM ，乜都唔洗升級
或者等NV 部新機仔

但唔打算訓練，純行大模型，都係比月費好過
試唔同模型一樣有CLOUD 服務可以買

另外我諗唔到買AMD 卡做AI的理由
大模型要快NV，要平 APPLE
(APPLE加RAM雖然貴，但佢可以當VRAM用，
NV超過24GB VRAM,唔係1500蚊16GB⋯⋯係每16GB 15000，mini pro 64GB 教育價先14000）

AMD卡除左超算真係冇乜人會AMD消費卡玩AI
（7000系的AI加速器有個花名叫電阻，因為冇用⋯⋯連AMD FSR4都唔支持用7系的AI加速器），
少人用你要搵資料同CONF少好多參考

raylee

想請問下有無人玩/自己屋企host AI server比自己用?
近排因為工作需要,經常要用AI model問/答問題,於是用家 ...
raywan 發表於 2025-1-7 01:03

Wait Nvidia gb10 supercomputer 2025-5 usd3k