raywan

認真，去買部MAC MINI
M4PRO加到64GB RAM ，乜都唔洗升級
或者等NV 部新機仔

但唔打算訓練，純行大模 ...
s84292 發表於 2025-1-20 03:16

64GB ram實在太少了,我現在都用緊80GB ram行llama3.3都差唔多用曬O的RAM
考慮AMD RADEON主要都係便同NV差唔多效能,用到就算,我見坊間都有好多人講zluda代替真正CUDA,仲有未來AMD會出到同RTX差唔多效能既radaeon display card,所以先考慮玩下radeon
https://ollama.com/blog/amd-preview
如果對比spec, MI100 vs A100 MI100又真係又便又快過Nvidia

s84292

64GB ram實在太少了,我現在都用緊80GB ram行llama3.3都差唔多用曬O的RAM
考慮AMD RADEON主要都係便同NV差 ...
raywan 發表於 2025-1-23 14:22

睇SPEC 華為果個仲快呢，錯誤率佢冇寫出黎比你睇
唔好為戰未來比錢，AMD 成日轉陣又唔係咩新鮮事
之前夠話FSR4會支持舊卡同其他廠，結果依家連7系同岩岩出一批APU都冇FSR4支持
到時同你講zluda 2.0要新卡先支持

今年就得9070XT 16GB 一張卡，仲岩岩DELAY到3月後（傳定價太高，但打唔過5070）
最快都2027年先叫有可能返旗艦市場

https://github.com/exo-explore/exo
或者可以試下將幾部機、幾張卡或幾部MAC MINI的RAM合併行llama的開源方案
單台64GB M4PRO MINI其實可以跑Q6的所有llama3.3，Q6 70B set 返上限50GB VRAM就OK

ppkkkp

64GB ram實在太少了,我現在都用緊80GB ram行llama3.3都差唔多用曬O的RAM
考慮AMD RADEON主要都係便同NV差 ...
raywan 發表於 2025-1-23 22:22

radeon你識用linux先好考慮，而家rocm係windows都要經wsl底層行linux先用到，mac機就你自己唔抗拒用mac先好買，如果唔係突然出樣新野好岩行ai，堆mac機就唔知係度做乜，不過mac機都叫做保值既。

ppkkkp

同埋mac mini你唔可以見佢64ram就當佢用得晒64GB做vram，頂盡得48GB，佢要保留一部分做system ram。
不過你需求大過80gb，以性價比黎講，的確2-3部64gb m4pro macmini係暫時最平既選擇。

hkocx

想問下如果行細model, 唔特別買card, 純用內建display card, 係咪mac mini 係最好選擇？ 普通pc 可以買？

via HKEPC IR 5.1.14 - iOS(5.1.1F)

raylee

想問下如果行細model, 唔特別買card, 純用內建display card, 係咪mac mini 係最好選擇？ 普通pc 可以買？

...
hkocx 發表於 2025-2-10 15:24

"細model" eg ?

hkocx

"細model" eg ?
raylee 發表於 2025-2-10 15:34

32B?

我用手機都行到1.5B model

via HKEPC IR 5.1.14 - iOS(5.1.1F)

s84292

想問下如果行細model, 唔特別買card, 純用內建display card, 係咪mac mini 係最好選擇？ 普通pc 可以買？

...
hkocx 發表於 2025-2-10 07:24

如果真係單純RUN，咁黎緊有部AMD APU都可以考慮下
至少加RAM比較便宜，同可以打到128GB （96GB VRAM）