dtom

AI CPU 問返AI野 (都係問grok)

你想知道 AMD Ryzen AI Max+ 395 在運行 Ollama（一個用於本地執行大型語言模型的工具）時是否比其他選項更快。雖然我沒有直接針對 Ryzen AI Max+ 395 和 Ollama 的具體基準數據，但可以根據已知的硬體規格和 Ollama 的運作特性來推測它的表現。
Ryzen AI Max+ 395 是 AMD 在 2025 年推出的 Strix Halo 系列頂級 APU，擁有 16 個 Zen 5 核心（最高頻率 5.1 GHz）、40 個 RDNA 3+ 計算單元的 Radeon 8060S 整合 GPU，以及一個 50 TOPS 的 XDNA 2 NPU。它支援高達 128 GB 的 LPDDR5x-8000 RAM，這對於需要大量記憶體的大型語言模型（LLM）來說非常有利。Ollama 的性能很大程度上取決於硬體的 CPU 運算能力、GPU 加速（如果啟用）以及記憶體頻寬和容量。

可能的表現分析
1. CPU 性能
Ryzen AI Max+ 395 的 16 個 Zen 5 核心在多執行緒任務中表現強大，例如 Geekbench 6.3 多核心測試中得分約為 20,700，與桌面級的 Ryzen 9 9900X 相當。如果 Ollama 主要依賴 CPU 運算，這款處理器的多核心效能應該能提供不錯的速度，尤其是在處理較大的模型時。

2. GPU 加速
Ollama 支援 GPU 加速（例如透過 CUDA 或 ROCm），而 Ryzen AI Max+ 395 的 Radeon 8060S 是目前 AMD 最強大的整合 GPU，擁有 40 個計算單元（2560 個統一著色器）。它的性能據稱可媲美甚至超越 NVIDIA 的 RTX 4050 或 4070 移動版 GPU。如果 Ollama 能有效利用 ROCm（AMD 的 GPU 運算框架）來加速推理，這個整合 GPU 可能會大幅提升性能，尤其是對於支援較大模型的任務。

3. 記憶體優勢
Ryzen AI Max+ 395 的統一記憶體架構（最高 128 GB RAM）是一個潛在的亮點。大型語言模型通常需要大量記憶體，而傳統獨立 GPU（如 NVIDIA RTX 4090）受限於 VRAM（例如 24 GB）。如果模型大小超過 GPU 的 VRAM，就需要將部分運算卸載到系統 RAM，這會減慢速度。相比之下，Ryzen AI Max+ 395 的 128 GB 高速 RAM 能讓更大的模型直接在記憶體中運行，減少這種瓶頸。

4. NPU 的作用
50 TOPS 的 XDNA 2 NPU 專為 AI 工作負載設計，但目前不清楚 Ollama 是否能直接利用 NPU 進行推理。如果可以，NPU 可能會進一步加速特定運算（例如 INT8 推理），不過這需要軟體支援。

與其他硬體比較

對比 NVIDIA RTX 4090

有報導稱 Ryzen AI Max+ 395 在運行 Llama 3.1 70B-Q4 模型時比 RTX 4090 快 2.2 倍。這可能是因為它的 128 GB RAM 能完全容納模型，而 RTX 4090 的 24 GB VRAM 不足以應付，導致需要頻繁使用系統 RAM（速度較慢）。不過，這種比較可能針對特定場景（例如長提示或記憶體密集型任務），在 GPU 完全適用的情況下（例如模型完全裝入 VRAM），RTX 4090 的原始運算能力仍可能領先。

對比其他 CPU（如 Ryzen 9 7950X）
與傳統 CPU（如 Ryzen 9 7950X，16 核 Zen 4）相比，Ryzen AI Max+ 395 的 Zen 5 架構提供約 16% 的 IPC 提升，加上更高的記憶體頻寬（LPDDR5x-8000），在純 CPU 運算中應該更快。如果再加上 GPU 或 NPU 加速，差距會更明顯。

結論
Ryzen AI Max+ 395 在運行 Ollama 時應該比許多傳統 CPU 系統更快，尤其是在記憶體需求較高的情況下。與高階獨立 GPU（如 RTX 4090）相比，它的優勢可能體現在記憶體容量和統一架構上，而非純粹的運算速度。如果 Ollama 能充分利用它的 GPU 或 NPU，那麼性能可能會非常出色。但具體快多少，還需要實際基準測試來確認，因為這取決於模型大小、量化程度（例如 Q4 或 Q8）以及 Ollama 的軟體優化程度。
如果你有特定的 Ollama 使用場景（例如模型大小或硬體配置），可以提供更多細節，我可以幫你進一步分析！

暴走呆喵

AI CPU 問返AI野 (都係問grok)

你想知道 AMD Ryzen AI Max+ 395 在運行 Ollama（一個用於本地執行大型語言 ...
dtom 發表於 2025-2-25 09:12

雖然想買ai 395 notebook
但係佢嘅定價 最少10000-15000先有
希望會減返少少啦 想買純cpu嘅notebook

呢粒嘢好夠造 算係notebook cpu嘅頂級
Gpu又快 唔使再配多個 gpu 成部機故障率會少好多
因為gaming 好多時都係壞gpu 或者vram..

via HKEPC IR 5.1.14 - Android(5.1.2F)

javacomhk

AI CPU 問返AI野 (都係問grok)

你想知道 AMD Ryzen AI Max+ 395 在運行 Ollama（一個用於本地執行大型語言 ...
dtom 發表於 2025-2-25 09:12

    AMD 的GPU 執行LLM先用得，認真的微調或開發 AI model 都係要用返 Nvidia GPU 架啦！Nvidia 的VRAM 快啲架嘛，同埋最緊要係Nvidia GPU 有CUDA 加速運算支援，一張4090 唔夠 VRAM 咪行2張囉，或者再比多的錢買H100，

dtom

大有大玩, 細有細玩啫, 砌部 ITX 做 local ai 都好
ai model update 咁快,個個月都唔同晒
好多 model 都係卡係 VRAM 度無得試
用 Ryzen AI Max+ 395 可能係玩得過既配搭

H100 TDP of 350W 都仲好啲
4090 TDP 616W, 仲要打孖, 真係要1500W牛喎 ( Link )

真係要獨立拖一條線比電腦先掂
我屋企真係奶過野, 有人微波爐丁緊野食, 又有人啱啱沖完涼吹頭, 跟住聞有到啲燒膠味...

s84292

雖然想買ai 395 notebook
但係佢嘅定價 最少10000-15000先有
希望會減返少少啦 想買純cpu嘅notebook

呢 ...
暴走呆喵 發表於 2025-2-25 10:39

易唔易壞呢D就⋯⋯有冇諗過會成粒SOC瓜
AMD 4系5系 NOTEBOOK CPU災情仍在持續發生中
（1-2年後就會間歇性死機同唔穩定，而且係大量不同牌子的個案。解決方法都係要重焊粒新CPU上去）

建議都係買足5年保買個心安理得

暴走呆喵

易唔易壞呢D就⋯⋯有冇諗過會成粒SOC瓜
AMD 4系5系 NOTEBOOK CPU災情仍在持續發生中
（1-2年後就會 ...
s84292 發表於 2025-2-26 01:51

而家咁平 壞咗就算囉
就算我部14x 我預玩兩至三年 壞咗就買新
駛鬼加保養咩 用咁耐電腦有乜嘢未見過
十年前我就好似某啲人咁樣驚乜驚乜
用咗咁多年筆電睇化曬
由Sony vaioZ hp workstation 玩到而家用平嘢算
有乜嘢未見過？

最重要都係入面啲data
Ssd可以拆走㗎嘛

至於amd 我記得四至七代都有問題
四至六代就低負載會bs
7代就積熱
暫時八代就冇再出現問題

via HKEPC IR 5.1.14 - Android(5.1.2F)

usei

回覆 14# dtom

牆上插頭單一13A
後面電廂要睇 share 幾多 (30A ?)

冷氣機/熱水爐 通常有自己一組唔洗 share