5090+3090+192G DDR5 deepseek V4 flash 有９tok/s

wiz123

大獲，用過deepseek V4 flash番唔到轉頭，
但係好慢
qwen flash next有30tok/s雖然都唔差，但用過更好點番轉頭...

Kin_2012

大獲，用過deepseek V4 flash番唔到轉頭，
但係好慢
qwen flash next有30tok/s雖然都唔差，但用過更好點番 ...
wiz123 發表於 2026-10-7 18:27

真要用唯有買多張 5090

murderfreaker

雖然自己堆係好駛好用

但其實Deekseek token好平，按量用有限錢.

反而係自主魔改model價值大.

BTW
始終得十零token/s太慢

Qwen 3.8 Next flash 5090做到40~110t/s(視乎cache hit)會實用好多

wiz123

真要用唯有買多張 5090
Kin_2012 發表於 2026-10-7 18:31

唸緊買部Ｍ5 ULTRA 256G,
但係好似冇乜２手市場，過２年唔知點放番出去,　要當佢消耗品咁用好似有Ｄ貴

wiz123

雖然自己堆係好駛好用

但其實Deekseek token好平，按量用有限錢.

反而係自主魔改model價值大.

BTW
始終 ...
murderfreaker 發表於 2026-10-7 19:13

真係，如果唔用魔改model不如去online買token用好了平好多, 叫v4寫Ｘ故仔段段幾萬字都得，而且文筆冇其他model可比

godofcomputer

玩V4 flash 至少要2張rtx pro 6000以上（160GB VRAM 以上），先跑到全速。

你得9t/s, 其實畀RAM嘅Bandwidth限制咗

Kin_2012

唸緊買部Ｍ5 ULTRA 256G,
但係好似冇乜２手市場，過２年唔知點放番出去,　要當佢消耗品咁用好似有Ｄ貴 ...
wiz123 發表於 2026-10-7 19:27

理論上 GPU 價錢總有回落的一天， 但短期內都難。

2年後唔知，２手市場唔好諗， 要用就只有買，可用可唔用就睇下佢到的 value 夠唔夠 cover 個 cost 。

murderfreaker

真係，如果唔用魔改model不如去online買token用好了平好多, 叫v4寫Ｘ故仔段段幾萬字都得，而且文筆冇其他 ...
wiz123 發表於 2026-10-7 19:28

我local用Qwen 3.8 Next flash , 淨係任web search唔駛睇住token usage或者google gemini咁慳web access
成件事都唔同哂

小木頭

你哋qwen3.8-flash-next用咩量化

點解我覺得qwen3_8_27b_nvfp4.ninfer 比 qwen3.8-flash-next-unsloth-ud-iq4_xs 好用，更快同唔會loop

Sinair

唔好用網上面測試 估計有針對優化過

用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩者都唔可以一次完全通過 都要二次修改
只可以開中度思考 如果開最高 會用盡上下文長度然後卡死

27B試過 三次修改都唔可以完美運行 但我跑太慢 無再試

本地AGENT有無好推薦? 又快又好用 只需分析股市圖表

BONSAI 2 27B 會唔會跑到AGENT?