godofcomputer

Coding Plan
kcthomlau 發表於 2026-10-9 14:25

    明白，還以為你行local AI有200+

kcthomlau

唔好用網上面測試 估計有針對優化過

用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩 ...
Sinair 發表於 2026-10-8 07:28

moe整完叫dense debug好過同一模型debug自己

kcthomlau

明白，還以為你行local AI有200+
godofcomputer 發表於 2026-10-9 14:47

本地行Bonsai2 27b就有200t/s
Strata+Ninfer flash next應該都可以接近150t/s

godofcomputer

回覆 33# kcthomlau


   

Sinair

回覆 32# kcthomlau

混合唔同模型用我都有試過 不過要重新LOAD 嫌麻煩 最後就無再試

kcthomlau

回覆  kcthomlau

混合唔同模型用我都有试过 不过要重新LOAD 嫌麻烦 最后就无再试 ...
Sinair 发表于 2026-10-10 07:42

试下叫AI整你一转模型开跑佢自动load
或者食得曬開機就雙模型自動同時load曬
例如strix halo單機load halogen flash next+外置卡vram load bonsai2 27b

Sinair

回覆 36# kcthomlau

仲可以咁玩
宜家部機食唔晒雙模型 雙卡咁樣行有咩用處?

另外想問下MOE技術可以低配備流暢用到高B模型
除左LLM 整片整相D模型理論上係唔係都可以用到MOE?

rickrickchan

QWEN 3.8 flash next 已經好好用, 又輕便好多

wiz123

剛試左最新技術，qwen flash next Ｑ4 由llama.cpp換左strata去run，30toks/s 升到120toks/s, 同一部電腦，但係我最想係deepseek v4 flash加速，得果8toks/s唔知點用好，strata只能加速qwen flash next...

順手試埋ninfer qwen3.8 27b Q4實測唔多店，本來答緊中文繁體，跟住會越來越多簡體，最後簡體都冇埋變晒出英文，flash next Ｑ4冇呢個問題，唔明點解Ｄ人會話qwen3.8 27b好用, 測試時system prompt都打左要中文reply

godofcomputer

剛試左最新技術，qwen flash next Ｑ4 由llama.cpp換左strata去run，30toks/s 升到120toks/s, 同一部電腦， ...
wiz123 發表於 2026-10-10 17:14

qwen flash next 可以跑得好快係架構問題， QFN有個n-gram lookup table，可以放係SSD。deepseek v4 flash 無宜樣嘢。

Qwen 3.8 27b， 可能人家啲水軍吹，點勁點勁， 想多啲人買GPU.