godofcomputer

量化過度嘅MODEL，好多時都short short 哋

小木頭

5090 我用 qwen3_8_27b_nvfp4.ninfer 比較好
我用hermes prefill 可以上到4000，decode 100-170
但係strata-unsloth-ud-q4_k_xl prefill 只可以到2500，decode 50-110
最大問題係就算用strata-unsloth-ud-q4_k_xl都有loop的問題，試過佢自己計日字會不停loop
我見reddit可以再快啲，唔知點set strata
不過唯一好處係慳電啲，ninfer吓吓5090都100%full load，strata有啲去咗cpu，但其實時間耐咗又好似冇咩慳到

kcthomlau

https://huggingface.co/llmsforall/Millie-1.1-35B-A3B-Ternary
原來已經有人整左35b-a3b既3值化模型，panther lake b390核顯應該可以試試

kcthomlau

5090 我用 qwen3_8_27b_nvfp4.ninfer 比较好
我用hermes prefill 可以上到4000，decode 100-170
但系strat ...
小木头 发表于 2026-10-12 20:03

Decode似乎有优化空间，有无D.Flash2?

我只係5080m玩Bonsai2 27b 256k上下文都平均過200t/s, 峰值過400

Sinair

回覆 60# wiz123

忘記左可以更新STRATA 我個版本好舊

godofcomputer

5090 我用 qwen3_8_27b_nvfp4.ninfer 比較好
我用hermes prefill 可以上到4000，decode 100-170
但係strat ...
小木頭 發表於 2026-10-12 20:03

    再快都無用喇，GEN啲垃圾出嚟，小MODEL啲質素真係馬馬哋

Sinair

回覆 60# wiz123

更新0.1.43.1後測試 平均速度慢左少少 CPU溫度低左幾度
但用盡128K之後 成品效果好過更新前好多
內容多左 完全達成我所有要求 試左一次暫時未見到BUG
但見佢測試用左好多TOKEN 最後停左係測試放大縮細解像度 應該係尾聲
我諗再多少少TOKEN就能完成個PROJECT

THINK唔THINK宜家都無理佢 我剩係想花應有嘅TOKEN做到應有嘅野

16+64 IQ3_XXS 開128K我見實際上VRAM剩1GB RAM剩7GB幾 應該可以再SET進取D?

kcthomlau

刚试由halogen换strata跑flash next
Prefill由1700变到得1300
但系decode由35变73
仲研究紧加速

另外智谱出左GLM5.3 highspeed
Decode飞昇到490t/s
似乎又有新技术

wiz123

llama.cpp 前幾日加左功能可以用 --moe-cache-mib， deepseek快左1倍, Q4有15tok/s, Q2有30tok/s

小木頭

玩咗陣strata-nvfp4，用qwen3.8-flash-next-gptq-nvfp4，速度比得上qwen3_8_27b_nvfp4.ninfer， 616 requests · 15,827,860 prompt tokens read at 6,096 tok/s (4,262,830 reused) · 355,081 written at 112.1 tok/s，起碼冇loop，但係唔知點解官方可以去到170 tok/s