kcthomlau

回覆  kcthomlau

仲可以咁玩
宜家部机食唔晒双模型 双卡咁样行有咩用处?

另外想问下MOE技术可以 ...
Sinair 发表于 2026-10-10 09:16

我系strix halo即系amd max+395外接5080m
核显8060s跑halogen版flash next已经有1400prefill, 35decode
外接卡vram可以食晒bonsai2 27b 1800prefill, 平均2百几decode(写code可以4百几）
即系可以一部机同时两个模型


其实moe都唔系万能
Flash next每次只读取6b专家呢样野可以系个大缺点
如果跑专业知识AI Benchmark当然劲
但实际工作要做得好，好多时系需要识好多唔同既野
例如修一个bug既推理复杂程度需要最少7b专家先至做到
咁6b系会fail
但系dense 27b可能直接解决
所以我认为系要同时有两种模型
亦都方便开多啲任务



BTW新野又嚟架
有人将GLM5.3 Flash整到好似flash next咁有一部份放入ssd用
Github好似叫maya
問過AI就算GLM5.3 Flash 320b咁大
如果有人好似Bonsai咁用三值化由零開始蒸餾訓練係可以壓縮成80gb以下
就算唔拆一部份擺喺ssd
128gb統一內存要用絕對有可能

godofcomputer

得9token就慢咗啲。其實直接畀錢玩API咪算囉(v4 flash好平）， 等跌價先再玩返local ai

Sinair

回覆 41# kcthomlau

我將FLASH NEXT放入DEEPSEEK HARNESS到用 無得調思考模式
原本2分鐘做完1次嘅野佢卡我1個鐘都做唔完
40分鐘會用完晒D TOKEN 但HARNESS 1個鐘都未用完D TOKEN

之前用BIONIC+GEMMA 4 26B A4B QAT / QWEN 3.5 9B都唔會咁
宜家卡死左係到唔知點解決

godofcomputer

回覆  kcthomlau

我將FLASH NEXT放入DEEPSEEK HARNESS到用 無得調思考模式
原本2分鐘做完1次嘅野佢卡我1 ...
Sinair 發表於 2026-10-11 17:58

咪試下用Claude, Codex，Zcode之類,

Qwen嘅model，應該最兼用用返qwen coder

可能根本係量化過度

Sinair

回覆 44# godofcomputer

見人話HARDNESS好用 又好多教學 咪試下 結果D教學剩係教安裝 一遇到問題全部都幫唔到手
BIONIC我以為已經唔好用 點知HARDNESS個界面仲唔好用

我研究下依幾個先 全部都唔識 搞唔掂再返黎求救

ckmakit

qwen flash next 可以跑得好快係架構問題， QFN有個n-gram lookup table，可以放係SSD。deepseek v4 flash ...
godofcomputer 發表於 2026-10-10 17:56

我都岩岩由27b轉緊去strata qwen iq4xs
50-70tok/s 夠晒用
（v100 32g,ddr4 96gb)

kcthomlau

回覆  kcthomlau

我将FLASH NEXT放入DEEPSEEK HARNESS到用 无得调思考模式
原本2分钟做完1次嘅野佢卡我1 ...
Sinair 发表于 2026-10-11 17:58

问dsh点调thinking
dsh好似係無審查agent
就算用uncensored模型
Wb叫佢抄人個軟件都唔做
Z code會check下有無講明唔俾reverse engineering

kcthomlau

之前试过唔错既ornith1.5原来仲改进紧
依家俾佢玩到tg过千
https://huggingface.co/jcbtc/Orn ... ent-vllm-strix-halo
我開始覺得strix halo好過dgx spark

abcjerry

寫小說還是GEMINI吧,,本地模型寫的都很垃圾

Sinair

回覆 49# abcjerry

天馬行空叫佢GEN晒全部野 一定有差距
但如果自己PROVIDE創意 用規則檔同風格檔限制AI 其實寫出黎唔會相差好多

創意如果諗唔到 可以用API免費QUOTA GEN
只要有大方向 一日免費QUOTA都夠GEN幾個創意橋段
然後用本地不停洗大綱 洗到滿意先再EXTEND 一個橋段用黎GEN 3000+字數 一日都更到過萬字

咁做法好過用小說AGENT一次寫晒幾十萬字出黎 好難修改返轉頭