作者: wiz123 時間: 2026-10-7 18:27 標題: 5090+3090+192G DDR5 deepseek V4 flash 有９tok/s
大獲，用過deepseek V4 flash番唔到轉頭，
但係好慢
qwen flash next有30tok/s雖然都唔差，但用過更好點番轉頭...
作者: Kin_2012 時間: 2026-10-7 18:31
大獲，用過deepseek V4 flash番唔到轉頭，
但係好慢
qwen flash next有30tok/s雖然都唔差，但用過更好點番 ...
wiz123 發表於 2026-10-7 18:27
真要用唯有買多張 5090
作者: murderfreaker 時間: 2026-10-7 19:13
雖然自己堆係好駛好用
但其實Deekseek token好平，按量用有限錢.
反而係自主魔改model價值大.
BTW
始終得十零token/s太慢
Qwen 3.8 Next flash 5090做到40~110t/s(視乎cache hit)會實用好多
作者: wiz123 時間: 2026-10-7 19:27
真要用唯有買多張 5090
Kin_2012 發表於 2026-10-7 18:31
唸緊買部Ｍ5 ULTRA 256G,
但係好似冇乜２手市場，過２年唔知點放番出去, 要當佢消耗品咁用好似有Ｄ貴
作者: wiz123 時間: 2026-10-7 19:28
本帖最後由 wiz123 於 2026-10-7 19:31 編輯
雖然自己堆係好駛好用
但其實Deekseek token好平，按量用有限錢.
反而係自主魔改model價值大.
BTW
始終 ...
murderfreaker 發表於 2026-10-7 19:13
真係，如果唔用魔改model不如去online買token用好了平好多, 叫v4寫Ｘ故仔段段幾萬字都得，而且文筆冇其他model可比
作者: godofcomputer 時間: 2026-10-7 20:00
玩V4 flash 至少要2張rtx pro 6000以上（160GB VRAM 以上），先跑到全速。
你得9t/s, 其實畀RAM嘅Bandwidth限制咗
作者: Kin_2012 時間: 2026-10-7 20:10
唸緊買部Ｍ5 ULTRA 256G,
但係好似冇乜２手市場，過２年唔知點放番出去, 要當佢消耗品咁用好似有Ｄ貴 ...
wiz123 發表於 2026-10-7 19:27
理論上 GPU 價錢總有回落的一天， 但短期內都難。
2年後唔知，２手市場唔好諗， 要用就只有買，可用可唔用就睇下佢到的 value 夠唔夠 cover 個 cost 。
作者: murderfreaker 時間: 2026-10-7 20:11
真係，如果唔用魔改model不如去online買token用好了平好多, 叫v4寫Ｘ故仔段段幾萬字都得，而且文筆冇其他 ...
wiz123 發表於 2026-10-7 19:28
我local用Qwen 3.8 Next flash , 淨係任web search唔駛睇住token usage或者google gemini咁慳web access
成件事都唔同哂
作者: 小木頭 時間: 2026-10-7 23:08
你哋qwen3.8-flash-next用咩量化
點解我覺得qwen3_8_27b_nvfp4.ninfer 比 qwen3.8-flash-next-unsloth-ud-iq4_xs 好用，更快同唔會loop
作者: Sinair 時間: 2026-10-8 07:28
唔好用網上面測試 估計有針對優化過
用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩者都唔可以一次完全通過 都要二次修改
只可以開中度思考 如果開最高 會用盡上下文長度然後卡死
27B試過 三次修改都唔可以完美運行 但我跑太慢 無再試
本地AGENT有無好推薦? 又快又好用 只需分析股市圖表
BONSAI 2 27B 會唔會跑到AGENT?
作者: wiz123 時間: 2026-10-8 09:37
唔好用網上面測試 估計有針對優化過
用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩 ...
Sinair 發表於 2026-10-8 07:28
有冇用過QWEN coder, 寫program用番呢D專用LLM應該表現會專業D
作者: Sinair 時間: 2026-10-8 10:22
回覆 11# wiz123
無 我多媒體同數據分析用多
寫CODE唔會成隻GAME一次寫晒 多數CODE都好簡短 再用ENGINE砌埋一齊成GAME
FLASH NEXT已經比3.6 9B同GEMMA 4 26B A4B QAT好好多 暫時夠我用
黎緊可能寫小說/劇本(之前用CHATGPT寫劇本 成本太高)
上網睇話QWEN效果唔好 考慮緊用GEMMA 4 26B A4B QAT/FLASH NEXT
FLASH NEXT 仲研究緊 未試過寫小說 聽聞有破限版 唔知對寫小說/劇本有無幫助
作者: godofcomputer 時間: 2026-10-8 10:42
唔好用網上面測試 估計有針對優化過
用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩 ...
Sinair 發表於 2026-10-8 07:28
local可以跑到又硬體要求唔高咪係deepseek v4 flash, 你有RAM咪用 kimi k2.7 或者 glm 5.3 (要7百多GB， 但速度可能得5t/s）
通常細嘅唔好用，好用嘅又唔會細。 如果你要一次修復到啲BUG咪係要求高，試幾次修復到巳經OK. 易家嗰啲佢自己不斷試唔洗理佢嘅。其實最好方法係買PLAN,唔洗自己有GPU,唔洗搞一論先RUN到，同相對嘅harness一齊用唔會有兼用問題。 除非你要寫甜故或者搞破解先會用local。 宜家kimi k3都好勁，但啲額度會好多用哂之嘛， 搞local AI都係等遲啲硬體平啲先再搞，宜易用PLAN算啦
作者: s84292 時間: 2026-10-8 11:06
真係，如果唔用魔改model不如去online買token用好了平好多, 叫v4寫Ｘ故仔段段幾萬字都得，而且文筆冇其他 ...
wiz123 發表於 2026-10-7 11:28
魔改model都有好多CLOUD API供應商
我有用開，特別是破限的VIDEO 模型
作者: godofcomputer 時間: 2026-10-8 11:57
魔改model都有好多CLOUD API供應商
我有用開，特別是破限的VIDEO 模型
s84292 發表於 2026-10-8 11:06
用破限整動作片？
作者: Sinair 時間: 2026-10-8 12:28
回覆 13# godofcomputer
我得16+64 LOCAL跑唔到V4 FLASH
我唔係要一次修復所有BUG 而係要知道GEN一次 模型嘅極限大概去到邊
PLAN太貴 尢其係測試用 完全回唔到本 純蝕錢 本人財力支撐唔起長期高強度測試
LOCAL開源 未來主要係走精簡同優化
硬體唔知幾時平
就算平到未開始貴嘅價位 要玩到大模型30+TOKEN/S 起始成本都唔會低
作者: Sinair 時間: 2026-10-8 12:29
回覆 15# godofcomputer
用H3整左一堆SAMPLE
不過唔熟依方面 唔知點變現
作者: kenken33 時間: 2026-10-8 14:16
deepseek V4 flash 直接買token好平，不過你要搞破解版行,非合規,私人野一定要行本地就另計
作者: godofcomputer 時間: 2026-10-8 15:09
回覆 godofcomputer
用H3整左一堆SAMPLE
不過唔熟依方面 唔知點變現 ...
Sinair 發表於 2026-10-8 12:29
Hello，你好似之前講過你出過啲片，賺咗好少錢，後悔無買rtx pro 6000跑H3
但我都唔知點變現，如果有渠道賺錢，一定窩蜂去賺。可能過幾年AI泡沫爆破，之後無哂門路錢賺。
咁你咩心得？
作者: godofcomputer 時間: 2026-10-8 15:29
我得16+64 LOCAL跑唔到V4 FLASH
我唔係要一次修復所有BUG 而係要知道GEN一次 模型嘅極限大概去到邊
PLAN太貴 尢其係測試用 完全回唔到本 純蝕錢 本人財力支撐唔起長期高強度測試
LOCAL開源 未來主要係走精簡同優化
硬體唔知幾時平
就算平到未開始貴嘅價位 要玩到大模型30+TOKEN/S 起始成本都唔會低
你測試嘅意思係debug?
未來啲細模型應該越來越好，應該仲有空間去增强， 仲未摸索到最强訓練嘅方法。寫CODE基實唔洗太大模型， 但有大型模型真係有品質保證，但燒錢（用緊KIMI K3 PLAN，幾强下， 好難嘅CODE佢都搞掂，但回唔回到本係另一回事）。
GPU硬體可能要過多兩三年先至會跌，但RAM同SSD嘅高價應該唔會維持得好耐。
以前VSCODE+Cline 再駁local AI (e.g. deepseek R1之類), 咁嘅組合超垃圾。
AI要配harness 先至得（例如好耐之前用claude駁local ai(gpt-oss-120b） 寫個Tetris, 第一次都可以正常跑到）
依家跑AI一定用claude, codex, kimi code, deepseek harness之類嘅程式去跑AI, 壞處咪好燒TOKEN，但AI變得有用同正常好多， 好少有幻覺。仲要可以做好多嘢。
作者: Sinair 時間: 2026-10-8 15:45
回覆 19# godofcomputer
之前係講紅果 食到水尾 提現之後都無再玩
宜家如果你上到熱門 都有錢賺 但唔算暴富 問題係點先上到熱門
上面回覆係講18+果D片 我都唔熟 只係試做左D SAMPLE
無上傳 無收入
(見黃果D級數都有人睇 心諗自己都做到就玩下)
之前聽聞大6有影視平台公司抄紅果 搞左/想搞個新野出黎 果邊政策可能會吸引D 但競爭應該都唔細 可以留意下
紅果就唔搞了 電費都驚蝕埋
最新研究緊AI炒股 嘗試緊搵量化果班友D模式 但仲未有頭緒
AI賺錢只會改變模式 唔會爆破
AI唔會死 同當初科網爆破一樣 互聯網一樣做大 爆破嘅只係某D公司同服務
作者: Sinair 時間: 2026-10-8 15:55
回覆 20# godofcomputer
唔係指DEBUG 係指測試投資策略
我都係用AGENT跑 主要用GEMMA 4 26B A4B QAT
做簡單分析都仲OK 但資料一多 一複雜就好容易出錯 出D唔係我要嘅野
STRATA版FLASH NEXT配咩AGENT好? 我之前只係貪方便用BIONIC
我係LOCAL LLM新手 開始用唔係好耐
作者: godofcomputer 時間: 2026-10-8 16:05
回覆 21# Sinair
多謝你的分享
18+片可能上到外國網站先至有機會賺錢（但唔知香港上傳到外國犯唔犯法?)
用AI炒股嗰啲係呃人嘅。係啲金融佬想引多啲人攞錢投入股市嘅噱頭啫，
嗰啲出片話點用AI炒股，點賺法，根本係呃人嘅。賺到錢嘅話就唔洗出片教人點賺喇（唔通賺夠了？）。 炒股係零和，股票佬根本唔怕散戶同佢哋對賭，佢哋最怕嘅就係無傻散入去同佢哋對賭，無傻仔比佢哋玩狗之嘛，千其唔好信AI可以炒股，一定比人玩死。股票最好策略都係長揸啲長期有息派嘅股，收益率高嗰時入，要有心理準備長揸十幾廿年唔用。無息派、駁升嗰啲股，同你對賭嘅股票佬會不斷沽空， 宜家美債息高，佢哋咪不斷沽空套現入美債同啲老散鬥長命，等老散幾時涯唔住等錢洗要沽返畀佢哋（美股反而息升會不斷升）
作者: godofcomputer 時間: 2026-10-8 16:28
本帖最後由 godofcomputer 於 2026-10-8 16:32 編輯
回覆 godofcomputer
唔係指DEBUG 係指測試投資策略
我都係用AGENT跑 主要用GEMMA 4 26B A4B QAT
做簡單 ...
Sinair 發表於 2026-10-8 15:55
投資策略？backtesting?
你攞技術指標用AI去測試？叫AI寫code測試？咁有咩心得？我覺得唔可行，股票佬開頭畀你賺下，夠鐘會一次過收割哂。所以研究其他嘢仲好，股票佬睇住你副牌嚟出牌嘅。
STRATA我未用過。
我跑local AI, 如果放得落GPU咪用vllm跑，唔放得落嘅我會用sglang+ktransformers.
AGENT唔AGENT應該睇harness嗰個程式，同model本身。
用QWEN嘅MODEL應該用返Qwen coder最好（但我未用過）
作者: Sinair 時間: 2026-10-9 10:53
回覆 23# godofcomputer
18+片內地有黃果 但唔知係犯唔犯法? 對法律無乜認知 所以唔敢搞
我唔係用AI直接炒 我主要用AI研究策略 (TRADING VIEW個功能唔夠準)同分析基本面
市面上教AI炒股有兩種 一種係EA 一種只係ALGO
我用緊兩套策略手炒港股 EA都有用 兩者宜家都無蝕錢
我暫時有兩個研究方向 目的都係跟大戶走得更貼
1 搵突然拉升原因 找出大戶手法
2 優化策略 同一套策略用係唔同股 參數唔一樣 結果會有好大差距 有D會蝕變賺
你有興趣睇YT學下D 賣AI指標/策略 大部份都用TRADING VIEW
TRADING VIEW免費版個策略
我可以玩到某D大型科技股日K圖 獲利交易85%以上 獲利因子9.幾
作者: godofcomputer 時間: 2026-10-9 11:56
回覆 godofcomputer
18+片內地有黃果 但唔知係犯唔犯法? 對法律無乜認知 所以唔敢搞
我唔係用AI直接炒 ...
Sinair 發表於 2026-10-9 10:53
佩服，佩服！
但成日要買賣唔啱我玩，我都係玩啲長揸策略好啲咯。宜家大牛市，其實唔洗出出入入， 趁每次跌一跌，有錢就入多啲咪得囉， 買啲長期有息派，當做定期，長期有收息都幾好，財不入急門，慢慢賺就最好。快錢都係陷阱多，小心為上， 策略要邏輯上講得通，要合理，唔好盲信啲解釋唔到嘅指標，嗰啲係陷阱。
作者: godofcomputer 時間: 2026-10-9 12:10
本帖最後由 godofcomputer 於 2026-10-9 14:59 編輯
回覆 25# Sinair
其實你宜啲AI指標其實大戶都知道，或者根本就係啲大戶放出嚟引人上釣嘅局， 當夠多人跟住指標買賣後，覺得實賺無死，揼哂全副身家落去炒， 到時機成熟大戶就收網，一網打盡，最後宜啲指標會完全失靈，買乜輸乜（因為大戶唔係傻，一定知道宜啲指標，唔會永遠派錢畀老散，佢唔封咗啲漏洞，因為佢等緊多啲人入局。什麼獲利交易有幾高，什麼獲利因子有幾高，全部都唔會永遠，尤其是用歷史數據去預測最易容畀大戶陰到，大戶行法根本唔會比啲歷史數據左右，邊個方向有利就會向嗰個方向對。同埋股票嘅歷史數據根本就非常少）。賭場唔會無端端送錢畀賭仔洗，小心小心 （上年新聞：海龜交易法則作者「60歲淪落成流浪漢」）。
但係就算有宜個情況都有賺錢對策 ，就係少人用宜個指標就用， 多人用就唔用，就撤退，重點就係點知道幾時大戶想收網
作者: kcthomlau 時間: 2026-10-9 13:00
本帖最後由 kcthomlau 於 2026-10-9 14:32 編輯
我用過GLM5.3 flash就返唔到DS V4 Flash
試過200t/s返唔到20t/s
但係4.1Flash又再比GLM好用
可惜本地跑Flash Next以上既模型都太慢
依家單機STRIX-HALO跑FLASH NEXT已經可以用,仲可以開512K上下文
[attach]2542961[/attach]
智力測試
[attach]2542970[/attach]
作者: godofcomputer 時間: 2026-10-9 13:32
我用過GLM5.3 flash就返唔到DS V4 Flash
試過200t/s返唔到20t/s
但係4.1Flash又再比GLM好用
可惜本地跑Flas ...
kcthomlau 發表於 2026-10-9 13:00
你個GLM用Q幾模型？
作者: kcthomlau 時間: 2026-10-9 14:25
你個GLM用Q幾模型？
godofcomputer 發表於 2026-10-9 13:32
Coding Plan
作者: godofcomputer 時間: 2026-10-9 14:47
Coding Plan
kcthomlau 發表於 2026-10-9 14:25
明白，還以為你行local AI有200+
作者: kcthomlau 時間: 2026-10-9 14:51
唔好用網上面測試 估計有針對優化過
用STRATA行 FLASH NEXT試過IQ3XXS IQ3S
寫簡單有要求麻雀遊戲代碼 兩 ...
Sinair 發表於 2026-10-8 07:28
moe整完叫dense debug好過同一模型debug自己
作者: kcthomlau 時間: 2026-10-9 14:55
明白，還以為你行local AI有200+
godofcomputer 發表於 2026-10-9 14:47
本地行Bonsai2 27b就有200t/s
Strata+Ninfer flash next應該都可以接近150t/s
作者: godofcomputer 時間: 2026-10-9 14:58
回覆 33# kcthomlau
作者: Sinair 時間: 2026-10-10 07:42
回覆 32# kcthomlau
混合唔同模型用我都有試過 不過要重新LOAD 嫌麻煩 最後就無再試
作者: kcthomlau 時間: 2026-10-10 08:44
本帖最後由 kcthomlau 於 2026-10-10 08:48 編輯
回覆 kcthomlau
混合唔同模型用我都有试过 不过要重新LOAD 嫌麻烦 最后就无再试 ...
Sinair 发表于 2026-10-10 07:42
试下叫AI整你一转模型开跑佢自动load
或者食得曬開機就雙模型自動同時load曬
例如strix halo單機load halogen flash next+外置卡vram load bonsai2 27b
作者: Sinair 時間: 2026-10-10 09:16
回覆 36# kcthomlau
仲可以咁玩
宜家部機食唔晒雙模型 雙卡咁樣行有咩用處?
另外想問下MOE技術可以低配備流暢用到高B模型
除左LLM 整片整相D模型理論上係唔係都可以用到MOE?
作者: rickrickchan 時間: 2026-10-10 16:12
QWEN 3.8 flash next 已經好好用, 又輕便好多
作者: wiz123 時間: 2026-10-10 17:14
本帖最後由 wiz123 於 2026-10-10 17:29 編輯
剛試左最新技術，qwen flash next Ｑ4 由llama.cpp換左strata去run，30toks/s 升到120toks/s, 同一部電腦，但係我最想係deepseek v4 flash加速，得果8toks/s唔知點用好，strata只能加速qwen flash next...
順手試埋ninfer qwen3.8 27b Q4實測唔多店，本來答緊中文繁體，跟住會越來越多簡體，最後簡體都冇埋變晒出英文，flash next Ｑ4冇呢個問題，唔明點解Ｄ人會話qwen3.8 27b好用, 測試時system prompt都打左要中文reply
作者: godofcomputer 時間: 2026-10-10 17:56
剛試左最新技術，qwen flash next Ｑ4 由llama.cpp換左strata去run，30toks/s 升到120toks/s, 同一部電腦， ...
wiz123 發表於 2026-10-10 17:14
qwen flash next 可以跑得好快係架構問題， QFN有個n-gram lookup table，可以放係SSD。deepseek v4 flash 無宜樣嘢。
Qwen 3.8 27b， 可能人家啲水軍吹，點勁點勁， 想多啲人買GPU.
作者: kcthomlau 時間: 2026-10-11 09:11
本帖最後由 kcthomlau 於 2026-10-11 09:26 編輯
回覆 kcthomlau
仲可以咁玩
宜家部机食唔晒双模型 双卡咁样行有咩用处?
另外想问下MOE技术可以 ...
Sinair 发表于 2026-10-10 09:16
我系strix halo即系amd max+395外接5080m
核显8060s跑halogen版flash next已经有1400prefill, 35decode
外接卡vram可以食晒bonsai2 27b 1800prefill, 平均2百几decode(写code可以4百几）
即系可以一部机同时两个模型
其实moe都唔系万能
Flash next每次只读取6b专家呢样野可以系个大缺点
如果跑专业知识AI Benchmark当然劲
但实际工作要做得好，好多时系需要识好多唔同既野
例如修一个bug既推理复杂程度需要最少7b专家先至做到
咁6b系会fail
但系dense 27b可能直接解决
所以我认为系要同时有两种模型
亦都方便开多啲任务
BTW新野又嚟架
有人将GLM5.3 Flash整到好似flash next咁有一部份放入ssd用
Github好似叫maya
問過AI就算GLM5.3 Flash 320b咁大
如果有人好似Bonsai咁用三值化由零開始蒸餾訓練係可以壓縮成80gb以下
就算唔拆一部份擺喺ssd
128gb統一內存要用絕對有可能
作者: godofcomputer 時間: 2026-10-11 14:16
得9token就慢咗啲。其實直接畀錢玩API咪算囉(v4 flash好平）， 等跌價先再玩返local ai
作者: Sinair 時間: 2026-10-11 17:58
回覆 41# kcthomlau
我將FLASH NEXT放入DEEPSEEK HARNESS到用 無得調思考模式
原本2分鐘做完1次嘅野佢卡我1個鐘都做唔完
40分鐘會用完晒D TOKEN 但HARNESS 1個鐘都未用完D TOKEN
之前用BIONIC+GEMMA 4 26B A4B QAT / QWEN 3.5 9B都唔會咁
宜家卡死左係到唔知點解決
作者: godofcomputer 時間: 2026-10-11 18:03
回覆 kcthomlau
我將FLASH NEXT放入DEEPSEEK HARNESS到用 無得調思考模式
原本2分鐘做完1次嘅野佢卡我1 ...
Sinair 發表於 2026-10-11 17:58
咪試下用Claude, Codex，Zcode之類,
Qwen嘅model，應該最兼用用返qwen coder
可能根本係量化過度
作者: Sinair 時間: 2026-10-11 18:17
回覆 44# godofcomputer
見人話HARDNESS好用 又好多教學 咪試下 結果D教學剩係教安裝 一遇到問題全部都幫唔到手
BIONIC我以為已經唔好用 點知HARDNESS個界面仲唔好用
我研究下依幾個先 全部都唔識 搞唔掂再返黎求救
作者: ckmakit 時間: 2026-10-11 18:36
qwen flash next 可以跑得好快係架構問題， QFN有個n-gram lookup table，可以放係SSD。deepseek v4 flash ...
godofcomputer 發表於 2026-10-10 17:56
我都岩岩由27b轉緊去strata qwen iq4xs
50-70tok/s 夠晒用
（v100 32g,ddr4 96gb)
作者: kcthomlau 時間: 2026-10-11 18:48
本帖最後由 kcthomlau 於 2026-10-11 18:51 編輯
回覆 kcthomlau
我将FLASH NEXT放入DEEPSEEK HARNESS到用 无得调思考模式
原本2分钟做完1次嘅野佢卡我1 ...
Sinair 发表于 2026-10-11 17:58
问dsh点调thinking
dsh好似係無審查agent
就算用uncensored模型
Wb叫佢抄人個軟件都唔做
Z code會check下有無講明唔俾reverse engineering
作者: kcthomlau 時間: 2026-10-11 20:33
本帖最後由 kcthomlau 於 2026-10-11 20:34 編輯
之前试过唔错既ornith1.5原来仲改进紧
依家俾佢玩到tg过千
https://huggingface.co/jcbtc/Orn ... ent-vllm-strix-halo
我開始覺得strix halo好過dgx spark
作者: abcjerry 時間: 2026-10-12 01:50
寫小說還是GEMINI吧,,本地模型寫的都很垃圾
作者: Sinair 時間: 2026-10-12 07:15
回覆 49# abcjerry
天馬行空叫佢GEN晒全部野 一定有差距
但如果自己PROVIDE創意 用規則檔同風格檔限制AI 其實寫出黎唔會相差好多
創意如果諗唔到 可以用API免費QUOTA GEN
只要有大方向 一日免費QUOTA都夠GEN幾個創意橋段
然後用本地不停洗大綱 洗到滿意先再EXTEND 一個橋段用黎GEN 3000+字數 一日都更到過萬字
咁做法好過用小說AGENT一次寫晒幾十萬字出黎 好難修改返轉頭
作者: Sinair 時間: 2026-10-12 08:26
回覆 47# kcthomlau
DSH提供左3個方法
頭兩個失敗 全部級數都話模型唔支援 一提問就ERROR
第3個都失敗 但好複雜 唔知我有無搞錯野
問GOOGLE AI
教用提示詞指定唔用THINKING 結果都係失敗 但今次係用盡晒TOKEN 唔係一直唔知做緊乜
我用返STRATA去做一次 都係20K TOKEN左右 128K用晒都出唔到RESULT 我理解唔到出左咩問題
作者: kcthomlau 時間: 2026-10-12 10:46
本帖最後由 kcthomlau 於 2026-10-12 10:57 編輯
如果系Windows缺token既情况下我問問題或者安裝模型会用workbuddy
有免费hy3模型用
DSV4.1Flash都系0.11积分/token
新会员大把token送
又有每日100分
作者: kcthomlau 時間: 2026-10-12 11:45
https://github.com/mikealanni/gufo
NPU終於有用
Github有人將strix halo既XDNA2 NPU輔助gpu推理
Flash next prefill速度去到1800t/s
作者: wiz123 時間: 2026-10-12 11:56
估計DDR5可以再炒上去，新出的STRATA offload llm 去DDR5，只要16G 顯卡VRAM都可以跑 flash next, 同一個MODEL Q4我都可以由傳統的llama.cpp 30toks/s升到上用STRATA 120toks/s，只要DDR5足夠，就可以跑超快
作者: kcthomlau 時間: 2026-10-12 12:52
估計DDR5可以再炒上去，新出的STRATA offload llm 去DDR5，只要16G 顯卡VRAM都可以跑 flash next, 同一個MO ...
wiz123 發表於 2026-10-12 11:56
最近係跌左，但係單條大容量仍然搶手
作者: Sinair 時間: 2026-10-12 13:04
DEEPSEEK HARDNESS配STRATA FLASH NEXT 設定唔到思考模式
簡單任務會load耐左 複雜少少嘅任務會不停LOAD落去 直接爆上下文
暫時解決方法
係ABOUT 入面設定fit_max_tokens on 同SET reasoning_budget_tokens
最終會出結果 但要爆上下文先識停手(128K)
請教正常運行方案
作者: Sinair 時間: 2026-10-12 13:08
回覆 55# kcthomlau
上升空間有限 貴左太多 本身求已經唔多過供
宜家的確求會上升 但會唔會推得郁個價就未知之數
相反GPU一定仲有排貴 除非AMD同INTEL可以係AI方面突圍而出
作者: kcthomlau 時間: 2026-10-12 13:37
本帖最後由 kcthomlau 於 2026-10-12 13:40 編輯
DEEPSEEK HARDNESS配STRATA FLASH NEXT 设定唔到思考模式
简单任务会load耐左 复杂少少嘅任务会不停LOAD落 ...
Sinair 发表于 2026-10-12 13:04
如果叫agent帮手设定都失败就唯有转其他agent或者等dsh更新
我无用dsh, z code+workbuddy混用
我問ai叫佢每輪對話完成自動壓縮上下文佢做唔到
又問佢額度用完自動用重設卡，佢又話做唔到
但似乎可以運算中直接輸入/compact壓縮，運算繼續
作者: Sinair 時間: 2026-10-12 14:05
回覆 58# kcthomlau
我覺得唔係DSH問題 而係STRATA/FLASH NEXT嘅問題 無理由唔比調用THINKING層級 連OFF都唔比
就算我係STRATA界面調左中級 SAVE左 再係ABOUT調埋跟MODEL 都無分別
DSH加手動 可以做到我要嘅效果
但同LLM+手動 差唔得幾多 但需時多好多
因為MODEL夠勁 所以想TEST下佢極限 想1鍵整GAME 宜家係TOKEN同思考兩方面卡死左
結論仍然係要斬件作業 只係斬得大件D都OK
宜家研究控軟件做野 唔知做唔做到
作者: wiz123 時間: 2026-10-12 15:04
DEEPSEEK HARDNESS配STRATA FLASH NEXT 設定唔到思考模式
簡單任務會load耐左 複雜少少嘅任務會不停LOAD落 ...
Sinair 發表於 2026-10-12 13:04
最近STRATA一日一更新，越更越快，更新再試試吧，試過think 和nothink都冇問題，用openwebui chat試
作者: godofcomputer 時間: 2026-10-12 19:00
量化過度嘅MODEL，好多時都short short 哋
作者: 小木頭 時間: 2026-10-12 20:03
5090 我用 qwen3_8_27b_nvfp4.ninfer 比較好
我用hermes prefill 可以上到4000，decode 100-170
但係strata-unsloth-ud-q4_k_xl prefill 只可以到2500，decode 50-110
最大問題係就算用strata-unsloth-ud-q4_k_xl都有loop的問題，試過佢自己計日字會不停loop
我見reddit可以再快啲，唔知點set strata
不過唯一好處係慳電啲，ninfer吓吓5090都100%full load，strata有啲去咗cpu，但其實時間耐咗又好似冇咩慳到
作者: kcthomlau 時間: 2026-10-12 21:12
https://huggingface.co/llmsforall/Millie-1.1-35B-A3B-Ternary
原來已經有人整左35b-a3b既3值化模型，panther lake b390核顯應該可以試試
作者: kcthomlau 時間: 2026-10-12 21:14
本帖最後由 kcthomlau 於 2026-10-12 21:16 編輯
5090 我用 qwen3_8_27b_nvfp4.ninfer 比较好
我用hermes prefill 可以上到4000，decode 100-170
但系strat ...
小木头 发表于 2026-10-12 20:03
Decode似乎有优化空间，有无D.Flash2?
我只係5080m玩Bonsai2 27b 256k上下文都平均過200t/s, 峰值過400
作者: Sinair 時間: 2026-10-13 08:38
回覆 60# wiz123
忘記左可以更新STRATA 我個版本好舊
作者: godofcomputer 時間: 2026-10-13 10:06
5090 我用 qwen3_8_27b_nvfp4.ninfer 比較好
我用hermes prefill 可以上到4000，decode 100-170
但係strat ...
小木頭 發表於 2026-10-12 20:03
再快都無用喇，GEN啲垃圾出嚟，小MODEL啲質素真係馬馬哋
作者: Sinair 時間: 2026-10-13 10:51
回覆 60# wiz123
更新0.1.43.1後測試 平均速度慢左少少 CPU溫度低左幾度
但用盡128K之後 成品效果好過更新前好多
內容多左 完全達成我所有要求 試左一次暫時未見到BUG
但見佢測試用左好多TOKEN 最後停左係測試放大縮細解像度 應該係尾聲
我諗再多少少TOKEN就能完成個PROJECT
THINK唔THINK宜家都無理佢 我剩係想花應有嘅TOKEN做到應有嘅野
16+64 IQ3_XXS 開128K我見實際上VRAM剩1GB RAM剩7GB幾 應該可以再SET進取D?
作者: kcthomlau 時間: 2026-10-13 12:31
本帖最後由 kcthomlau 於 2026-10-13 12:32 編輯
刚试由halogen换strata跑flash next
Prefill由1700变到得1300
但系decode由35变73
仲研究紧加速
另外智谱出左GLM5.3 highspeed
Decode飞昇到490t/s
似乎又有新技术
作者: wiz123 時間: 2026-10-13 17:12
llama.cpp 前幾日加左功能可以用 --moe-cache-mib， deepseek快左1倍, Q4有15tok/s, Q2有30tok/s
作者: 小木頭 時間: 2026-10-13 22:35
本帖最後由 小木頭 於 2026-10-13 22:37 編輯
玩咗陣strata-nvfp4，用qwen3.8-flash-next-gptq-nvfp4，速度比得上qwen3_8_27b_nvfp4.ninfer， 616 requests · 15,827,860 prompt tokens read at 6,096 tok/s (4,262,830 reused) · 355,081 written at 112.1 tok/s，起碼冇loop，但係唔知點解官方可以去到170 tok/s
作者: kcthomlau 時間: 2026-10-14 00:11
刚试由halogen换strata跑flash next
Prefill由1700变到得1300
但系decode由35变73
仲研究紧加速
另外智谱 ...
kcthomlau 發表於 2026-10-13 12:31
調優左之後 prefill 1351.6 tok/s, decode 81.7 tok/s
同halogen比decode係快左好多
但係唔過100有D失望
作者: kcthomlau 時間: 2026-10-14 00:12
玩咗陣strata-nvfp4，用qwen3.8-flash-next-gptq-nvfp4，速度比得上qwen3_8_27b_nvfp4.ninfer， 616 reques ...
小木頭 發表於 2026-10-13 22:35
我又試下, 照計Q4好D
loop既話正常加少少temperature就會識由個loop走返出去
作者: wiz123 時間: 2026-10-14 11:19
本帖最後由 wiz123 於 2026-10-14 12:08 編輯
大家要試埋舊幾日的strata 0.1.42, 有120toks/s,
之前和之後今日出的版本也只有80-90toks/s,
同一硬件同一GGUF都可以差咁遠，
運行果陣會用近110GB DDR5 ram, 買左咁多RAM終於有用啦
呢個abliterated禽日剛出新版，要試好野
huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/unsloth-UD-Q4_K_XL
作者: kcthomlau 時間: 2026-10-14 12:20
本帖最後由 kcthomlau 於 2026-10-14 12:22 編輯
试左用strata玩好受欢迎既gsq rco版q3xs同埋q3xxs
跑写软件测分既humaneval两个模型不断失败
主要原因系loop thinking爆max token
两个模型一个失败17次一个失败19次，其中分别14次同埋16次loop爆
Halogen版失败2次，无loop爆情况
Strata咁样loop法快都无用
已退回Halogen
AMD新folk gufo只系刚出已经有接近既速度
同时Halogen表示会开源
希望迟啲可以halogen x gufo同框使用
Strix Halo運算能力已經十分接近DGX Spark
作者: wiz123 時間: 2026-10-14 13:17
本帖最後由 wiz123 於 2026-10-14 13:19 編輯
试左用strata玩好受欢迎既gsq rco版q3xs同埋q3xxs
跑写软件测分既humaneval两个模型不断失败
主要原因系loo ...
kcthomlau 發表於 2026-10-14 12:20
我set 512K context token, 如果唔夠RAＭ set得細一定差Ｄ，
試過gsq rco智力唔店, 好多問題，最少要用q4
作者: kcthomlau 時間: 2026-10-14 15:00
https://huggingface.co/sudoingx/DeepSeek-V4.1-Flash-EXL3-2.7bpw
雙DGX Spark運算DSV4.1 Flash
預填充超1000t/s
解碼超100t/s
作者: Sinair 時間: 2026-10-17 09:33
回覆 75# wiz123
STRATA FLASH NEXT最低都用Q3XXS
LOOP THINKING係咪無SET好? 我SET左THINKING TOKEN限制同跟MODEL選擇MODE
我更新左之後SET完覺得好用左好多 最緊要係開始做到野
不過我得128K 每次都要斬件黎做 好唔方便 諗緊加唔加硬件好
CODER同Q2廢的
CODER一定要提供晒所有基礎認知 如果唔係好多時都會出現一D簡單錯誤 用CODER係修復唔到
最佳效果係只用黎修改程式碼
Q2成日出錯 浪費TOKEN
作者: kcthomlau 時間: 2026-10-17 16:49
本帖最後由 kcthomlau 於 2026-10-17 16:51 編輯
回覆 wiz123
STRATA FLASH NEXT最低都用Q3XXS
LOOP THINKING係咪無SET好? 我SET左THINKING TOKEN限制同 ...
Sinair 發表於 2026-10-17 09:33
Flash Next計埋N-gram成177B參數應該唔只做到野咁簡單
差係因為Q3量化, GSQ RCO都補唔返
Halogen係Q4無呢D問題
想試下過度thinking問題叫AI跑livecodebench
題目係寫軟件長程工作
即時出題無得預訓練刷分
其實新版Halogen加左一個叫gufo既AMD新野
prefill 1700t/s, decode跳到75t/s
我即時放棄strata
Halogen最新研究係用NPU加速prefill
作者: Sinair 時間: 2026-10-18 08:03
回覆 78# kcthomlau
要跑圖片同影片AI 走唔甩CUDA 全部機行INTEL 無得玩AMD
FLASH NEXT Q3最大問題係上下文唔夠用(我得128K) 現階段暫時仲係遠遠唔夠API好用
我宜家D簡單野已經全部由GEMMA 4 26B A4B QAT+LMBIONIC轉晒用FLASH NEXT+DSH
但複雜野下下都爆上下文 完成唔到個TASK DSH又壓縮唔到 唔知點解決
宜家學習下WORKBUDDY 希望可以解決到問題
BTW WORKBUDDY DEFAULT好多SKILL 好似好勁 逐個試都試到出年
作者: kcthomlau 時間: 2026-10-18 08:30
本帖最後由 kcthomlau 於 2026-10-18 08:31 編輯
回覆 kcthomlau
要跑图片同影片AI 走唔甩CUDA 全部机行INTEL 无得玩AMD
FLASH NEXT Q3最大问题系上下文 ...
Sinair 发表于 2026-10-18 08:03
DSH无/compact?
可以叫AI整到左80%上下文自动压缩
Gemma4 26B好用？ 有無試過Bonsai2 27B? 用到NInfer就快
作者: godofcomputer 時間: 2026-10-18 08:49
DSH无/compact?
可以叫AI整到左80%上下文自动压缩
Gemma4 26B好用？ 有無試過Bonsai2 27B? 用到NInfer就 ...
kcthomlau 發表於 2026-10-18 08:30
dsh當然有得compact上下文， 但佢得128k上下文，跑harness 處理複雜少少嘅任務就會爆。跑harness 至少有256k 上下文先至夠用。
作者: Sinair 時間: 2026-10-18 09:58
回覆 80# kcthomlau
DSH配FLASH NEXT 用指令壓縮直接出ERROR 其他模型配DSH未試過 唔清楚
自動壓縮未試過 研究下先
FLASH NEXT比Gemma4 26B處理到嘅事情多好多
BONSAI2 27B無用過 LMBIONIC無得揀
如果用簡單PROMPT 無提供太多規範比模型
寫小說/整理資料出REPORT嘅LAYOUT/H3 PROMPT/KREA2 PROMPT
上面提到幾方面效果 Gemma4 26B都係碾壓QWEN3.6 9B同3.8 27B
但如果規範做得詳細D 分別就唔大
QWEN明顯比較似理科生 想像空間較少
FLASH NEXT我宜家著重寫小程式 未有深入試上面D內容
最終希望控到BLENDER/ZBRUSH畫模型
作者: kcthomlau 時間: 2026-10-18 13:05
本帖最後由 kcthomlau 於 2026-10-18 13:08 編輯
回覆 kcthomlau
DSH配FLASH NEXT 用指令壓縮直接出ERROR 其他模型配DSH未試過 唔清楚
Sinair 發表於 2026-10-18 09:58
呢D通常係未set好個模型, cap版幅error圖俾叫AI叫佢set參數
無得用HF模型果D harness真係算數啦, 有優化同無優化速度差好遠
作者: Sinair 時間: 2026-10-19 09:57
回覆 83# kcthomlau
自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵DSH壓縮介紹就好多 但無人演示過
係咪依個功能得個講字???
作者: godofcomputer 時間: 2026-10-19 10:38
本帖最後由 godofcomputer 於 2026-10-19 11:04 編輯
回覆 kcthomlau
自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵D ...
Sinair 發表於 2026-10-19 09:57
你問google點set DSH 嘅compaction， 通常有個config file係入面set ~/.dsh/settings.yaml
我用過DSH一次，應該識SET，會自動comp（本來就會識自動， 你可能SET你個MODEL嘅上下文寫咗1M？），
作者: kcthomlau 時間: 2026-10-19 16:03
回覆 kcthomlau
自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵D ...
Sinair 發表於 2026-10-19 09:57
直接同AI講本地部署模型唔同線上雲端模型識得自動壓縮
任務未完成但AI停止工作
要佢調優參數並設置上下文達上限80%自動壓縮
再將你上次AI停止幅圖cap俾佢睇要佢解決
Deepseekv4.1 flash多數講一次就攪掂
作者: Sinair 時間: 2026-10-19 20:18
回覆 85# godofcomputer
.dsh/settings.yaml 無依個檔案 最後發現係用另一個檔案SET
GOOGLE個AI廢廢地 可能dsh轉過檔案系統 無更新
不停深入問佢先答到設定檔係邊到同叫咩名 就連係dsh入面問 都係咁
STRATA入面上下文SET左128K
DSH入面SET 128K 100K一樣唔會自動壓縮 到128K 100K直接話爆上下文 手動入指令叫佢壓縮/繼續都出ERROR
裝左兩個插件SET 0.8 0.6一樣係唔識自動壓縮
STRATA SET 128K同256K 一開始RAM佔用量都係差唔多 即係16+64可以跑256K?
作者: Sinair 時間: 2026-10-19 20:24
回覆 86# kcthomlau
聽日得閒試下
STRATA + DSH好似唔係好穩定 同樣係寫程式測試 出黎結果同過程可以好大出入
作者: godofcomputer 時間: 2026-10-19 20:36
回覆 godofcomputer
.dsh/settings.yaml 無依個檔案 最後發現係用另一個檔案SET
GOOGLE個AI廢廢地 可能d ...
Sinair 發表於 2026-10-19 20:18
其實上下文太細就用唔到harness之類，其實就最好要有256K, 同埋Qwen模型有機會唔係咁兼容DSH, 自己host嘅model同啲harness要有好多調整。同埋有機會個model量化得太過
作者: Sinair 時間: 2026-10-20 07:51
回覆 89# godofcomputer
32K功能應該要一切正常 只係差在做唔做到野同做到乜野 輸入7K 輸出13K 中間仲有12K可以處理
DSH配FLASH NEXT的確唔算好 就算唔SET野都唔應該咁多問題
考慮緊轉會用WORKBUDDY 初步測試效果都OK 但壓縮 極限測試依D未有時間做
我發現DSH好多基礎野都做得唔好 網上吹得太過 感覺仲係BETA版階段
最新版本更新後先似返個人
作者: wiz123 時間: 2026-10-20 14:20
本帖最後由 wiz123 於 2026-10-20 15:07 編輯
最新版R53 STRATA,用flash next ud-Q4_k_xl，又快左上到去143tok/s, 同一個chat問多幾輪越長越快, 運行時部機耗電多左，如果RAM顯卡價冇升實人人換新機又砌機潮，而家...
作者: godofcomputer 時間: 2026-10-20 15:12
最新版R53 STRATA,用flash next ud-Q4_k_xl，又快左上到去143tok/s, 同一個chat問多幾輪越長越快, 運行時 ...
wiz123 發表於 2026-10-20 14:20
啲機行到deepseek v4.1 flash 1017 先啦
作者: Sinair 時間: 2026-10-21 06:34
回覆 92# godofcomputer
deepseek v4.1 flash 唔係要成500gb容量咩
STRATA出左0.2 今日狗衝試下
作者: godofcomputer 時間: 2026-10-21 09:45
回覆 godofcomputer
deepseek v4.1 flash 唔係要成500gb容量咩
STRATA出左0.2 今日狗衝試下 ...
Sinair 發表於 2026-10-21 06:34
我意思等啲機出到1T unified RAM咁上下先至換新機砌機喇。
你用嗰啲參數太小（至少要有5000億）又量化過，實際用會問題多多，輸出質素不高，唔好嘥咁多精神落去。用API或買PLAN仲好。
作者: kcthomlau 時間: 2026-10-21 10:29
回覆 godofcomputer
deepseek v4.1 flash 唔係要成500gb容量咩
STRATA出左0.2 今日狗衝試下 ...
Sinair 發表於 2026-10-21 06:34
DS4.1真係好用，如果Halogen研究喺Gorgon Halo用到就正
作者: wiz123 時間: 2026-10-21 11:15
strata又有新版R54 V0.2.1 出左又快左，一開波已經上到120toks/s 好快就上到135toks/s，叫佢寫同一個故仔之前要幾輪對話toks先上到去, set到512k context實測呢個model店呀超快又好過deepseek了, huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF/unsloth-UD-Q4_K_XL
作者: ckmakit 時間: 2026-10-21 11:53
回覆 godofcomputer
deepseek v4.1 flash 唔係要成500gb容量咩
STRATA出左0.2 今日狗衝試下 ...
Sinair 發表於 2026-10-21 06:34
Maya似乎都係用Strata底層整出嚟
好想挑戰下deekseek 4.1 flash 唔知有無10tok/s
今晚返去都挑下機先
作者: wiz123 時間: 2026-10-21 12:32
Maya似乎都係用Strata底層整出嚟
好想挑戰下deekseek 4.1 flash 唔知有無10tok/s
今晚返去都挑下機先 ...
ckmakit 發表於 2026-10-21 11:53
想知你試成點，
我剛試過得20-30toks用Maya-S 的deepseek v4.1 flash，最大問題係比同一個prompt叫佢寫故事出來唔似故事，qwen冇呢個問題而且過百toks/s
作者: godofcomputer 時間: 2026-10-21 12:59
想知你試成點，
我剛試過得20-30toks用Maya-S 的deepseek v4.1 flash，最大問題係比同一個prompt叫佢寫故 ...
wiz123 發表於 2026-10-21 12:32
以前deepseek啲中文文筆好好（V.32， R1時，v4無乜點用），寫封信，啲中文超掂，宜家用k3多
作者: Sinair 時間: 2026-10-21 13:29
本帖最後由 Sinair 於 2026-10-21 14:20 編輯
回覆 97# ckmakit
未得閒挑戰咁多 搞好FLASH NEXT我就暫時滿足了
最新玩yue2 studio 岩岩先研究完點整合唱
宜家卡死左係出mv 唔知邊到整karaoke lyrics
更新 (yue2 studio更新3.7先有 但功能勁羊春 兩個模型 一個長期ERROR 一個廢 只係將提供歌詞對位拼入 但YUE2會自行改動歌詞位置/加入VOCABLES 結果歌詞全錯位)
上網搵又係全部有介紹無演示
媽的 網上資源真係好膚淺
deepseek v4.1 flash我用咪鼠玩過 基本野唔覺得佢好神 勁野唔夠積分玩