godofcomputer

DSH无/compact?
可以叫AI整到左80%上下文自动压缩
Gemma4 26B好用？ 有無試過Bonsai2 27B? 用到NInfer就 ...
kcthomlau 發表於 2026-10-18 08:30

dsh當然有得compact上下文， 但佢得128k上下文，跑harness 處理複雜少少嘅任務就會爆。跑harness 至少有256k 上下文先至夠用。

Sinair

回覆 80# kcthomlau

DSH配FLASH NEXT 用指令壓縮直接出ERROR 其他模型配DSH未試過 唔清楚
自動壓縮未試過 研究下先
FLASH NEXT比Gemma4 26B處理到嘅事情多好多
BONSAI2 27B無用過 LMBIONIC無得揀

如果用簡單PROMPT 無提供太多規範比模型
寫小說/整理資料出REPORT嘅LAYOUT/H3 PROMPT/KREA2 PROMPT
上面提到幾方面效果 Gemma4 26B都係碾壓QWEN3.6 9B同3.8 27B
但如果規範做得詳細D 分別就唔大
QWEN明顯比較似理科生 想像空間較少

FLASH NEXT我宜家著重寫小程式 未有深入試上面D內容
最終希望控到BLENDER/ZBRUSH畫模型

kcthomlau

回覆  kcthomlau

DSH配FLASH NEXT 用指令壓縮直接出ERROR 其他模型配DSH未試過 唔清楚

Sinair 發表於 2026-10-18 09:58

呢D通常係未set好個模型, cap版幅error圖俾叫AI叫佢set參數

無得用HF模型果D harness真係算數啦, 有優化同無優化速度差好遠

Sinair

回覆 83# kcthomlau

自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵DSH壓縮介紹就好多 但無人演示過
係咪依個功能得個講字???

godofcomputer

回覆  kcthomlau

自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵D ...
Sinair 發表於 2026-10-19 09:57

    你問google點set DSH 嘅compaction， 通常有個config file係入面set  ~/.dsh/settings.yaml
我用過DSH一次，應該識SET，會自動comp（本來就會識自動， 你可能SET你個MODEL嘅上下文寫咗1M？），

kcthomlau

回覆  kcthomlau

自動壓縮試左兩個插件 完全無自動過 一樣直接爆上下文
STRATA唔見有壓縮參數SET
上網搵D ...
Sinair 發表於 2026-10-19 09:57

直接同AI講本地部署模型唔同線上雲端模型識得自動壓縮
任務未完成但AI停止工作
要佢調優參數並設置上下文達上限80%自動壓縮
再將你上次AI停止幅圖cap俾佢睇要佢解決
Deepseekv4.1 flash多數講一次就攪掂

Sinair

回覆 85# godofcomputer

.dsh/settings.yaml 無依個檔案 最後發現係用另一個檔案SET
GOOGLE個AI廢廢地 可能dsh轉過檔案系統 無更新
不停深入問佢先答到設定檔係邊到同叫咩名 就連係dsh入面問 都係咁

STRATA入面上下文SET左128K
DSH入面SET 128K 100K一樣唔會自動壓縮 到128K 100K直接話爆上下文 手動入指令叫佢壓縮/繼續都出ERROR
裝左兩個插件SET 0.8 0.6一樣係唔識自動壓縮

STRATA SET 128K同256K 一開始RAM佔用量都係差唔多 即係16+64可以跑256K?

Sinair

回覆 86# kcthomlau

聽日得閒試下
STRATA + DSH好似唔係好穩定 同樣係寫程式測試 出黎結果同過程可以好大出入

godofcomputer

回覆  godofcomputer

.dsh/settings.yaml 無依個檔案 最後發現係用另一個檔案SET
GOOGLE個AI廢廢地 可能d ...
Sinair 發表於 2026-10-19 20:18

    其實上下文太細就用唔到harness之類，其實就最好要有256K, 同埋Qwen模型有機會唔係咁兼容DSH, 自己host嘅model同啲harness要有好多調整。同埋有機會個model量化得太過

Sinair

回覆 89# godofcomputer

32K功能應該要一切正常 只係差在做唔做到野同做到乜野 輸入7K 輸出13K 中間仲有12K可以處理
DSH配FLASH NEXT的確唔算好 就算唔SET野都唔應該咁多問題
考慮緊轉會用WORKBUDDY 初步測試效果都OK 但壓縮 極限測試依D未有時間做

我發現DSH好多基礎野都做得唔好 網上吹得太過 感覺仲係BETA版階段
最新版本更新後先似返個人