5個臭皮匠勝過諸葛亮 Qwen3.8-27BLiveCodeBench 66.8% → 92.4%

kcthomlau

https://github.com/slee-persis/GVS5H

將工作分工成5份，用5個Qwen3.8 27b跑，解題得分超越Fable5


GVS5H 唔係產品，係一篇論文嘅實驗代碼庫——證明「唔使訓練、純粹靠組織方式」就可以令一堆小模型協作，打出頂級閉源模型嘅解題準確率。

名字同核心思路

- GVS5H = "Gorilla vs. 5 Humans"：一隻大猩猩（一個頂級大模型）對五個人類（五個普通模型實例）——名字本身就係實驗對照組。
- 論文標題（arXiv 2608.26480）：GVS5H: Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance。
- 方法叫「零样本自编排 / ledger-based（账本式）控制」：開幾個 fresh 實例，各自唔係被訓練去做協調、亦冇 task-specific 示例；佢哋透過一個共享文件系統當「账本」（裡面放 plan、notes、當前解答）嚟分工同接力。
- 關鍵詞係 training-free：唔改權重、唔做 RL，纯粹改 inference-time 嘅組織結構。作者歸因增益來自問題拆解 + 持久上下文（transcript 分析）。

佢講嘅成績（全部屬論文自述，口徑：最新 100 道 LiveCodeBench 硬題）

- 11 個開源/閉源模型上做實驗，pinned backend 下最高提升 25.6 個百分點。
- 編排後的 Qwen3.8 Flash Next 93.0% pass@1，對比 Claude Fable 5 嘅 90.4%，成本只有 9%。
- 本地自託管嘅開源 Qwen3.8-27B：66.8% → 92.4%。
- 誠實嘅一半：增益唔係通用，論文自己寫明部分模型冇變化甚至變差。

代碼庫長點咁

GVS5H/
├── README.md, paper/paper_latest.pdf, assets/（圖表）
├── codebase/v2-current/escalation/   ← 主程式
│   ├── run_bench.py        跑分入口（--engine single / multiagent）
│   ├── multiagent.py       五實例協作（22.5KB）
│   ├── orchestrator.py     manager 編排邏輯（25KB）
│   ├── lcb100_hardest_v6.json  那 100 道題的 id 清单
│   ├── .env.sample, patched_grader/, run_bench_script/*.sh
└── codebase/livecodebench/  ← LCB fork（自帶其原始許可）

--engine single 係單次調用基準線，--engine multiagent 先係佢哋講嘅「五個實例」——即你昨日部署嗰兩條路徑嘅對照關係。

幾個要拎清嘅點

- star 1,025 / fork 112（截至 2026-10-26 倉庫數據），Python，2026-08-26 創建，最後 push 2026-09-23，屬「论文随附代码」性質，唔係持續維護嘅工程項目。
- 成績只屬嗰份特定題目集（release_v6 + 100 道 hardest）。LiveCodeBench 跨快照難度差異極大，第三方評測圈普遍提醒「90+ 同 50 可能只係題庫唔同」，所以 93.0 vs 90.4 呢種對比唔好直接外推到你日常寫代碼嘅體驗。
- 許可係混合嘅：代碼 MIT，論文／圖表／run 數據 CC BY 4.0，LCB fork 同人題題目保留自己許可，邊個 path 屬邊個許可要睇 NOTICE.md。