gl5900as

雲端ai 做server 定client ?
raylee 發表於 2023-5-26 12:50

做server
部機行緊windows server

gl5900as

裸机注意塵, 曱甴
雲端ai 做server 定client ?
raylee 發表於 2023-5-26 12:50

無曱甴，塵會兩年清一次塵，長開

raylee

做server
部機行緊windows server
gl5900as 發表於 2023-5-26 13:03

我不知z790, b760 有冇wdw server driver ？不能行win11 ?

gl5900as

我不知z790, b760 有冇wdw server driver ？不能行win11 ?
raylee 發表於 2023-5-26 14:04

可以轉WIN11
反正個WIN SERVER版本太舊了，有D程式又有限制

314315316

如果local玩GPT,目前效果最好的model是Vicuna-13B (有GPT4 90%質素)
玩AI GPU一定要夠多VRAM, 就算4090都只係勉强用到Vicuna-13B model 。4070Ti 12GB VRAM, 估計可以用細D的model 6-7B Parameters，效果會差D。
以上都係講緊用現有的LLM model, 想train LLM 無幾百萬買  A100 cluster 基本上唔洗唸。另外有對華出口限制，有錢都未必買得到。
如果真係有心玩，考慮用Serverless 服務，例如Runpod。 A100 80GB 每小時收費大概 1.8USD。

gl5900as

如果local玩GPT,目前效果最好的model是Vicuna-13B (有GPT4 90%質素)
玩AI GPU一定要夠多VRAM, 就算4090都只 ...
314315316 發表於 2023-5-30 00:33

咁我改買24GB的版本

raylee

咁我改買24GB的版本
gl5900as 發表於 2023-5-31 09:51

1kw psu

FabreKC

A100/H100 就話，普通GPU OK?