玩 AI 係咪都要用 GPU

peterchu1

想買機玩 AI , 如果升級用 GPU , 其實分別大嗎 ?

thanks

s84292

冇基本上唔洗玩

Cpu 就算有npu,ai 訓練性能都只係4090 4080的1/10唔到

但如果只係輕度冇需要自己買，去租算力或者雲端平台仲抵

vinsai

用張8GB RAM 嘅nvidia卡玩下先囉
最好過就>12GB啦

raylee

想買機玩 AI , 如果升級用 GPU , 其實分別大嗎 ?

thanks
peterchu1 發表於 2024-5-13 11:23

玩咩AI ?

Bluth_Lai

冇基本上唔洗玩

Cpu 就算有npu,ai 訓練性能都只係4090 4080的1/10唔到

但如果只係輕度冇需要自己買，去租 ...
s84292 發表於 2024-5-13 12:41

    雲端平台的確係好提議，睇到Google Cloud用嚟做雲端處理，每日用10分鐘一個月10蚊都唔使，但係用嚟做AI訓練連續一個月就夠買一張4060。



Training = $3.465 x 24 (hrs) x 30 (day) = $2,494.8
Deployment and online prediction = $1.375 x 10/60 (hrs) x 30 (day) = $6.875

Vertex AI pricing
https://cloud.google.com/vertex-ai/pricing#vertex-ai-pricing

s84292

雲端平台的確係好提議，睇到Google Cloud用嚟做雲端處理，每日用10分鐘一個月10蚊都唔使，但係用嚟 ...
Bluth_Lai 發表於 2024-5-13 08:39

但人地有48gb 以上vram
(長期做lora 訓練，我日日屌張4090得24gb 唔夠用）

同google 係有免費玩法的，Colab輕量訓練幾個鐘一蚊都唔洗
雖然12gb vram 上限

如果唔係我咁日日做足7/24, 一個月都係玩幾次
有好多平台2~4美金每小時租一張a100 40gb連主機+電費
唔介意大陸server 1 蚊美金都唔洗