知唔知 openAI / ChatGPT 架構?

hkepcu1

大家有冇了解過  openAI / ChatGPT 架構?
點解之前有咁多 AI 項目都做唔起? 因為 deep learning 個架構有新的突破?

ghostkcleung

了解？喺香港想淨係用都用唔到。

cyberyeah

了解？喺香港想淨係用都用唔到。
ghostkcleung 發表於 2023-4-2 01:12

點會用唔到

via HKEPC IR Pro 3.6.1 - Android(3.3.1)

ghostkcleung

以我所知，首先需要一個外國電話號碼收 SMS，
之後仲要外國 VPN。

如果有其他方法請指教。

點會用唔到

via HKEPC IR Pro 3.6.1 - Android(3.3.1)
cyberyeah 發表於 2023-4-2 06:14

javacomhk

Chatgpt 架構嘅成功在於人才，海量及乾淨的數據，Nvidia GPU 硬件。

(1) OpenAI 有豐富的人才資源，包括科學家、工程師、數據分析師等。

(2) ChatGPT對搜索答案的整合，而搜索引擎的海量數據是其優勢。ChatGPT可以通過數據演算法去提供擬人的回應，而且話題不限和能夠提供參考資料等。除此之外，ChatGPT還可以與人類進行不同領域的對話、撰寫論文、解答學術疑難等，甚至輕鬆通過律師資格試及工程師面試。

(3)  ChatGPT的硬件運行速度優勢在於其可以在GPU上運行，並且可以使用分佈式訓練，這使得它可以在更短的時間內訓練更大的模型。此外，ChatGPT還可以使用混合精度訓練，這可以使其在保持模型精度的同時，加快訓練速度。

hkepcu1

Chatgpt 架構嘅成功在於人才，海量及乾淨的數據，Nvidia GPU 硬件。

(1) OpenAI 有豐富的人才資源，包括科 ...
javacomhk 發表於 2023-4-2 01:25 PM

    (1) 錢可以解決?
    (2) 但還沒有 deep learning 的自我學校能力?
    (3) 有 GPU 都要有一個好的 models, architects, and algorithms?

javacomhk

錢未必可以解決以上問題。
例如ChatGPT 是基於Transformer 的 深度學習模型在2017年由Google 嘅人提出來的理論可以並行訓練，接著Open AI 就將它發展出來成為GPT 「生成式預先訓練」但是它的技術及實現的 API 是 closed source 的。 反而Google 自己的Bard 就被人發現錯誤資訊，證明有海量數據但不夠乾淨。
大陸都有錢，但可以吸引到這些海量的人才科學家嗎，及有乾淨的數據嗎？ 佢可以買到Nvidia 這些專屬的晶片運行嗎？

kofz

錢未必可以解決以上問題。
例如ChatGPT 是基於Transformer 的 深度學習模型在2017年由Google 嘅人提出來的 ...
javacomhk 發表於 2023-4-3 14:30

佢可以買到Nvidia 這些專屬的晶片運行嗎？

雖然被美帝制裁限制供貨

但聽講n卡會特供半速卡嚟回避

via HKEPC IR Extreme 4.2.3 - Android(4.2.0)

hkepcu1

https://zahere.com/how-chatgpt-w ... ls-you-need-to-know

marlin12

hkepcu1 發表於 2023-4-4 08:42

How ChatGPT Works: The Architectural Details You Need to Know

呢篇野只係講咗ChatGPT既NLM(natural language model)，怎樣用transformer和self-attention既方法，去跟人類以語言溝通(了解和生成語句)。

Why is ChatGPT so good？

呢篇先至講出ChatGPT優勝之處：
(因為有太多專業用語，唔識點翻譯，所以直接把重點用英文列出來)
> GPT-3, released in 2020, is a whopping 175B parameter model pre-trained on a corpus of more than 300B tokens.
> Next, fine-tuning the LLMs with instruction datasets - require many human annotators (with expertise in diff areas) take a long time to built
> Finally, use RLHF(Reinforcement Learning with Human Feedback ) to build up a reward model (rates how good the original language model response), and then use the reward model to fine-tune ChatGPT using reinforcement learning.