LLM 規模持續擴大 記憶體才是未來關鍵
【記憶體才是老大 😂】SanDisk 首席技術官兼執行副總裁 Alper Ilkbahar 接受《日經亞洲》專訪時表示，全球 AI 競賽的重心正在轉移。以往 AI 發展主要追求 CPU、GPU、TPU 的原始算力，但現在單靠算力已不足以應付龐大的數據處理需求，目前的趨勢顯示，記憶體容量才是未來的關鍵。
Alper Ilkbahar 分析，隨著 AI 工作負載的複雜度日益提升，僅靠 GPU、CPU 及 TPU 等原始算力，已不足以應付海量的數據處理需求。特別是隨著大型語言模型（LLM）的架構規模持續擴大、智能化程度提升，模型在運作時必須仰賴更龐大的記憶體容量作支撐。
諸如 OpenAI 的 ChatGPT、Google 的 Gemini 以及 Anthropic 的 Claude 等主流 AI 系統，目前均高度依賴「KV 快取（Key-Value Cache）」技術。KV 快取的功能等同於 AI 的短期記憶，能讓系統記住用戶先前的輸入與對話上下文，從而免去從頭重複計算的時間。
雖然這種方法能顯著提升 AI 的運作速度與效率，但隨著對話內容增長與上下文窗口（Context Window）的擴大，KV 快取對記憶體容量的需求亦呈現爆發式增長。
此外，混合專家模型（MoE）的興起，雖然成功減少了運算資源的消耗，卻大幅增加了對記憶體的需求。這也是業界普遍將當前 AI 競爭形容為「以記憶體為中心」的核心原因。
Alper Ilkbahar 指出，AI 下一波技術突破將會是「高頻寬快閃記憶體（HBF）」。Ilkbahar 表示，該公司目前正積極進行相關晶片設計，預計 HBF 記憶體晶粒（Die）將於今年底提供樣品，而配備控制器的完整產品則預計在明年正式推出。
隨著 AI 推論（Inference）工作負載對記憶體容量的要求越來越高，HBF 將扮演關鍵角色。相較於現行的高頻寬記憶體（HBM），HBF 不僅能提供遠高於 HBM 的儲存容量與記憶體密度，同時還能保持相近的頻寬表現，因此更適合未來 AI 推論的應用需求。目前 SanDisk 已與記憶體巨頭 SK Hynix 展開密切合作，共同制定 HBF 的技術標準。
資料來源:
