OpenAI 行政總裁 Sam Altman 在 10 月 29 日播出的 Cheeky Pint Podcast 節目中談及全球記憶體供應緊張，認為把大量 DRAM 放在使用率偏低的個人電腦，未必是有效的資源分配方式。他主張讓 AI 運算更集中於雲端資料中心，以提高有限記憶體的使用率。這番言論亦令本地 AI 與雲端 AI 的取捨再次受到關注。
以電腦記憶體只用 5% 時間為例 質疑本地 AI 推論模式
Sam Altman 在訪問中表示，部分用戶相信開源模型日益普及，日後便可直接在個人電腦執行 AI 推論，減少對大型資料中心的依賴。但他認為在全球記憶體供應受限時，這種想法忽略了硬件資源的整體利用率。
他形容大量珍貴 DRAM 留在個人電腦，卻只有「5% 的時間」被使用，從全球資源分配角度看相當不理想；如果記憶體集中在雲端，便可以讓不同用戶輪流使用，提高資源利用率。
SK hynix：記憶體供不應求可能延續至 2030 年
記憶體短缺並非單靠 Altman 的說法判斷。韓國記憶體製造商 SK hynix 在 10 月 28 日公布第三季業績時表示，AI 基建投資持續增加，先進製程技術難度高，興建新產能又需時，預計記憶體需求高於供應的情況可能持續至 2030 年。
SK hynix 同時披露，已與包括大型雲端服務供應商在內的 14 個主要客戶簽訂長期協議，涉及的訂購量相當於公司 2027 年及 2028 年總產能超過 50%。這些數字反映大型買家正提早鎖定供應，但公司並無將全部合約歸因於單一 AI 企業。
本地運行 AI 有私隱及離線優勢 5% 說法未足以證明雲端全面較佳
本地 AI 讓用戶在自己的電腦上執行模型，資料毋須為每次推論而傳送至第三方伺服器，亦可在沒有網絡連線時繼續使用，雲端平台則可以在大量用戶之間共享運算及記憶體資源。兩種方式的選擇還涉及模型大小、成本、私隱要求和使用頻率。
來源：Cheeky Pint
本文作轉載及備份之用 來源 source: http://unwire.hk
|
鍾意就快D Share啦！
|
|
|
