HBM之父都說了什麼?

sec2100

https://news.futunn.com/hk/post/ ... 6e0d1d277ab26b81719

sec2100

另外，HBM需要很多不同技術，比如量子力學、半導體物理、數學等等。

sec2100

DRAM速度快，但不能長時間保存數據。

NAND Flash容量大，速度相對慢一些，但容量非常大，大概是DRAM的十倍左右，而且可以長時間保存數據。所以它通常用於相機等設備。

剛才說了，HBM是把DRAM堆起來，放在GPU旁邊。但現在的問題是，容量還是不夠。

爲什麼？因爲AI開始講Context Engineering，也就是上下文工程。輸入AI的時候，不再只是輸入文字，還會附上參考文件，甚至附上YouTube視頻。

這樣一來，視頻文件、圖像文件都會急劇增加。於是存儲器容量還要繼續擴大。

在計算過程中，中間階段的數據也都要保存下來。我們一般叫KV Cache，也就是鍵值緩存。

再進一步，如果進入Agentic AI，我可能會僱用10個、100個AI來替我工作。

那AI替我做的工作量，會比我自己多一百倍，而且Agentic AI是24小時工作的。人中間還會休息，還要睡覺。AI不會。所以工作量會大幅增加，存儲器容量也會隨之大幅增加。

即使我們已經把DRAM堆起來了，容量還是不夠。

那還有沒有別的方法？於是就有人提出，把NAND Flash也堆起來。

把NAND Flash堆疊起來，就是HBF。

現在正在開發HBF的公司包括SK海力士、閃迪、三星電子。日本的鎧俠應該也在開發。

最近鎧俠的股價甚至超過$豐田汽車 (TM.US)$，成爲日本股市第一。

美國這邊，做NAND Flash或者HBF的美光、閃迪，股價一直在上漲。

韓國這邊，三星和海力士在做，所以它們的市值排在前面。

現在GPU旁邊會連接兩類存儲器：一種是HBM，一種是HBF。

還有一種說法是，緊挨着GPU、幫助GPU計算的存儲器，叫Hot Memory，也就是熱存儲器。

而我們過去留下的各種記錄，也需要放在旁邊長期保存。AI要記住關於我的信息，這類裝置可以叫Cold Memory，也就是冷存儲器。

現在這兩邊的需求都在增長。

從長期看，我認爲十年以後，NAND Flash和HBF的市場需求，可能會比HBM還要大。

所以現在是HBM的時代，但三星電子和SK海力士必須好好準備，迎接HBF時代。

這是我的主張。

sec2100

我們實驗室現在的想法是，既然一樓太熱，那就把HBM裏的部分GPU功能放到「屋頂」上去，然後在屋頂上裝冷卻塔，從上面直接冷卻。

這是我們提出的核心關鍵架構之一。

我們的學生現在正在圍繞HBM5做碩士、博士研究。我覺得這裏面可能會出現一個很大的成果，可以再等等看。

我們做這類研究，通常會發表很多論文，英偉達、AMD、三星、海力士應該都會看到。

一開始他們心理上可能會抗拒，但如果最後發現「只能這麼做」，那事情就會自然往這個方向滾動起來。

主持人 如果像你說的那樣，未來GPU會進入HBM和HBF內部……

金正浩 我後來還主張，連CPU也應該放進去。

sec2100

SRAM比DRAM快大約一千倍，但容量小很多。

我後來仔細看了看，無論是Cerebras還是LPU，它們都用了SRAM，但容量不夠。

據我所知，Cerebras那顆覆蓋整片12英寸晶圓的芯片，SRAM容量也只有44GB。

而我的判斷是，至少要有440GB，才能真正做點事情。

所以我的想法是，乾脆把整片12英寸晶圓全部鋪滿SRAM，做成一個芯片。然後把這種芯片再堆10層、12層，甚至16層。

這樣一來，容量就可以從100GB級別做到1600GB。

這就非常驚人了。

也就是說，把SRAM做成晶圓級規模，再堆疊起來，然後在上面放GPU。

SRAM速度快一千倍，容量又足夠，那這件事就說得通了。

這種SRAM，我們稱爲HBS，也就是High Bandwidth SRAM。

我未來的夢想是：HBM、HBF、HBS都變成一棟棟百層大樓，最上面放着GPU，再進行冷卻。

這種3D半導體結構，幾乎必然會成爲未來AI計算機的架構。

這可能需要十年、二十年，甚至三十年。

sec2100

但其中最難的技術之一，就是供電。

如果反過來把GPU堆在HBS、HBM上面，就要供應幾千安培的電流。

電源供應網絡設計會成爲最困難的問題。

這會成爲真正的技術力。

無論是SK海力士、三星、美光，還是台積電，都是一樣。

接下來還有一個難題，就是如何冷卻。這會成爲實現這種結構的障礙。

sec2100

但從HBM4開始，因爲裏面會加入GPU功能，還有一個重要功能是：HBM之間開始互相通信。

過去HBM只做GPU吩咐的事情。而我的主張是，未來HBM之間要自己溝通，未來的HBM甚至可以讓GPU之間互相競爭，誰對我更好，我就把更多存儲器資源給誰。

這有點像我們存儲器之間成立一個「組合」或者「聯盟」。

我們自己決定，如果哪個GPU不討我們喜歡，就不給它資源。

大概是這個意思。

這種變化意味着，隨着算法、通信功能、GPU功能都進入HBM，不同公司的HBM設計會變得不一樣。

谷歌、AMD、英偉達，各自需要的HBM設計都會不同。

而一旦進入定製化HBM，開發初期就會先拿到客戶的採購承諾。這叫Long-Term Agreement，長期協議。如果客戶不先承諾採購，開發可能根本不會啓動。

但現在AI企業太需要高性能HBM了，所以它們只能排隊。

於是市場變成了賣方市場，供應商開始決定價格。

這和過去的範式完全不同。