侵權投訴
訂閱
糾錯
加入自媒體

AI時代的存力騰飛

圖片

?在數字經濟大潮下,數據已經成為新型的生產資料。

目前數據中心有三大力量:計算的力量——算力、存儲的力量——存力、運輸的力量——運力,即網絡的力量。

算力產業鏈正在火熱發展的同時,存力的需求也大幅度提升。2023年上半年,我國存力規模增長了23%,達到了1080EB。

為何存力越來越受到重視?因為不論大模型演進還是算力中心發展,都離不開海量的數據基礎,和數據息息相關的存儲。

中國工程院院士倪光南曾指出:“各地都在建AI算力中心,往往大家關心的就是每秒多少次的運算,這是算力,這顯然很重要。但是AI計算從科學的角度來看應該用廣義的算力來表示,存力、算力和運力三者合起來構成廣義算力。”

01

存力的定義

隨著智能世界的到來,數據量正在以驚人的速度增長,預計到2030年,全球數據將進入YB時代。

有數據的地方就需要數據存儲,如何將數據進行妥善、安全地存儲,就顯得尤為重要,有賴于數據存儲的綜合能力,即數據存力。

計算存儲能力的容量,采用單位GDP存儲容量來確保不同國家的可比性,即用數據存儲空間容量除以GDP規模。每一萬美元GDP對應的存力容量越高,表明該國的數據存力容量水平越高,該國數字經濟在GDP中的滲透程度越高,能更好支撐經濟社會高質量發展。

圖片

各國單位GDP存儲容量表現

測算結果顯示,新加坡、捷克、美國等發達國家的單位GDP存儲容量較高,每一萬美元的GDP對應的存儲容量分別達46.7GB、33.4GB、33.3GB,存儲在經濟發展中的支撐能力較為明顯。南非、俄羅斯、中國等經濟體量較大的發展中國家處于中間水平,每一萬美元GDP對應的存儲容量在23GB和31GB之間。

通過計算一國數據存儲容量除以一國數據總產量可以反映當年一個國家或地區所生產的所有數據中,有多大占比可以被存儲,以反映存力的充足性可以衡量一個國家的數據存力是否足夠充足以支撐其經濟社會高質量的發展需求。

圖片

各國數據存力充足性表現

全球范圍內,每萬億美元GDP匯聚的數據量均保持14.5%的快速增長態勢,北美的美國、加拿大等發達國家更是達到16.8%,反映出數據量增長的迅猛之勢。

存力投資增長率指標使用2017年-2019年三年間各國的存儲投資的年復合增長率來衡量各國增長動能。高增長率體現的是在各國已有的數據存儲規模之上數據存儲的發展速度和潛力。

圖片

各國存力投資增長率表現

沙特、中國、俄羅斯等發展中國家的存儲市場增長迅速2017-2019年復合存力投資增長率均超過40%。

存力作為算力的重要組成部分,隨著大模型對算力需求的爆發式增長,行業對存儲能力提出了更高的需求,先進存力也成為了算力高質量發展的重要發展方向。

02

AI時代,存力如何演進?

AI時代對于存儲提出了更多的要求:

高速數據處理:尤其是深度學習模型,AI需要快速處理和分析龐大數據集,這要求存儲系統必須具備高效的數據讀寫能力。

大容量存儲:隨著數據量的劇增,存儲系統需要更大的空間來容納訓練數據、模型參數及推理結果。

低延遲訪問:實時AI應用對存儲系統的響應速度要求極高,低延遲的存儲解決方案能顯著提高處理速度和應用響應時間。

可擴展性:存儲系統必須能夠隨著AI應用的擴展而靈活增長,適應日益增長的存儲需求。

按照調取速度的快慢和成本的高低,AI時代需要的內存和存儲器可以分為四種。

最末的層級,處于金字塔的低端,對應的是速度較慢的、成本較低的SSD存儲產品。

SSD屬于數據存儲的底座,相較于DRAM解決的主要是計算時數據傳輸的問題,巨量數據保存還是依靠NAND Flash制成的SSD、嵌入式存儲。

“SSD(固態硬盤)將成為AI的一部分。” 花旗分析師Peter Lee日前發布報告,提醒投資者注意即將到來的“更換周期”,SSD可能會取代硬盤驅動器用于AI。他指出,SSD“更適合AI訓練應用”,因為其速度較HDD快40倍。

SSD的演進主要通過兩方面:一方面是容量,另一方面是性能和功耗。

一方面,AI時代對于高容量的SSD需求正在快速上升。需要SSD不僅有更大的存儲容量,還要能夠在不犧牲性能的前提下,通過技術的改進等提高NAND密度。

隨著 TLC 閃存架構開始達到原始存儲容量的極限(就像之前的 SLC 和 MLC 一樣),QLC 代表了希望不斷突破主流消費 SSD 容量極限的 SSD 制造商的未來。目前,存儲廠商都已經發布QLC閃存。

圖片

三星發布的新一代 QLC NAND 閃存,其面積密度極高,達到每平方毫米 28.5 Gbit。SK海力士的子公司,Solidigm推出了采用QLC閃存的61.44 TB D5-P5336 SSD產品。

從最新的需求來看,TrendForce集邦咨詢表示,第二季AI服務器對大容量SSD的需求持續看漲,除了推升第二季Enterprise SSD合約價格續漲超過兩成,預估第二季Enterprise SSD營收成長幅度仍有機會續增20%,QLC大容量產品的需求動能明顯優于其他容量。

另一方面,在性能和功耗方面,隨著數據中心對于存儲設備速度要求的不斷提升,SSD需要提供更高的IOPS(每秒輸入輸出操作次數)和帶寬(GBPS),同時在保證高性能的同時必須有效控制功率消耗,實現單位性能所需的能耗降低。

圖片

協議接口和NAND接口速率是最大助力點。目前,為了追求高性能,NVMe/PCIe SSD是數據中心的高性能標配。

PCIe5.0的規范早在5年前就已經發布,不過散熱、信號損耗等問題一直是阻止PCIe5.0 SSD在PC市場推廣的重要原因。不過,隨著技術的普及,PCIe5.0的市場份額將不斷擴大。三星半導體也預計,PCIe5.0很快會應用于PC端的SSD產品。

此外,目前PCIe 6.0已經發布,將把數據傳輸速率從PCIe 5.0的32 GT/s和PCIe 4.0的16 GT/s提高到每引腳64 GT/s,PCIe 6.0 ×16通道單向理論數據傳輸速度達到了128 GB/s(雙向256 GB/s)。

第三層級,則是可以以更高性價比給大模型提供跟大容量的CXL的內存擴展方案。

需要注意的是,PCLe是可擴展且有層次的,帶有嵌入式交換機或交換機芯片,支持一個根端口與多個終端連接,例如多個存儲設備(以及以太網卡和顯示驅動程序等其他終端)。然而,這種實現方式在一種帶有孤立內存池的大型系統中存在局限,這種系統中的處理器和加速器在同一個 64 位地址空間內共享相同的數據和內存空間進行異構計算。

圖片

與使用 CXL 的替代實現方案相比,缺乏緩存一致性機制會導致這些應用的內存性能低下,延遲不可接受。

因此,雖然 64GT/s 的 PCIe 6.0.1 的引入有助于增加存儲應用程序的可用帶寬,而延遲增加很少或沒有增加,但一致性的缺乏仍然限制了 PCIe 應用程序,如傳統的 SSD 這種塊存儲設備。對于這些存儲應用,使用 PCIe 作為傳輸接口的 NVMe 已經占據了 SSD 技術的主導地位。正在開發中的下一代 SSD,它們將使用 CXL 接口替代 PCIe。

從產品來看,三星有兩款CXL存儲模組用在數據存儲方面。一款是已經推出的第一代基于SoC的CXL2.0產品CMM-D,三星半導體計劃在2025年發布搭載第二代控制器、容量為128GB的新產品。與此同時,三星還在不斷研發同時使用NAND和DRAM的混合式CXL存儲模組架構CMM-H,該架構針對AI和ML系統使用。

美光推出了CZ120 CXL內存擴展方案,最多可以擴展2TB內存容量。此外,添加可擴展內存后,Llama2 LLM的推理性能提升了22%,可以更大程度釋放GPU性能。

第二層級,是速度更快,價格也更高的DDR內存。

DDR、LPDDR、GDDR是基于DRAM的三種內存規范或標準。DDR因其性能和成本優勢成為目前PC和服務器端主流內存。

2020年,為解決從客戶端系統到高性能服務器的廣泛應用所面臨的性能和功耗挑戰,JEDEC(固態技術協會)正式發布了下一代主流內存標準DDR5 SDRAM的最終規范(JESD79-5)。

JEDEC將DDR5描述為一種“具備革命意義”的內存架構。

與DDR4相比,DDR5具備更高速度、更大容量和更低能耗等特點。DDR5內存的最高傳輸速率達6.4Gbps,比DDR4高出一倍。如今,無論是 PC、筆記本電腦還是人工智能,各行業正在加速向 DDR5 新紀元邁進。

2024年年初DDR5供不應求,缺口達3%。據市場消息人士預測,得益于生成式人工智能(GenAI)的需求,DDR5在內存市場的滲透率將加速增加,預計將在2024年下半年達到兩位數百分比。

目前在AI服務器中的另一個趨勢則是DDR轉向GDDR。

DDR存儲器的設計延遲極低,它的目的是盡可能快地傳輸少量緩存數據,來配合CPU進行串行計算。而顯卡多為并行任務,有大量重復存取需求,但它對于延時的要求沒有CPU那么高。于是,具有更大帶寬和更高頻率的GDDR出現了。

今天GDDR的標準更新到了第七代,也就是GDDR7。美光已經宣布了將用于顯示卡的新一代GDDR7顯示存儲器開始送樣測試,相比前一代GDDR6顯示存儲器將可提升60%資料傳輸頻寬,同時也新增睡眠模式,將使待機能耗降低70%。

第一個層級處于金字塔頂端,對應工作速度非?,但是成本非常昂貴的內存,比如HBM。作為內存芯片,它可以將大量數據快速喂養給GPU。

HBM是高帶寬存儲器,是基于3D堆棧工藝的高性能DRAM,其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起,實現大容量,高位寬的DDR組合陣列。

HBM 解決了傳統 GDDR 遇到的“內存墻”問題,采用了近存計算架構,不通過外部連線的方式與 GPU/CPU/Soc 連接,而是通過中間介質層緊湊快速地連接信號處理器芯片,極大的節省了數據傳輸所使用的時間與耗能。

圖片

HBM的技術方面已經發展至第五代。分別是:HBM(第一代)、HBM2(第二代)、HBM2E(第三代)、HBM3(第四代)、HBM3E(第五代)。對于規格更高的HBM4,可能在2026年推出。

HBM的市場方面,在2023年的全球HBM市場,SK海力士市占率有望提升至53%,三星市占率為38%、美光市占率約為9%。不過,5日美光宣布預計2024會計年度將搶下HBM市場超過20%的份額。AMD 和 NVIDIA 兩家尖端的 GPU都陸續配備了 HBM。

03

存儲的下一站:存算一體

到這里,我們已經能看到存力不斷演進的過程。

從一開始的數據存儲SSD,再到數據計算DDR5,再到進一步解決數據傳輸問題的HBM,存儲一直在解決數據存取的效率問題。因此,存儲的下一步,關鍵還是在打破“存儲墻”。

存算一體的優勢正是解決傳統馮·諾依曼架構下的“存儲墻”和“功耗墻”問題。消除不必要的數據搬移延遲和功耗,并使用存儲單元提升算力,成百上千倍的提高計算效率,降低成本。

AMD、特斯拉、三星、阿里巴巴等公司都曾在公開場合表示,下一代技術的儲備和演進的方向是在“存算一體”技術架構中尋找新的發展動能。

例如,阿里達摩院就曾表示,相比傳統CPU計算系統,存算一體芯片的性能可以提升10倍以上,能效提升超過300倍。

目前,存算一體的技術路徑大致分為近存計算(PNM)、存內處理(PIM)、存內計算(CIM)。國際巨頭比如英特爾、IBM、特斯拉、三星、阿里等,探索磁性存儲器(MRAM)、憶阻器(RRAM)等產品相繼量產;國內方面知存科技、億鑄科技、九天睿芯等初創公司都在押注PIM、CIM等“存”與“算”更親密的存算一體技術路線。

       原文標題 : AI時代的存力騰飛

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

光通訊 獵頭職位 更多
文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

国产视频在