NAND 快閃記憶體技術如何重塑 AI 時代的數據中心儲存
人工智能（AI）重塑了數據中心架構的設計格局，並為數據處理與儲存在效能、複雜性和成本等方面帶來新挑戰。儘管GPU、CPU和AI加速器備受關注，但是「儲存」本身正在經歷復興。無論是配置與優化方式，或是數據中心機架內的物理部署位置，皆迎來全面變革。
而NAND快閃記憶體則是上述討論的核心，原因在於其建構了高密度、非揮發性的數據通路，並為AI模型訓練、數據流轉和推理提供支援。企業級固態硬碟（eSSD）在其中擔當的角色尤為重要。基於NAND快閃記憶體技術的eSSD可提供當今超大規模運算環境所需的數據密度、可靠度、吞吐量和耐久度。
在這一背景下，數據中心eSSD正朝著兩個截然不同的方向發展。第一種方向是運算優化型eSSD，其部署位置更靠近GPU，以滿足高效能工作負載須高速、低延遲存取大型數據集的要求。運算優化型eSSD亦可應對指數級增長的鍵值快取（KV Cache），這類快取既需要大容量儲存，亦需要運算級效能。第二種發展方向是容量優化型eSSD，透過平衡大容量數據儲存與快閃記憶體的速度及可靠度，服務為GPU大規模提供數據的密集型數據湖。這兩類新興的NAND快閃記憶體層級，正在為支援AI應用所需的基礎架構奠定重要基石。
全新設計挑戰：AI時代的數據分層
傳統數據中心設計通常會形成一種相對統一的層級，其中基於NAND快閃記憶體的eSSD同時支援時延敏感型和通用型儲存需求。然而，由於目前AI數據管道的工作負載日趨多樣化，這種模式已不再適用。數據中心架構師面臨的挑戰已從數據部署，擴展至數據分層。
原因在於AI工作負載涵蓋從數據攝取、準備，到訓練和推理等多個階段，而每個階段對效能和容量的要求各不相同。例如，AI模型訓練需要持續的吞吐量，以及對大型數據集的平行存取。AI推理則會引發更碎片化的存取模式，通常需要更小規模、更高頻的數據讀取，更加注重數據上下文訊息的保留。這便需要採用新型配置，以便在同一部署環境中兼顧高效能和大規模的數據儲存。
這種演進亦體現在物理部署層面。儲存設備不再局限於單一位置。時延敏感型數據應緊鄰運算節點部署；容量密集型數據則可被分解並重新分區。在遠端網絡儲存等部署場景中，數據甚至可以被遷出緊鄰的運算區域。
在此背景之下，數據中心工程師不只是負責搭建系統，亦需要規劃、分配全新的數據儲存佈局方式。過程中，他們必須決定哪些數據應部署在靠近運算節點的位置，哪些數據應被部署在其他位置，以及各個儲存層級如何在實際工作負載下協同運作。
近運算型eSSD：為GPU提供數據支持
靠近運算的NAND快閃記憶體（通常被稱為運算型eSSD）會部署在高價值GPU和加速器附近，並可透過相關技術，繞過CPU與系統記憶體實現直接存取。此類固態硬碟專為在高並發場景下支援低延遲、高IOPS和穩定效能而優化，以應對模型加載、檢查點保存和推理快取等應用場景的需求。在這些應用場景中，延遲會直接影響系統吞吐量。
隨著存取模式逐漸向更小的數據單元及更頻繁的存取轉變，AI工作負載亦進一步推動上述需求。為了滿足更精細、響應速度更快的儲存需求，運算型eSSD透過同一種固態硬碟架構，以承接兩類截然不同的應用場景。最初，運算型eSSD負責處理AI模型訓練中的數據流轉和檢查點保存。然而，隨著推理與AI智能體日益普及，加上模型和參數規模爆發式增長，鍵值緩存卸載作為第二類應用場景應運而生，現已成為NAND快閃記憶體在AI數據中心領域裡最蓬勃的發展機會之一。
正因如此，運算優化型NAND快閃記憶體常被視為記憶體層級的延伸。作為卸載鍵值快取的大容量儲存池，這類NAND快閃記憶體佔據DRAM和傳統儲存之間的生態位，助AI基礎架構擴展上下文視窗，超越封裝記憶體的物理限制。
大容量NAND快閃記憶體：擴充數據湖
另一方面，大容量NAND快閃記憶體支撐AI數據湖的迅速發展。AI或未會催生新的數據類型，但卻改變了數據的存取方式。AI訓練通常需要高速讀取整個數據集，而非僅查詢子數據集。因此，「高速」數據湖應運而生，其數據吞吐量和可存取性與儲存容量同等重要。
大容量eSSD專為儲存密度和能效而優化。其價值核心指標不再是延遲的時長，更在於單位功耗下可儲存和傳輸的數據量。因此，容量優化型eSSD尤其適用於成本、空間和能耗預算有限的大規模「冷」數據儲存場景。
不過在某些情況下，隨著數據存取頻率提升，原本的「冷」數據正逐漸升溫。對於此類場景，相較於快閃記憶體與機械硬碟混合的傳統分層架構，全快閃記憶體解決方案能夠更好地滿足數據存取需求。在此背景下，NAND快閃記憶體密度的提升正在改變產業格局，使基於快閃記憶體的數據湖在大規模部署時，可以兼顧容量和效率。
QLC NAND快閃記憶體技術與規模化經濟效益
NAND快閃記憶體，尤其是四層單元（QLC）NAND快閃記憶體，是此次數據中心轉型的關鍵。QLC透過在每個儲存單元容納4位元數據（對應16個電壓狀態），顯著提升儲存密度。儘管其效能不及部分高階NAND快閃記憶體，但其價值在於規模部署後可實現更低的每位元成本和更高能源效率。
這些特性讓QLC快閃記憶體成為容量優化型儲存的理想之選。它使數據中心能夠將多塊機械硬碟整合為單一快閃記憶體設備，從而減少物理佔用空間與能耗。
同時，QLC快閃記憶體亦支援分層更精細的記憶體架構。架構師無需依賴單一儲存設備，即可為不同工作負載分配不同層級的NAND快閃記憶體。高效能NAND快閃記憶體可專門用於近距離運算側任務，而基於QLC快閃記憶體的儲存裝置則可支援數據湖和大規模儲存需求。
專為功耗、密度與擴展而設計
如今，功耗對於AI基礎架構建設的影響，已不亞於物理佔用空間。隨著GPU集群規模不斷擴大，每瓦特電力都成為至關重要的資源考量。
儲存設備的評估標準也因此改變。產品效能固然重要，但能源效率如今已成為關鍵考量。許多情況下，數據中心會優先選用每瓦特下能提供最大容量或頻寬的儲存解決方案，而非單純追求峰值效能。
儲存密度是另一個重要考慮因素。NAND快閃記憶體與封裝技術的升級，有助於在既定空間內大幅提升儲存容量。這使數據中心在擴展儲存規模的同時，無需按比例增加功耗和散熱投入。
不過，以上優勢也帶來了全新規劃標準。架構師必須仔細權衡該如何配置儲存資源、如何隨時間推移擴展規模，以及如何與現有基礎架構整合。資源配置不足仍是常見挑戰，尤其是在增長預估偏低且擴展路徑模糊的情況下更為顯著。
重新思考AI數據中心的記憶體層級架構
運算優化型與容量優化型NAND快閃記憶體的出現，反映數據中心設計層面更廣泛的變化。
儲存不再是僅用於存放數據的被動層。透過影響運算資源的利用效率及AI工作負載的擴展效果，儲存可以決定系统的效能。
這一趨勢催生了重新評估數據中心記憶體層級架構的需求——不再沿用傳統儲存架構，新架構會以部署臨近度、工作負載適配程度及數據傳輸為核心導向。同時，這亦將問題從部署儲存量，擴展至部署儲存的位置。
隨著AI更新迭代，敢於挑戰常規、並調整策略以區分近運算儲存與大容量儲存的架構師，可以更好地建構兼具可擴展度與高效的數據中心基礎架構。
*本文由 Sandisk 工程高級副總裁 Mrinal Kochar 撰寫
