過去幾年，全球數字化進程加速，不斷增長的5G、人工智能、遠程辦公、工業數據、政務、金融和能源上云的需求，促使云服務商增加了對數據中心基礎設施的投入。據第三方機構統計，全球云基礎設施增長迅猛，總支出從2020年1400億美元增長到了2021年的1900億美元，增長了36%。

數據中心基礎設施支出的增加包括對服務器和存儲需求的增加，存儲需求其中一大部分是企業級固態硬盤的需求。據第三方機構統計，2020年全球企業級固態硬盤市場規模約為161億美元，到2023年有望增至305億美元，期間年復合增長率約為24%。

市場需求的增加對于企業級SSD廠商而言無疑是利好，展望未來，在例如容量點、PCIe 5.0平臺適配、性能、需求、降本增效等SSD產品層面，如何應對數據中心未來的需求和挑戰，則需要企業級SSD廠商對產品規劃和設計進行一些思考，本文根據今年美國FMS閃存峰會和OCP會議的一些內容做一些思考和分享。

1. 企業級SSD容量點的演進

按照Omdia對未來企業級SSD容量點應用比例分布預測，隨著存儲的總容量需求提升及每GB價格的下降，大容量SSD部署比例將會逐年增加。按盤數，2022年4T及以上容量點占比27%，到2026年接近51.5%。2022年8T及以上容量占比較少14.4%，但未來預測8T及以上大容量SSD占比大幅增至38.7%。大容量SSD部署比例的提升，幫助了企業和數據中心降低SSD $/GB成本，進而幫助存儲部分降低總擁有成本TCO。

來源Omdia：未來容量點比例分布預測

數據中心如何部署和分配不同容量的SSD盤，一般按照：

·240G-480G小容量SSD：作為服務器Boot啟動盤，當前以M.2/2.5寸 SATA SSD為主，企業級SATA SSD成熟、可靠和穩定，$/GB相對較低，成本最優。

· 1T：作為服務器本地存儲盤使用為主，用量較少。

·2T-4T：作為服務器所在物理機（宿主機）上的本地硬盤使用，本地盤適用于對存儲I/O性能和海量存儲性價比有極高要求的業務場景，具有低時延、高隨機IOPS、高吞吐量、高性價比等優勢。

· 8T-16T：作為塊存儲云盤使用，云盤是云服務器提供的數據塊級別的塊存儲產品，采用多副本的分布式機制，具有低時延、高性能、持久性、高可靠等性能，可以隨時創建、擴容以及釋放。

長江存儲企業級SATA SSD SE005容量點為240G~1.92T，尺寸2.5寸，順序讀寫分別高達540/510 MB/s，隨機讀寫分別高達98/59 KIOPS，小容量點適合作為服務器啟動盤使用。

長江存儲SE005

1. PCIe 5.0 SSD和CPU平臺

按照Intel服務器至強CPU路線圖，Intel于2013年推出支持PCIe 3.0接口的Grantley平臺，2017年推出支持PCIe 3.0接口的Purley平臺，2020年推出支持PCIe 4.0接口的Whitley平臺，目前這些平臺均在企業級和數據中心中部署。支持PCIe 5.0接口的第一代Sapphire Rapids延遲到2023年Q1發布，隨后第二代支持PCIe 5.0接口的Emerald Rapids計劃于2023年發布，第三代Granite Rapids、Sierra Forest計劃于2024年發布。隨著即將到來的搭配Sapphire Rapids CPU的服務器平臺，PCIe 5.0 SSD會首發出場，登上舞臺，將服務器上的存儲帶寬提升到一個新的高度。

來源網絡：Intel服務器至強CPU路線圖

AMD在今年11/12發布了Genoa系列EPYC霄龍 Zen 4處理器,支持128條以上PCIe 5.0接口，適配PCIe 5.0 SSD，并支持通過 Compute Express Link (CXL) 進行內存擴展。同樣，PCIe 5.0 SSD的加載將服務器上的存儲帶寬提升到一個新的高度。

根據AMD最新公布的服務器CPU路線圖，基于Zen4架構的Bergamo將于2023年上半年上市，Genoa-X和Siena也將在2023年某個時候上市。至于AMD在2024年在服務器CPU領域的路線圖中最重要的部分，可能是計劃在2024年底之前的某個時間將其代號為“Turin”的第5代EPYC處理器推向市場。

來源網絡：AMD服務器CPU路線圖

PCIe 5.0接口速度2倍于PCIe 4.0接口，帶寬翻倍。相應的PCIe 5.0 SSD可實現順序讀寫性能的翻倍和隨機讀寫性能的大幅提升，例如長江存儲企業級PCIe 4.0 NVMe固態硬盤PE310產品，順序讀寫分別高達6200/4500 MB/s, 隨機讀寫分別高達1000/380 KIOPS，到下一代PCIe 5.0 SSD，順序讀寫和隨機讀性能基本實現2倍提升。

長江存儲PE310

當Sapphire Rapids和Genoa用上PCIe 5.0 SSD，硬件上數據中心的存儲性能已經不再是瓶頸，性能瓶頸或許已是系統軟件，如何用滿和用好PCIe 5.0 SSD的性能，是擺在軟件面前的一道課題。但對于企業級SSD廠商而言，使用新一代NAND，設計一款高性能、低功耗、合適尺寸、多容量點、滿足客戶各種特性需求的PCIe 5.0 SSD，仍是努力要完成的工作。

1. SSD每TB性能

通常云上用戶將數據存儲在云盤，數據中心云盤按照性能高低和容量大小售賣，售賣價格也是按照不同的性能和容量大小制定的，性能越好容量越大價格越高。如下圖，阿里ESSD云盤的性能分為不同的PL0-PL3等級，對用戶而言，舉例購買到的單盤IOPS計算公式 = min(1800+50*容量，1000K or 100K or 50K…)，單盤吞吐量計算公式 = min(120+0.5*容量，4000 or 750 or 350…)。單盤IOPS和吞吐量性能隨著容量增加相應按比例提升。云盤數據存儲在后臺SSD上，因此對SSD單位容量如每TB性能有了基本的最低要求，才能滿足售賣時對用戶聲稱的性能規格。每TB性能 = 單盤性能/容量TB數。

來源阿里云：云盤性能參數表

NAND介質繼續往前發展，層數不斷增加，一方面帶來成本和客戶感知的$/GB價格不斷下降，另一方面由于新NAND Die容量增大，對于同容量SSD而言可用NAND Die的個數隨之減少。例如NAND A Die容量是64GB，隨著下一代新層數的NAND的來臨，NAND B Die容量變為128GB，同容量SSD中NAND Die個數減少為之前的1/2，因此對NAND讀寫的并發數減少為之前并發數的1/2，SSD的性能也降為之前的1/2，這就是導致SSD每TB性能下降的一個案例。

作為SSD供應商，當使用新的NAND開發下一代SSD產品之前，解決每TB性能下降變成了要面對的問題，方法有：

1） PCIe前端接口帶寬不變，使用新的NAND，設計其單Die容量仍然同前一代NAND Die容量。

2） PCIe前端接口帶寬不變，使用新的NAND，Die容量增加一倍，增加單Die內部Plane個數，相當于增加NAND讀寫并發數來提升SSD系統性能。例如長江存儲最新的X3-9070 NAND從之前的X2-9060的4個Plane增加到6個Plane。

3） PCIe接口升級，如從PCIe 4.0過渡到5.0，帶寬翻倍，使用新的NAND，雖然Die容量增加一倍，但2X大容量SSD連續讀寫性能也隨著PCIe帶寬翻倍而翻倍。

4） PCIe接口升級，如PCIe 4.0過渡到5.0，帶寬翻倍，使用新的NAND，Die容量增加一倍，提升NAND Flash IO速度來適配前端PCIe翻倍的數據帶寬。例如長江存儲最新的X3-9070 NAND支持2400 MT/s接口速度, 相較上一代NAND的1600 MT/s接口速度可極大的提升SSD順序和隨機讀寫性能。

長江存儲三維閃存芯片

由此可見，為了滿足數據中心存儲每TB性能需求，SSD廠商當開發下一代SSD時，要站在用戶角度思考如何保持不低于上一代SSD的每TB性能，提供必要的技術方法進行解決。

1. 需求標準化

數據中心對SSD的需求多樣化和碎片化，不僅國內各家都不一樣，國內和國外也不盡相同。同時由于其對SSD需求的某些細節機密無法對外公開，一部分SSD原廠供應商憑借和客戶的良好關系可以獲取，而其它供應商則無法獲得，導致這些供應商的設計和客戶數據中心的實際應用脫節，不符合要求?；诖耍琈eta、Microsoft、HPE、DELL-EMC主導和組織發布了Datacenter NVMe SSD Specification，鏈接：https://www.opencompute.org/documents/datacenter-nvme-ssd-specification-v2-0r21-pdf。 現今OCP發展到了2.0版本，成為國外幾家云數據中心事實上要支持的標準，同時為企業級SSD廠商理清了數據中心的關鍵需求。

啟動盤方面，當前以成熟的 SATA SSD為主，將來會往PCIe NVMe SSD遷移，原因：第一服務器主板和CPU會逐漸取消SATA接口；第二PCIe NVMe SSD相較SATA有更多的優勢。為了統一PCIe NVMe啟動盤的需求，OCP發布了啟動盤SSD第一份Spec規范：https://www.opencompute.org/documents/hyperscale-nvme-boot-ssd-specification-v1-0-pdf。這份規范為啟動盤SSD廠商規定了啟動盤所需要的NVMe命令集、PCIe接口配置、可靠性、壽命、性能、安全、調試和FA失效分析等需求。

2. SSD安全規范

SSD作為數據中心存儲關鍵部件，其安全問題一直以來備受重視，OCP 2.0定義了數據中心對SSD的安全規范，給SSD廠商提出明確的需求：

·固件升級簽名校驗和每次啟動時使用密碼學進行對稱密鑰身份驗證，防止非法升級固件和非法篡改固件。

· 固件版本不能回退，只能向后更新的版本升級。

· 用戶數據使用XTS-AES-256 or AES-256加密，SSD盤支持Opal v2.01，防止用戶數據泄密。

· SSD支持安全啟動，如果遇到安全啟動失敗，用戶將不能訪問此盤。

·Telemetry和Debug日志，實施安全審查，包括固件代碼審查，防止盤上用戶數據被竊取。

· SSD出廠后Debug端口被禁止，防止黑客利用Debug端口Hack SSD。

· SSD vendor unique commands一般被禁止使用，只有通過一種使用非對稱密碼方案的質詢響應才能打開。

· 任何和SSD安全相關的問題，必須保持私密，和客戶確認前不能公開。防止外界或他人了解安全漏洞后進行Hack SSD。

· SSD盤上的用戶數據和系統數據，需要在NAND物理上分開存儲。

·其他……

3. 特性需求：ZNS等

相比較傳統的SSD，近年來出現的ZNS SSD具有特別的幾點優勢：

· 降低SSD TCO ? 零OP NAND，減少DRAM Size。

·提升壽命 ? 減少寫放大。

· 提高性能 ? 主機控制SSD device-side垃圾回收，極大降低穩態QoS時延和提高寫入吞吐量。

·數據隔離 ? 降低多租戶因不同數據訪問造成的性能和時延的影響。

ZNS SSD在零OP條件下，寫放大可以做到近似接近1，相比較7% OP傳統SSD，寫放大是其1/3。使用ZNS特性的QLC(3K PE) SSD其壽命(DWPD)幾乎可以做到等同于傳統TLC(7-10K PE) SSD的壽命，但QLC由于一個單元存儲4比特位數，相較于TLC成本可以降低20%以上，因此ZNS+QLC SSD可以獲得降本的收益。

數據中心一直在追求SSD盤的降本增效，ZNS結合TLC SSD的高性能和QLC SSD大容量特性，在數據中心可能的應用如下：

未來，數據中心會為了應對業務應用新需求、增加新應用、降低存儲總擁有成本TCO，使得對于企業級SSD新特性的需求，永遠不會停歇。這些新特性需求不僅僅局限于ZNS，而且包括了如CXL、SR-IOV、Stream、CMB、CSD等特性，本文暫不做展開。

1. 采用QLC SSD

目前企業級TLC SSD已經主導數據中心SSD存儲部件，QLC NAND及SSD已經推出多年，有一些少量的部署和采用，但距離普及和規模部署還有一段距離，原因大致：一是QLC SSD相較TLC SSD價格差距沒到甜蜜點；二是供應商單一；三是相應的上層軟件適配和生態沒有成熟；四是缺乏燈塔應用標桿項目，所以數據中心都在觀望。

但隨著更多的供應商提供企業級QLC SSD產品，QLC SSD價格的進一步下探，應用軟件和生態的逐漸成熟，并有新的技術如ZNS的結合以減少QLC SSD寫放大提升其壽命，以及國內外廠商部署使用QLC SSD的良好案例，像Vast Data帶來的示范效應，數據中心越來越多的部署和采用QLC SSD將會成為趨勢，畢竟夠用、好用及降本是數據中心對存儲一直不斷追求的目標。

最后，數據中心SSD的未來需求當然不止以上這些，除了一直不變的高性能、低功耗、高可靠性和降本的需求之外，隨著CPU平臺和SSD相關新技術的出現以及NAND介質的發展，面向數據中心的應用對存儲會不斷提出新的想法和新的需求，需求落地、優化和推動產品迭代，產生出新的更好的SSD產品。

長江存儲一直在持續理解和消化數據中心對SSD的需求、標準和應用，布局企業級SSD產品，基于Xtacking?架構的三維閃存技術NAND，已經推出了包括SE005、PE310等產品。借助Xtacking?架構的優勢，實現行業領先的I/O速度、更高的存儲密度并提供高品質保障的企業級SSD產品。