过去几年，全球数字化进程加速，不断增长的5G、人工智能、远程办公、工业数据、政务、金融和能源上云的需求，促使云服务商增加了对数据中心基础设施的投入。据第三方机构统计，全球云基础设施增长迅猛，总支出从2020年1400亿美元增长到了2021年的1900亿美元，增长了36%。
数据中心基础设施支出的增加包括对服务器和存储需求的增加，存储需求其中一大部分是企业级固态硬盘的需求。据第三方机构统计，2020年全球企业级固态硬盘市场规模约为161亿美元，到2023年有望增至305亿美元，期间年复合增长率约为24%。
市场需求的增加对于企业级SSD厂商而言无疑是利好，展望未来，在例如容量点、PCIe 5.0平台适配、性能、需求、降本增效等SSD产品层面，如何应对数据中心未来的需求和挑战，则需要企业级SSD厂商对产品规划和设计进行一些思考，本文根据今年美国FMS闪存峰会和OCP会议的一些内容做一些思考和分享。
1. 企业级SSD容量点的演进
按照Omdia对未来企业级SSD容量点应用比例分布预测，随着存储的总容量需求提升及每GB价格的下降，大容量SSD部署比例将会逐年增加。按盘数，2022年4T及以上容量点占比27%，到2026年接近51.5%。2022年8T及以上容量占比较少14.4%，但未来预测8T及以上大容量SSD占比大幅增至38.7%。大容量SSD部署比例的提升，帮助了企业和数据中心降低SSD $/GB成本，进而帮助存储部分降低总拥有成本TCO。
来源Omdia：未来容量点比例分布预测
数据中心如何部署和分配不同容量的SSD盘，一般按照：
·240G-480G小容量SSD：作为服务器Boot启动盘，当前以M.2/2.5寸 SATA SSD为主，企业级SATA SSD成熟、可靠和稳定，$/GB相对较低，成本最优。
· 1T：作为服务器本地存储盘使用为主，用量较少。
·2T-4T：作为服务器所在物理机（宿主机）上的本地硬盘使用，本地盘适用于对存储I/O性能和海量存储性价比有极高要求的业务场景，具有低时延、高随机IOPS、高吞吐量、高性价比等优势。
· 8T-16T：作为块存储云盘使用，云盘是云服务器提供的数据块级别的块存储产品，采用多副本的分布式机制，具有低时延、高性能、持久性、高可靠等性能，可以随时创建、扩容以及释放。
长江存储企业级SATA SSD SE005容量点为240G~1.92T，尺寸2.5寸，顺序读写分别高达540/510 MB/s，随机读写分别高达98/59 KIOPS，小容量点适合作为服务器启动盘使用。
长江存储SE005
1. PCIe 5.0 SSD和CPU平台
按照Intel服务器至强CPU路线图，Intel于2013年推出支持PCIe 3.0接口的Grantley平台，2017年推出支持PCIe 3.0接口的Purley平台，2020年推出支持PCIe 4.0接口的Whitley平台，目前这些平台均在企业级和数据中心中部署。支持PCIe 5.0接口的第一代Sapphire Rapids延迟到2023年Q1发布，随后第二代支持PCIe 5.0接口的Emerald Rapids计划于2023年发布，第三代Granite Rapids、Sierra Forest计划于2024年发布。随着即将到来的搭配Sapphire Rapids CPU的服务器平台，PCIe 5.0 SSD会首发出场，登上舞台，将服务器上的存储带宽提升到一个新的高度。
来源网络：Intel服务器至强CPU路线图
AMD在今年11/12发布了Genoa系列EPYC霄龙 Zen 4处理器,支持128条以上PCIe 5.0接口，适配PCIe 5.0 SSD，并支持通过 Compute Express Link (CXL) 进行内存扩展。同样，PCIe 5.0 SSD的加载将服务器上的存储带宽提升到一个新的高度。
根据AMD最新公布的服务器CPU路线图，基于Zen4架构的Bergamo将于2023年上半年上市，Genoa-X和Siena也将在2023年某个时候上市。至于AMD在2024年在服务器CPU领域的路线图中最重要的部分，可能是计划在2024年底之前的某个时间将其代号为“Turin”的第5代EPYC处理器推向市场。
来源网络：AMD服务器CPU路线图
PCIe 5.0接口速度2倍于PCIe 4.0接口，带宽翻倍。相应的PCIe 5.0 SSD可实现顺序读写性能的翻倍和随机读写性能的大幅提升，例如长江存储企业级PCIe 4.0 NVMe固态硬盘PE310产品，顺序读写分别高达6200/4500 MB/s, 随机读写分别高达1000/380 KIOPS，到下一代PCIe 5.0 SSD，顺序读写和随机读性能基本实现2倍提升。
长江存储PE310
当Sapphire Rapids和Genoa用上PCIe 5.0 SSD，硬件上数据中心的存储性能已经不再是瓶颈，性能瓶颈或许已是系统软件，如何用满和用好PCIe 5.0 SSD的性能，是摆在软件面前的一道课题。但对于企业级SSD厂商而言，使用新一代NAND，设计一款高性能、低功耗、合适尺寸、多容量点、满足客户各种特性需求的PCIe 5.0 SSD，仍是努力要完成的工作。
1. SSD每TB性能
通常云上用户将数据存储在云盘，数据中心云盘按照性能高低和容量大小售卖，售卖价格也是按照不同的性能和容量大小制定的，性能越好容量越大价格越高。如下图，阿里ESSD云盘的性能分为不同的PL0-PL3等级，对用户而言，举例购买到的单盘IOPS计算公式 = min(1800+50*容量，1000K or 100K or 50K…)，单盘吞吐量计算公式 = min(120+0.5*容量，4000 or 750 or 350…)。单盘IOPS和吞吐量性能随着容量增加相应按比例提升。云盘数据存储在后台SSD上，因此对SSD单位容量如每TB性能有了基本的最低要求，才能满足售卖时对用户声称的性能规格。每TB性能 = 单盘性能/容量TB数。
来源阿里云：云盘性能参数表
NAND介质继续往前发展，层数不断增加，一方面带来成本和客户感知的$/GB价格不断下降，另一方面由于新NAND Die容量增大，对于同容量SSD而言可用NAND Die的个数随之减少。例如NAND A Die容量是64GB，随着下一代新层数的NAND的来临，NAND B Die容量变为128GB，同容量SSD中NAND Die个数减少为之前的1/2，因此对NAND读写的并发数减少为之前并发数的1/2，SSD的性能也降为之前的1/2，这就是导致SSD每TB性能下降的一个案例。
作为SSD供应商，当使用新的NAND开发下一代SSD产品之前，解决每TB性能下降变成了要面对的问题，方法有：
1） PCIe前端接口带宽不变，使用新的NAND，设计其单Die容量仍然同前一代NAND Die容量。
2） PCIe前端接口带宽不变，使用新的NAND，Die容量增加一倍，增加单Die内部Plane个数，相当于增加NAND读写并发数来提升SSD系统性能。例如长江存储最新的X3-9070 NAND从之前的X2-9060的4个Plane增加到6个Plane。
3） PCIe接口升级，如从PCIe 4.0过渡到5.0，带宽翻倍，使用新的NAND，虽然Die容量增加一倍，但2X大容量SSD连续读写性能也随着PCIe带宽翻倍而翻倍。
4） PCIe接口升级，如PCIe 4.0过渡到5.0，带宽翻倍，使用新的NAND，Die容量增加一倍，提升NAND Flash IO速度来适配前端PCIe翻倍的数据带宽。例如长江存储最新的X3-9070 NAND支持2400 MT/s接口速度, 相较上一代NAND的1600 MT/s接口速度可极大的提升SSD顺序和随机读写性能。
长江存储三维闪存芯片
由此可见，为了满足数据中心存储每TB性能需求，SSD厂商当开发下一代SSD时，要站在用户角度思考如何保持不低于上一代SSD的每TB性能，提供必要的技术方法进行解决。
1. 需求标准化
数据中心对SSD的需求多样化和碎片化，不仅国内各家都不一样，国内和国外也不尽相同。同时由于其对SSD需求的某些细节机密无法对外公开，一部分SSD原厂供应商凭借和客户的良好关系可以获取，而其它供应商则无法获得，导致这些供应商的设计和客户数据中心的实际应用脱节，不符合要求。基于此，Meta、Microsoft、HPE、DELL-EMC主导和组织发布了Datacenter NVMe SSD Specification，链接：https://www.opencompute.org/documents/datacenter-nvme-ssd-specification-v2-0r21-pdf。 现今OCP发展到了2.0版本，成为国外几家云数据中心事实上要支持的标准，同时为企业级SSD厂商理清了数据中心的关键需求。
启动盘方面，当前以成熟的 SATA SSD为主，将来会往PCIe NVMe SSD迁移，原因：第一服务器主板和CPU会逐渐取消SATA接口；第二PCIe NVMe SSD相较SATA有更多的优势。为了统一PCIe NVMe启动盘的需求，OCP发布了启动盘SSD第一份Spec规范：https://www.opencompute.org/documents/hyperscale-nvme-boot-ssd-specification-v1-0-pdf。这份规范为启动盘SSD厂商规定了启动盘所需要的NVMe命令集、PCIe接口配置、可靠性、寿命、性能、安全、调试和FA失效分析等需求。
2. SSD安全规范
SSD作为数据中心存储关键部件，其安全问题一直以来备受重视，OCP 2.0定义了数据中心对SSD的安全规范，给SSD厂商提出明确的需求：
·固件升级签名校验和每次启动时使用密码学进行对称密钥身份验证，防止非法升级固件和非法篡改固件。
· 固件版本不能回退，只能向后更新的版本升级。
· 用户数据使用XTS-AES-256 or AES-256加密，SSD盘支持Opal v2.01，防止用户数据泄密。
· SSD支持安全启动，如果遇到安全启动失败，用户将不能访问此盘。
·Telemetry和Debug日志，实施安全审查，包括固件代码审查，防止盘上用户数据被窃取。
· SSD出厂后Debug端口被禁止，防止黑客利用Debug端口Hack SSD。
· SSD vendor unique commands一般被禁止使用，只有通过一种使用非对称密码方案的质询响应才能打开。
· 任何和SSD安全相关的问题，必须保持私密，和客户确认前不能公开。防止外界或他人了解安全漏洞后进行Hack SSD。
· SSD盘上的用户数据和系统数据，需要在NAND物理上分开存储。
·其他……
3. 特性需求：ZNS等
相比较传统的SSD，近年来出现的ZNS SSD具有特别的几点优势：
· 降低SSD TCO ß 零OP NAND，减少DRAM Size。
·提升寿命 ß 减少写放大。
· 提高性能 ß 主机控制SSD device-side垃圾回收，极大降低稳态QoS时延和提高写入吞吐量。
·数据隔离 ß 降低多租户因不同数据访问造成的性能和时延的影响。
ZNS SSD在零OP条件下，写放大可以做到近似接近1，相比较7% OP传统SSD，写放大是其1/3。使用ZNS特性的QLC(3K PE) SSD其寿命(DWPD)几乎可以做到等同于传统TLC(7-10K PE) SSD的寿命，但QLC由于一个单元存储4比特位数，相较于TLC成本可以降低20%以上，因此ZNS+QLC SSD可以获得降本的收益。
数据中心一直在追求SSD盘的降本增效，ZNS结合TLC SSD的高性能和QLC SSD大容量特性，在数据中心可能的应用如下：
未来，数据中心会为了应对业务应用新需求、增加新应用、降低存储总拥有成本TCO，使得对于企业级SSD新特性的需求，永远不会停歇。这些新特性需求不仅仅局限于ZNS，而且包括了如CXL、SR-IOV、Stream、CMB、CSD等特性，本文暂不做展开。
1. 采用QLC SSD
目前企业级TLC SSD已经主导数据中心SSD存储部件，QLC NAND及SSD已经推出多年，有一些少量的部署和采用，但距离普及和规模部署还有一段距离，原因大致：一是QLC SSD相较TLC SSD价格差距没到甜蜜点；二是供应商单一；三是相应的上层软件适配和生态没有成熟；四是缺乏灯塔应用标杆项目，所以数据中心都在观望。
但随着更多的供应商提供企业级QLC SSD产品，QLC SSD价格的进一步下探，应用软件和生态的逐渐成熟，并有新的技术如ZNS的结合以减少QLC SSD写放大提升其寿命，以及国内外厂商部署使用QLC SSD的良好案例，像Vast Data带来的示范效应，数据中心越来越多的部署和采用QLC SSD将会成为趋势，毕竟够用、好用及降本是数据中心对存储一直不断追求的目标。
最后，数据中心SSD的未来需求当然不止以上这些，除了一直不变的高性能、低功耗、高可靠性和降本的需求之外，随着CPU平台和SSD相关新技术的出现以及NAND介质的发展，面向数据中心的应用对存储会不断提出新的想法和新的需求，需求落地、优化和推动产品迭代，产生出新的更好的SSD产品。
长江存储一直在持续理解和消化数据中心对SSD的需求、标准和应用，布局企业级SSD产品，基于Xtacking®架构的三维闪存技术NAND，已经推出了包括SE005、PE310等产品。借助Xtacking®架构的优势，实现行业领先的I/O速度、更高的存储密度并提供高品质保障的企业级SSD产品。
