使用 Pliops Extreme 数据处理器 (XDP) 最大化 NVMe SSD

现代服务器设计正在利用不断扩大的加速卡世界来实现新的或增强的功能。虽然许多人在考虑加速时直接使用 GPU，但有一种新型处理器不仅可以解决性能问题，还可以解决数据保护和经济问题。Pliops Extreme 数据处理器 (XDP) 是这些加速器之一，借助基于 QLC 的企业级 SSD，可帮助客户利用性能、容量和经济性的独特组合。

简要了解闪存对数据中心的影响

NVMe SSD 显着影响了服务器和存储性能，尤其是当它们达到 Gen4 速度时。然而，这些收益给系统的其他部分带来了压力，这意味着传统的 RAID 卡架构正在成为阻碍。随着 QLC 闪存的引入，闪存存储游戏再次发生变化。服务器需要新的解决方案来有效地利用这些现代技术。

英特尔，即现在的 Solidigm，是第一个将高质量 QLC SSD 商业化的公司。Solidigm P5316现已成为大容量、经济实惠的企业级 SSD的事实标准。过去，我们在这些驱动器上花费了很多时间，不仅在我们的评论中，而且在可以正确使用驱动器的企业和云部署中。

我们所说的正确使用是什么意思？好吧，QLC SSD 传统上在读取性能方面非常出色，但在写入驱动器时，系统必须更加智能。在我们的 P5316 评论中，我们谈到了一个称为间接单元 (IU) 的术语。这或多或少是驱动器想要写入的块大小。对于 P5316，其 IU 为 64K。虽然您可以将 4K 块写入驱动器，但在性能和写入放大方面效率极低。

深入了解 SSD 的细节对于了解 Pliops XDP 存在的至少一个关键原因非常重要。一方面，它通过聚合和管理 SSD 充当服务器的 RAID 卡。XDP 还受到板载 DRAM 和电源保护的支持，因此它可以合并进入驱动器的写入，以确保优于软件 RAID 的性能和容量利用率。

物联网设备对应用的需求

数据收集继续以惊人的速度增长。让这些数据和相关应用程序随时可用的要求更加明显，在边缘收集洞察力和 AI/ML 应用程序开发的重要性尤为明显。

鉴于容量持续增长，同时变得更具成本效益，企业完全接受 SSD 技术。NVMe 驱动器被广泛采用，其运行速度比硬盘驱动器 (HDD) 快 1,000 倍以上。数据中心正在部署运行 400Gbps 的网络以跟上这些存储设备的速度，而 NVMe-over-Fabrics (NVMe-oF) 等高效协议则突破了系统和基础设施的极限。

随着物联网设备需求以前所未有的速度持续增长，应用程序也变得更加高效。更多的服务器、存储和交换机增加了已经很复杂的环境的复杂性。我们不要忘记高效安全地备份所有这些数据的重要性。

安装 NVMe SSD 似乎可以解决当今企业面临的性能问题。但是，这些 NVMe SSD 并未得到有效利用。摩尔定律落后于 CPU 性能每 20 年翻一番，而不是每两年翻一番。添加更多内核并不能解决性能问题，因为这些内核共享相同的内存和 I/O。通过添加更多服务器，“越多越好”的古老格言会奏效，但这是一种非常昂贵的解决方案，对环境不利。

由于所有这些数据都存储在这些高速 SSD 上，因此通过计算密集型存储任务来处理和管理 CPU 过载已成为一场噩梦。服务器无法满足用户社区的需求，也无法在驱动器发生故障时提供可靠的保护，尤其是在处理更高的性能和容量时。

Pliops Extreme 数据处理器 (XDP) 可为基于 SSD 的存储和保护的许多性能需求提供解决方案。Pliops XDP 是应用程序加速的新基准，可提高您的数据中心基础设施投资的有效性。

正如 GPU 克服了处理效率低下以加速 AI 和分析性能一样，Pliops XDP 克服了存储效率低下的问题，从而大幅提高了性能并显着降低了当今现代应用程序的基础设施成本。Pliops XDP 简化了数据处理和 SSD 存储的管理方式。Pliops XDP 在易于部署的 HHHL（半高、半长）PCIe 卡上交付，可从根本上提高各种数据密集型工作负载的性能、可靠性、容量和效率。

Pliops Extreme 数据处理器架构

Pliops XDP 设计有两个接口供主机访问它，这是提供更高性能的关键。 第一个是标准块接口，采用最广泛，XDP 看起来就像系统中的任何存储设备。一旦安装了 XDP，它就会显示出来。第二个主机接口是 RocksDB 兼容的键值库 API。还支持新兴的 NVMe-KV 标准。此接口是应用程序直接访问 XDP 并获得更高性能的最有效方式。XDP 将块视为一种特殊类型的键值对，因此一切都以相同的方式通过引擎运行。

Pliops XDP 的卓越性能可归因于在硬件中完成大多数功能。使用快速、高效的硬件加速引擎执行线速压缩。键值存储引擎也是基于硬件的。Pliops 将此比作芯片上的 RocksDB。键值引擎是 XDP 的真正主力，执行许多魔法以提供真正的性能优势。

简单地说，当一个块被压缩时，它会创建一个任意大小的对象。Flash 具有固定的块大小，因此这会带来容量管理方面的问题。这是通过合并压缩块、将它们打包在一起、对它们进行排序和索引以便快速检索，然后进行垃圾收集来解决的。随着更新的进行，块被解包并且该过程再次开始。这就是驱动基于软件的解决方案中的写入放大器、读取放大器和空间放大器的原因。从 CPU 的角度来看，主机做出了妥协，因此它不会消耗所有的处理能力。

Pliops 已经实现了计算密集型的极其高效的算法和数据结构。例如，XDP 提供了相当于 500 个至强金核的 RocksDB 性能。

可靠性

传统的数据保护解决方案需要在性能和容量上进行权衡。但 Pliops XDP 通过先进的驱动器故障保护消除了这些折衷，可保持恒定的数据可用性并消除 数据丢失和停机时间。XDP 支持多个单驱动器故障并具有虚拟热容量 (VHC)，无需热备件。因为 XDP 管理数据，所以只重建实际数据，这与基于 RAID 的解决方案不同。换句话说，用户以闪存的速度获得数据保护，性能损失为零。

在突然断电的情况下，XDP 通过自动将元数据和用户数据刷新到非易失性内存中来保存运行中的元数据和用户数据。恢复是自动的，并在使用可用 VHC 容量恢复供电时立即开始，而不会减少可用容量。

容量

Pliops XDP 支持来自任何供应商的所有命令闪存技术、TLC、QLC、英特尔傲腾和 SSD。XDP 的在线压缩实现了多个引擎来防止出现瓶颈，从而使 CPU 摆脱了这种负担。压缩、最小的驱动器故障保护开销和接近完全的驱动器利用率 (95%) 可将可用容量扩大多达 6 倍。可用容量的增加显着降低了每 TB 的成本。

SSD 具有有限的耐用性，这意味着在设备磨损且无法再安全存储数据之前可以写入和擦除的数据量。随着行业采用QLC SSD及以上，耐用性水平降低。由于 XDP 将所有随机写入转换为顺序写入，它消除了这个问题，从而使耐用性提高了 7 倍。

需要注意的是，截至今天，Pliops XDP 支持每卡 128TB 的用户数据。对于需要更多存储的用例，可以在主机系统中利用多个 XDP 卡。

效率

XDP 紧凑而强大，可充分利用现有基础架构，以跟上组织数据增长和应用程序采用的步伐。此外，它很容易在整个数据中心进行部署。Pliops XDP 可以在各种工作负载中提供高达 80% 的经济效益。

高级功能

Pliops XDP 高级功能包括：

具有高性能和一致性能的标准块设备

毫不妥协 驱动器故障保护 (DFP) 可防止多个单一驱动器故障

通过压缩、高驱动器填充和最小的 DFP 开销扩展可用容量

虚拟热容量消除了对专用热备件的需求

减少写入放大器可延长 TLC 和 QLC SSD 的使用寿命

通过仅将用户数据重建到分配的虚拟热容量来快速恢复

用户可配置的重建率以平衡性能

在突然断电的情况下提供全面的数据和元数据保护

平衡过度配置并提高性能

Pliops XDP 通过使企业和云应用程序能够以高达 1,000 倍的速度访问数据，仅使用传统计算负载和功率的一小部分，从而充分发挥闪存存储的潜力。

Pliops XDP 将有助于将数据库、分析、AI/ML 等的性能提高 10 倍。 突破性的数据结构和算法提供了相当于数百个主机软件核心的性能。XDP 在系统中以块设备的形式出现并加速任何应用程序。借助 MySQL、MongoDB 和 Cassandra 等数据库，Pliops XDP 可提高实例密度，同时减少 MySQL、MongoDB 和 Cassandra 等数据库的延迟。

我们在戴尔 PowerEdge R750 和四个 Solidigm P5316 30.72TB QLC SSD 内的实验室中测试了 Pliops XDP 的性能。我们比较了使用 mdadm 的软件 RAID0 与使用 RAID5 配置的 XDP 的性能，两者都使用 64K 块大小。这将更多的工作放在 XDP 卡上，旨在展示软件 RAID 的最高性能配置。mdadm 是用于构建、管理和监视 Linux md 设备（也称为 RAID 阵列）的命令。请注意，Linux 系统未预装 mdadm。

对于预处理，在测量顺序读取和写入性能之前执行了三个 128K 10TB 顺序写入填充。对于随机读写测试，执行了三个 128K 10TB 随机填充。然后，测试本身使用 10TB 的占用空间进行测试，用于跨多个块大小的多个队列深度，每个间隔测量 120 秒。

通过随机 4K 传输，Pliops XDP 的数据略低于软件 RAID0，测量出 2.6M IOPS 与 3.7M IOPS。不过，从随机写入性能来看，从 135k IOPS 的 SW RAID0 到 XDP 的 130 万 IOPS，有 932% 的巨大提升。随机读取和随机写入工作负载均在 8 线程/128 队列级别进行了测试。将块大小增加到 16K，Pliops XDP 能够在读取和写入工作负载中领先于软件 RAID0 数量。我们测量了 XDP 的 1.9M IOPS 的 16K 随机读取与 SW RAID0 的 1.7M IOPS。在 16K 随机写入中，XDP 的 370K IOPS 与 SW RAID0 的 131k IOPS 的差异。随机读取和随机写入工作负载均在 8 线程/128 队列级别进行了测试。

通过混合随机读取和写入活动，我们处理了从 4K 到 16K 块大小的传输大小。总的来说，Pliops XDP 获得了巨大的收益。在 4K 70/30 中，它提供了 661% 的巨大增益，从 SW RAID0 测量到 2.8M IOPS 到 422K IOPS。在 8K 块大小时，增益略低于 448%，在 SW RAID0 中测量为 1.9M IOPS 到 428K IOPS。在 16K 传输大小时，差距缩小，但仍然比 SW RAID0 提高了 257%。在这里，我们测量了 XDP 的 110 万 IOPS 与 SW RAID0 的 427K IOPS。

虽然之前的工作负载侧重于随机传输，但我们的最终测试侧重于顺序大块传输速度。在这里，Pliops XDP 继续显示出可观的收益，尤其是在写入性能方面。从读取带宽开始，我们测得 XDP 为 48GB/s，而 SW RAID0 为 27GB/s。在写入方面，XDP 以 6.3GB/s 的速度领先 284%，而 SW RAID0 的速度为 2.2GB。

虽然最佳条件下的性能始终是任何存储平台的强项，但随着驱动器容量的增加，了解重建活动需要多长时间是一个重要的数据点。借助使用 Solidigm P5316 30.72TB SSD 的 4 驱动器 XDP 阵列，我们模拟了驱动器故障并进行了重建。在应用后台流量的情况下，重建过程耗时 450 分钟。使用 FIO 以 905MB/s 的组合流量驱动 8K 70/30 工作负载，阵列的重建速度仍保持 14.65 Min/TB 的重建速度。

最后的想法

现代企业 QLC SSD，如本次测试中使用的 Solidigm P5316，有潜力提供性能和容量的巨大组合。然而，现代基础设施需要新的工具来管理闪存。旧的 RAID 卡很笨重，而基本的软件 RAID 在桌面上留下了很多性能。这一现实为 Pliops Extreme 数据处理器等创造性解决方案打开了大门。我们着手评估 XDP 加速器与软件 RAID 相比的性能。我们在戴尔 PowerEdge R750 中放置了四个 30.72TB P5316，将 Pliops XDP 性能与软件 RAID 进行了比较。此外，我们启动了软件 RAID，将其配置为 RAID0，而 XDP 设置为 RAID5。

快速浏览一下结果，我们看到了全面的巨大收益。尤其是 4K 随机写入性能，我们看到了 932% 的提升，尽管 4K 块大小的读取性能确实受到了影响。然而，向上移动块大小，Pliops XDP 在随机和顺序传输场景中都显示了它的优势。即使在我们具有 70/30 读/写拆分的随机混合工作负载中，Pliops XDP 也比 SW RAID0 从 4K 到 16K 传输大小提高了 660% 到 256%。

总的来说，Pliops 卡很容易操作。尽管我们喜欢使用大容量 QLC SSD，但有时很难找到能够正确利用媒体的系统。使用 Pliops Extreme 数据处理器，在以每 TB 成本为基础的服务器性能方面，整个数学都发生了变化。尝试自己也很容易；单击下面的链接开始使用 PoC。

【公司名称】四川旭辉星创科技有限公司

【代理级别】成都戴尔服务器工作站总代理

【销售经理】李经理

【联系方式】座机：028-85596747    手机：13540160369

【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913