2019 年 9 月，我们爆料了为什么 AMD EPYC Rome 2P 服务器将拥有 128-160 个 PCIe Gen4 通道。2020 年，Dell EMC 和 AMD 将展示 EPYC 的灵活性，即使在即将到来的 2020/2021 Ice Lake 一代中，英特尔至强服务器也只能幻想。在本文中，我们将向您展示 Dell EMC PowerEdge R7525 如何为连接的设备启用 160x PCIe 通道，同时保持比我们在英特尔至强系统上看到的更多的灵活性。这是我们 18 个月以来一直想做的一篇文章，因此我们很高兴能够向您展示 Dell EMC 的设计和 AMD 技术的实施，并讨论为什么它是服务器的未来。

我们可以一直追溯到 AMD EPYC 7001 系列的“那不勒斯”一代。那一代有四个芯片，每个芯片都有 I/O 和计算资源。每个芯片有 32 条通道，可用作单插槽配置中的 PCIe 通道。在双插槽配置中，每个芯片使用其中的 16 个通道连接到第二个插槽上的对应通道。

AMD EPYC 7000 系列插座对插座互连

在 AMD EPYC 7002系列罗马系列做了一个基本的，而重要的变化。随着 AMD EPYC 7002 I/O 芯片的推出，x86 内核及其缓存现在与具有外部 I/O 的 I/O 芯片分离。使用新一代 PCIe Gen4，仍然可以拥有 128 个 PCIe Gen4 通道，使用所有这 8 个 16 通道块作为 PCIe Gen4。在双插槽配置中，为了匹配 Naples EPYC 7001 系列，每个 CPU 使用这些 x16 块中的四组来将插槽连接到插槽。

AMD EPYC Rome 2P 128x PCIe 红色 128x S2S

接下来，是一些魔法发生的地方。这些链接的数量可能与 AMD EPYC 7001 系列“那不勒斯”系统相同，但速度不同。请记住，AMD 的 Infinity Fabric 使用与 PCIe 相同的 I/O，这就是我们获得双重个性的方式。由于我们在 EPYC 7002 系列中从 PCIe Gen3 移至 Gen4，因此链接速度需要加倍。因此，罗马的 Infinity Fabric 不仅进入 I/O 芯片中的单片硅片，而且还受益于更快的链接速度。

虽然 AMD 凭借其 PCIe Gen3 Naples 一代与英特尔 UPI 插槽间互连竞争，但 AMD 有效地获得了罗马的 2 倍。就其本身而言，英特尔倾向于每代增加 10% 左右，因此这是一个巨大的转变。我们还看到英特尔在其第二代英特尔至强可扩展更新中削减了插槽到插槽的带宽 。正如我们在Intel Xeon Gold 6258R Review 中发现的， 在我们的虚拟化工作负载中，与 Platinum 8280 相比，插座到插座带宽损失了三分之一是显而易见的，但这远不及它所产生的影响与价格差异一样大有一个假设。实际上，AMD 将带宽翻了一番，而英特尔在许多方面已将双插槽系统定位为减少 33% 的插槽间带宽。

AMD 及其合作伙伴很早就意识到了这一点，并提供了一个有趣的解决方案。由于 AMD 拥有更具跨个性的套接字到套接字 Infinity Fabric/PCIe 系统，我们可以做的是将其中一些通道重新用作 PCIe Gen4 通道，而不是将它们用作套接字到套接字链接。在下图中，我们描述了这种情况。

AMD EPYC Rome 2P 160x PCIe 红色 96x S2S BMC

这产生了总共 160 条 PCIe 通道，并且仍然比那不勒斯一代提供了大约 50% 的插槽到插槽 Infinity Fabric 带宽。对于那些想知道的人，我们已经看到了 192x PCIe Gen4 通道设计，但据我所知，160x PCIe 通道配置是 AMD 官方支持的全部。

到目前为止，我们看到的大多数设计都使用 128 或 160 个 PCIe 通道。然而，Dell EMC 有办法以更大的灵活性兼具两全其美。

进入 Dell EMC PowerEdge R7525 160x PCIe Gen4 通道配置和灵活性

Dell EMC PowerEdge R7525 是该公司的双路 AMD EPYC 7002（可能还有 EPYC 7003 “Milan”）代平台。它支持具有 PCIe Gen4 和大量灵活性的当前最佳 AMD EPYC。在我们进行审查时，我们意识到我们有太多可用的 PCIe Gen4 通道。让我们数一数。

首先，我们将从立管开始。我们有两个 PCIe Gen4 x16 和两个 x8 电子插槽。即总共 48 个 PCIe Gen4 通道。顺便说一句，由于这些是 Gen4 而不是 Gen3，它们提供了整个当前双路英特尔至强可扩展系统的有效带宽。当然，我们有更多我们完全期待的。

Dell EMC PowerEdge R7525 PCIe 转接卡

在 Riser 下，我们有一个 OCP NIC 3.0。在这里，我们有一个基于 Intel X710 的双 SFP+ 10GbE NIC，但是，这些插槽专为 Gen4 和高达 x16 电气设计，因此它们可以处理多达双 100Gbps 端口 NIC。如果您看到我们最近的“什么是 DPU？” 文章中，我们有一个 BlueField 2 选项，它适合图中的 OCP NIC 3.0 插槽。将来，这可能会运行 VMware ESXi 作为 Project Monterey 的一部分，从而允许控制/管理和应用程序平面分解。这里有 16 条通道，总共有 64 条通道，相当于 Ice Lake Xeon 一代处理器的价值。

Dell EMC PowerEdge R7525 OCP NIC 3.0 插槽

然后事情变得有点疯狂。在系统的正面，我们有 24 个 NVMe SSD，每个都带有 PCIe x4 连接。有 4 个车道的 24 个驱动器每个需要 96 个车道。我们仔细检查了系统，这些驱动器没有 PCIe 开关，它们都是直连的。

Dell EMC PowerEdge R7525 正面

这是一张带有 OCP NIC 和 24x NVMe 设备中的 96 个通道的拓扑图。

Dell EMC PowerEdge R7525 拓扑

戴尔如何做到这一点实际上是一种巧妙的工程。我们移除了 PowerEdge R7525 风扇分区以获得更好的视野。如您所见，系统中间有四根电缆。每条电缆连接两个 NVMe SSD 托架并承载 8 个 PCIe 通道。其中四根电缆为我们提供了三分之一的连接性或系统正面的 8 个 24x NVMe SSD。

Dell EMC PowerEdge R7525 XGMI 电缆至 NVMe 背板

当我们看到在Dell配置了24盘的选择，我们看到它说“不XGMI。” 对于高级翻译，将本例中的 XGMI（或 xGMI）视为等效于 Infinity Fabric 链接。

Dell EMC PowerEdge R7525 配置价格

正如我们在电缆又看了看，人们可以看到，电缆是非常接近的CPU，比PowerEdge R7525主板上的其他PCIe转接卡GEN4电缆头非常接近。

Dell EMC PowerEdge R7525 XGMI 电缆

通过阅读服务手册，可以发现这些可以连接以提供 CPU 到 CPU 的连接性，或者，正如我们在我们的测试系统中看到的那样，用于路由机箱中其他地方的 PCIe 通道。这样的设计在其简单性和灵活性方面是相当惊人的。戴尔不必进行多次不同的主板旋转，而是采用了我们在上图中显示为从青色变为红色的一对 x16 链接，并将其设为可配置选项。

最后的话

您现在可能已经知道，这最初是我们即将推出的 Dell EMC PowerEdge R7525 评测的一部分。它变得如此之长，以至于我们不得不将这一部分拉成自己的一部分。

除了 PowerEdge R7525 本身，它还展示了将这些高速通道用作 CPU 到 CPU 或 PCIe 互连的灵活性。英特尔将在 AMD EPYC 7002 的对应产品 Cascade Lake Xeon 一代中挣扎，因为它使用专用的 UPI 和 PCIe 链接 IP 块。或许可以使用 UPI 电缆，但将其转换为 PCIe 并不是简单的 BIOS 翻转。

它向我们展示了服务器未来的另一项内容是主板的变化程度。在 PowerEdge 上，我们展示的主板没有传统的 PCIe x8 或 x16 连接器。相反，它有一个 OCP NIC 3.0 连接器，然后是用于提升器的高密度连接器，以及用于 NVMe 驱动器的电缆。例如，这些电缆可以将 PCIe 通道从前面板 NVMe 存储重定向到 Riser。由于 PCIe Gen4，AMD EPYC Rome 主板需要更多层和更高质量的 PCB 来确保信号完整性，但仍然存在限制。随着我们转向 PCIe Gen4 和 PCIe Gen5 时代，使用电缆连接设备构建更多模块化系统是一种更具可扩展性和灵活性的模型。我们正在迅速接近一个系统电缆比我们在上一代中看到的更多的时期，因为我们不能简单地依赖长 PCB 走线。

再次感谢 Dell EMC 在这里向我们展示了使用优雅设计在其旗舰 2U 双插槽 AMD EPYC 平台上实现灵活性的可能性。

【公司名称】四川旭辉星创科技有限公司

【代理级别】成都戴尔服务器工作站总代理

【销售经理】李经理

【联系方式】座机：028-85596747    手机：13438344046

【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913