17380538992

戴尔在“PowerEdge”AI 服务器中提供 AMD 尖端的 Instinct MI300X AI 加速器

Admin 46 2024-07-16 14:43

随着人工智能的快速发展,开源技术与尖端硬件加速的融合正在推动行业创新。戴尔科技和 AMD 走在前列,提供比公共云 IaaS 成本效益高出 75% 的本地基础设施解决方案,并专门为企业中的生成式人工智能应用提供支持。


AMD 的 Instinct MI300X AI 吞吐量性能和延迟通过 GEMM Tuning 提高了 7 倍 1


我们很高兴与大家分享一系列推动开放式 AI 生态系统和框架部署的更新。首先,Dell PowerEdge XE9680 现已配备 AMD Instinct MI300X 加速器,为我们的客户增强 AI 性能选项。其次,我们发布了戴尔与 AMD 合作的生成式 AI 验证设计,支持使用开放框架基础进行自定义应用程序开发。第三,我们新的部署服务将于 9 月推出,将确保这些创新顺利融入您的运营中。



配备 AMD Instinct MI300X 加速器的 PowerEdge XE9680 提供专为利用生成性 AI 的企业设计的高性能功能,并具有八个 MI300X 加速器、组合 1.5 TB HBM3 内存和具有稀疏精度性能的 42 petaFLOPS 峰值理论 FP8。



这种强大的配置可以更快地训练和推理大型语言模型,帮助组织更高效地提供 AI 驱动的洞察和创新应用。 最近 在单节点配置上进行的测试显示出领先的总拥有成本价值:在Dell PowerEdge XE9680服务器上的单个AMD Instinct MI300X加速器上部署了Llama 2 70B参数模型。利用 Dell PowerEdge XE9680 服务器上所有八个可用的 AMD Instinct MI300X 加速器,部署了该模型的八个并发实例。


XE9680 通过 Dell OpenManage Enterprise 简化部署、通过 APEX AIOps 软件实现智能自动化、以及通过集成网络恢复和零信任方法增强安全性,使企业能够快速实施和扩展其 GenAI 解决方案,同时保持强大的安全态势。


戴尔与 AMD 联合推出的生成式人工智能验证设计于 5 月发布,现已上市,这  是戴尔生成式人工智能解决方案的下一步,旨在帮助企业更轻松地部署值得信赖的 GenAI。该设计指南为企业和开发人员提供了全面的指导,帮助他们实施 LLM 推理和模型定制,以及微调和检索增强生成 (RAG) 等高级技术。该设计基于开放标准,减少了对专有人工智能软件套件的需求,开发人员可以使用来自 Hugging Face 和 Meta 等合作伙伴的开源 LLM 模型简化开发并自由定制工作流程。


戴尔验证的生成式人工智能设计可让戴尔客户轻松构建根据其需求定制的 GenAI 平台,无需再考虑集成、性能和尺寸等因素。


【公司名称】四川旭辉星创科技有限公司

【代理级别】成都戴尔服务器工作站总代理

【销售经理】王经理

【联系方式】座机:028-85596747    手机:17380538992

【公司地址】四川省成都市武侯区二环路南一段13号群益商务大厦1栋单元4层1-403

联系我们
您好,咨询客服了解更多促销产品
售前优惠在线咨询
QQ咨询
微信咨询
售前优惠电话咨询专线:
17380538992
售后电话咨询专线:
028-85596747

请用微信扫描二维码

1.218356s