消费电子展 (CES) 可能是您最不希望企业产品首次亮相的地方,但 AMD 在拉斯维加斯展会上推出的众多消费 CPU 和 GPU 中推出了一款新的服务器加速器。
AMD 揭开了其 Instinct MI300 加速器的神秘面纱,真是太棒了。
加速处理单元 (APU) 是 13 个小芯片的组合,包括 CPU 内核、GPU 内核和高带宽内存 (HBM)。加起来,AMD 的 Instinct MI300 加速器拥有 1460 亿个晶体管。相比之下,英特尔雄心勃勃的Ponte Vecchio处理器将有大约 1000 亿个晶体管,而 Nvidia 的Hopper H100 GPU只有 800 亿个晶体管。
nstinct MI300 有 24 个 Zen 4 CPU 内核和六个 CDNA 芯片。CDNA 是 AMD 的 RDNA 消费图形技术的数据中心版本。AMD 没有说明每个小芯片有多少个 GPU 内核。Instinct MI300 的四舍五入是堆叠在 3D 设计中的 128MB HBM3 内存。
3D 设计允许 CPU、GPU 和内存芯片之间的巨大数据吞吐量。数据不需要从 CPU 或 GPU 传输到 DRAM;它进入 HBM 堆栈,大大减少了延迟。它还允许 CPU 和 GPU 同时处理内存中的相同数据,从而加快处理速度。
AMD 首席执行官 Lisa Su 在 90 分钟的 CES 主题演讲结束时宣布了这款芯片,称 MI300 是“第一款将 CPU、GPU 和内存整合到单一集成设计中的芯片。这使我们能够为内存和 IO 共享系统资源,从而显着提高性能和效率,并且[变得]更容易编程。”
Su 表示,MI300 的 AI 性能是 Instinct MI250 的八倍,每瓦性能是 Instinct MI250 的五倍。她提到了大肆宣传的人工智能聊天机器人 ChatGPT,并指出训练模型需要几个月的时间;Su 表示,MI300 可将培训时间从数月缩短至数周,从而节省数百万美元的电费。
请注意,AMD 的 MI250 是一块令人印象深刻的硅片,用于橡树岭国家实验室的第一台百亿亿级超级计算机Frontier 。
AMD 的 MI300 芯片类似于英特尔在 2024 年推出的 Falcon Shores,以及英伟达在今年晚些时候推出的 Grace Hopper Superchip。苏说,该芯片目前正在实验室中,并为选定的客户提供样品,预计将于今年下半年推出。
AMD 推出的新 AI 加速器
Instinct 并不是 CES 上唯一的企业公告。Su还介绍了Alveo V70 AI推理加速器。Alveo 是 AMD 去年收购的 Xilinx FPGA 系列的一部分,它采用 AMD 的 XDNA AI 引擎技术构建。据 AMD 称,它可以在各种 AI 模型上每秒提供 4 亿次 AI 操作,包括视频分析和客户推荐引擎。
Su 表示,在视频分析方面,与竞争对手相比,Alveo V70 为智慧城市应用提供的街道覆盖范围增加了 70%,用于患者监测的医院病床覆盖范围增加了 72%,智能零售店的结账通道覆盖范围增加了 80%,但她没有说竞争是什么。
所有这一切都在 75 瓦的功率范围内,而且外形小巧。AMD 将于今天接受 V70 卡的预订,并于今年春季上市。