满足大语言和多模态模型的需求


Gaudi2 深度学习加速器的架构旨在高效扩大,以满足大范围语言模型及生成式 AI 模型的需求 。其每张芯片集成了 21 个专用于内部互联的 100Gbps(RoCEv2 RDMA)以太网接口 , 从而实现低延迟服务器内扩大 。
【满足大语言和多模态模型的需求】

满足大语言和多模态模型的需求

文章插图
在 Stable Diffusion 训练上 , Gaudi2 展现了从 1 张卡至 64 张卡近线性 99%的扩大性 。另外 , MLCommons 刚刚公布的 MLPerf 训练 3.0结果,亦验证了 Gaudi2 处理器在 1750 亿参数的 GPT-3 模型上,从 256 个加速器到 384 个加速器可实现接近线性 95%的扩大效果 。
关于“满足大语言和多模态模型的需求”的内容,小编就分享到这里了 , 大家还有哪些需要补充的呢?无妨在评论区留言分享,让更多的朋友受益!您的每一个留言 , 和每一个赞,都是我前进的动力!喜欢的话记得收藏、分享给身旁的朋友 。