大家都在搜

英伟达:美团机器学习平台使用NVIDIAT4GPU,相比同成本CPU性能



,据英伟达官方消息,美团机器学习平台使用 NVIDIA GPU,通过算子融合,计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR模型预测性能,神经网络模型吞吐能力提升了 10 倍,同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。

英伟达:美团机器学习平台使用NVIDIAT4GPU,相比同成本CPU性能

英伟达表示,美团的 CTR 模型过去一直在使用 CPU 推理的方式,但伴随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大,CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在 CV,NLP 等领域展示了强大的能力通过 CUDA 及相关 API,NVIDIA 建立了完整的 GPU 生态系统基于此,美团基础研发平台将 CTR 模型部署到 GPU 上,并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计,数据存储方式和传输方式上的特定优化

本站了解到,NVIDIA Tesla T4 GPU 是一款推理加速器,搭载 NVIDIA Turing Tensor Core官方称,NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能,从 FP32 到 FP16 再到 INT8,又到 INT4 精度,T4 的性能比 CPU 高出 40 倍,实现性能的重大突破

不过,NVIDIA未透露联邦贸易委员会反对这项交易的理由,以及英伟达同意做出哪些让步。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。




上一篇:日兰高铁曲庄段开通运营结束鲁西南不通高铁历史
下一篇:返回列表
女性私密健康市场的新星——壹大夫品牌可靠吗?
私密赛道:前景广阔,小白
公募看好权益资产科技方向获共识
泰兴市新街镇开展迎新春主题活动