ChatGPT需要1万张NVIDIA A100显卡 国内仅有6家公司做到

像ChatGPT这样的生成型AI,不仅需要千亿规模的大模型,还需要庞大的计算能力基础。现在训练AI主要依靠英伟达的AI加速卡,至少需要一万张A100加速卡才能达到ChatGPT这个水平。

高性能加速显卡现在是稀缺资源,在国内买NVIDIA高端显卡不容易。来自商汤科技的一份总结显示,国内能满足ChatGPT计算要求的公司只有6家。

他们是商汤、百度、腾讯、字节跳动、阿里、魔方。像百度、腾讯、字节跳动、阿里这样的互联网巨头能买得起一万块A100显卡也就不足为奇了。

3月底,百度已经放出了自己关于ChatGPT的产品的话,接下来其他公司也会陆续放出自己的AI产品。

NVIDIA A100核心和计算卡于2020年5月发布,也是首款采用Ampere架构的产品。它采用7纳米工艺制造。有542亿个晶体管,面积826平方毫米,8196个流处理器,实际开启6912个,5120位40GB HBM2内存。PCIe版本消耗250W W

ChatGPT需要1万张NVIDIA A100显卡 国内仅有6家公司做到

A100的单精度浮点性能高达19.5TFlops,FP64为9.7TFLOPS,INT8为624TOPS,TDP 400W,显存带宽也是可怕的1.6TB/s,后来又出了80GB HBM2e的版本,频率从2.4Gbps提升到3.2Gbps,使得带宽从1.6 TB/s提升到2 TB/s..

本文内容及图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权请联系admin#jikehao.com删除。
(0)
极客号的头像极客号
上一篇 2023年 4月 6日
下一篇 2023年 4月 6日

相关推荐

合作联系:1152QQ041010