近日,谷歌公布了其用于训练其人工智能模型的超级计算机的新细节,称该系统比英伟达的同类系统更快、更节能。
据了解,谷歌自主设计了一款名为张量处理单元(Tensor Processing Unit,TPU)的芯片。该公司90%以上的人工智能训练工作都使用这些芯片,最新的TPU已经升级到第四代。
周二,谷歌发表了一篇科学论文,详细介绍了如何通过使用自己的光开关来帮助连接各种机器,将4000多个芯片串联成一台超级计算机。
连接性的提高已经成为建造AI超级计算机的公司的竞争重点,因为支持Google Bard或OpenAI ChatGPT等技术的大型语言模型已经变得越来越大,无法存储在单个芯片上。
这些模型必须分布在成千上万的芯片上,然后它们必须一起工作几周或更长时间来训练模型。谷歌最大的公开披露的语言模型PaLM在两台4000芯片的超级计算机上接受了50天的训练。