AI芯片初创公司Cerebras宣布进军大规模语言模型领域，推出7款全新开源语言模型。称为脑波强化器-GPT的模型系列的大小从1 . 11亿个参数到130亿个参数不等。
据这家初创公司称，这些模型是使用DeepMind的龙猫公式训练的，旨在使任何人都能以更低的成本使用它们，这是迄今为止公开可用的模型中消耗能量最少的。
脑波强化器决定建立并提供这些开源模型。它认为准入应该更加开放。Cerebras ML的研究科学家诺兰·戴伊(Nolan Dey)在博客中写道:“最新大型语言模型OpenAI的GPT-4在没有关于其模型架构、训练数据、训练硬件或超参数的信息的情况下发布。该公司越来越多地使用封闭数据集来构建大型模型，并且仅通过API访问来提供模型输出。为了使LLM成为一种开放和可访问的技术，我们认为获得最先进的模型是重要的，这些模型是开放的，可复制的，并且对研究和商业应用是免费的。”
Cerebras模型的数据集还没有公开，目前可以通过HuggingFace访问模型本身。
在世界上最大的芯片上训练模型
脑波强化器因其WSE-2芯片而闻名，这是世界上最大的芯片之一。它类似于一个8×8英寸的平板，每个平板包含2.6万亿个晶体管和85万个“人工智能优化”的核心。
大脑的CS-2系统包含大量的WSE-2AI芯片。这家初创公司采用了16个这样的系统来支持其人工智能超级计算机Andromeda。Andromeda于去年11月发布，旨在大大减少训练大型语言模型所需的时间。
这家初创公司甚至声称，超级计算机可以处理序列长度巨大的大型语言模型，这是传统GPU根本做不到的。在去年年底接受《人工智能商业》采访时，脑波强化系统的首席执行官Andrew Feldman说，仙女座菌株帮助了新冠肺炎的研究。
这家初创公司已经将注意力转向大型语言模型，以展示其技术能力。
脑波强化器-GPT模型在仙女座上进行训练，脑波强化器表示可以“快速完成训练，不需要传统的分布式系统工程和GPU集群上需要的模型并行调优。”通过Cerebras AI Model Studio，还在云中提供了用于训练Cerebras-GPT模型的集群。
推动大语言模型的普及
各大人工智能实验室做了大量工作来开发语言模型，但他们隐瞒了底层系统如何工作的信息。例如，OpenAI本月早些时候发布的GPT-4引起了人们的愤怒，它只透露了一些技术规格，但没有提到确切的数据或使用的尺寸细节。
许多人，如斯坦福大学的AI研究人员，认为研究这些技术的潜在影响更加困难，因为OpenAI等公司已经关闭了他们的模型。
Cerebras设计了新的模型来提供更广泛的采访，并表示希望这些模型将“作为有效培训的秘密，并作为进一步社区研究的参考。”
大量销售编号注意:
Cerebras-GPT官方博客网址:https://www . cerebras . net/blog/cerebras-GPT-a-family-of-open-computer-efficient-large-language-models/
脑波强化器-GPT模型拥抱脸网站:https://huggingface.co/cerebras
