“我们没有护城河，OpenAI也没有。”谷歌一位内部研究员在一份文件开头直接说。近日有匿名人士在公开的Discord服务器上分享了这份文件，有外媒已经核实了这份文件的真实性。
当我们都聚焦于企业AI大战的时候，Google内部人士指出，最后的赢家不是Google和OpenAI，而是开源模式。作者用各种例子证明了自己的观点，并建议谷歌使用开源来赢得这场战争。你可以先看看这份文件的内容。经过翻译，我们在不改变原意的情况下进行了整理。
谷歌内部文件
我们没有护城河
open ai也没有。
我们一直在努力追赶OpenAI的步伐，但谁能率先跨越下一个里程碑呢？AI接下来该何去何从？
真正令人不安的事实是，我们双方都不可能赢得这场军备竞赛。在Google和OpenAI竞争的同时，第三势力一直在默默发财。
是的，我说的是开源模式。明确的说，他们是在复制我们的劳动成果，在开放的AI面前，他们克服了几大壁垒。以下是几个例子:
在手机上运行大语言模型:有人已经在Pixel6上运行了基本模型，每秒可以处理5个token。
可扩展的个人AI:你可以在一个晚上在笔记本电脑上微调个性化的AI。
负责任的出版:与其说是“克服”这个问题，不如说是“避免”这个问题。现在各种网站上有大量的艺术创作模型，也有很多文字生成模型。
多模态:目前多模态ScienceQA STOA可以在一小时内完成训练。
虽然我们的模式在质量上还是略有优势，但是双方的差距正在以惊人的速度缩小。开源模式更快，更可定制，更私密，功能更强。他们可以用100美元加13B参数解决需求，而我们需要面对几千万美元的成本和540B参数。相比长达数月的培训周期，他们的模特往往几周就火了。这对我们产生了深远的影响:
我们没有任何秘方。我们最好的出路是借鉴外部各方的想法，进行合作。谷歌应该优先考虑实现3P整合。
当免费无限制的替代模式在质量上等同于专有模式时，人们肯定不会愿意继续付费。要考虑真正的商业增值空在哪里。
巨型模型正在拖我们的后腿。从长远来看，最好的模型一定是那些可以快速迭代的模型。既然知道小于20B的参数可以达到相当不错的效果，那就应该主动尝试做一些更小的变体。
怎么回事？
3月初，随着meta的LLaMA模型泄露，开源社区获得了第一个真正具备一线“战力”的基础模型。尽管缺乏解释、对话微调和RLHF(基于人类反馈的强化学习)，但社区很快理解了这种模式的意义。
随之而来的是铺天盖地的创新出现，每隔几天就会有一波重大发展。仅仅一个月后，我们就走到了现在的局面，有指令微调、量化、质量改进、人工评估、多模态、RLHF等等各种各样的变化，很多都是相互依赖的。
最重要的是，开源社区解决了真正的可扩展性问题，让普通人有机会在AI平台上一试身手。训练和实验的门槛已经从研究机构的高精尖操作，下降到一个人和晚上一台高配笔记本电脑就能完成的小探索。
从很多方面来说，这种现实有其必然性。事实上，开源大语言模型的爆炸之后是图像生成模型的爆炸，社区倾向于将当前阶段称为大语言模型的“稳定扩散时刻”。
无论是图像生成还是文本生成，都是通过一种成本极低的微调机制，即所谓的“LoRA”，辅以规模上的重大突破(图像合成中的潜伏扩散和大语言模型中的龙猫)，实现广泛的公众参与。在这两个方面，高质量模型的出现引起了每一个个体和组织的关注和迭代尝试，最终形成了超越科技巨头的改进成果。
这些贡献在图像生成领域非常重要，也让稳定扩散真正走上了与Dall-e不同的道路，前者基于开放的开发路线，使其获得了Dall-E所没有的产品集成、市场、用户界面、创新加持。
开放的效果也很明显:与OpenAI的同类解决方案相比，开源模式的文化影响力迅速占据主导地位，而后者则逐渐退出舞台中央。目前很难说大语言模式会不会重复这样的故事，但总体来看，决定历史走向的基本因素是一致的。
我们错过了什么？
最近一系列促进开源的成功创新措施也直接克服了一直困扰我们技术制造商的问题。更多地关注他们的工作将有助于我们避免多此一举。
LoRA是一项非常强大的技术，它可以用低秩分解的形式来表示模型更新，从而将更新矩阵的体积减少到千分之一。通过这种方式，我们可以以非常低的成本和时间对模型进行微调，从而在几个小时内在消费硬件上创建个性化的语言模型。
这绝对不是小事，这也让我们真正走向以近乎实时的方式整合新的、多样化的知识的愿景。实际上，这项技术在Google内部并没有得到充分的重视和应用，但它直接影响了我们一些雄心勃勃的项目。
LoRA如此高效的部分原因是它像其他微调方法一样是一种可堆叠的方法。我们可以通过微调指令来改进，从而吸引其他贡献者提供的对话、推理或工具使用。个体微调虽然是低秩的，但其和不一定，模型满秩更新的需求会随着时间的推移逐渐积累。
换句话说，随着新的和更高质量的数据集和任务的出现，模型可以始终保持较低的更新成本，而不必承担从头再训练的成本。
从零开始重新训练巨型模型不仅会丢弃预训练的效果，还会丢弃以堆叠方式完成的任何迭代改进。在开源世界里，这种改进很快就会率先出现，再培训的成本会迅速上升到无法承受的程度。
我们应该思考每一个新的应用或者场景是否真的需要一个全新的模式。如果有值得丢弃原有重量的重大结构改进，也应该投资探索更主动的蒸馏形式，想办法让新车型尽可能保留上一代的功能。
对于主流车型规模来说，LoRA更新的生产成本可以控制在极低水平(100美元左右)。换句话说，几乎任何人都可以按照自己的想法对模型进行微调，一天之内的训练周期将成为常态。在这个速度下，微调的累积效应会很快帮助小车型克服体积的劣势。
事实上，从工程师的单工时开始，这些小型号的改进速度比庞大的“同门兄弟”要快得多，其中最优秀的选手已经在相当程度上站到了与ChatGPT同一水平线上。此外，超大规模模型的重复训练也不利于保护自然环境。
许多项目开始在较小但精心选择的数据集上训练，希望节省时间。这意味着数据规模定律实际上是灵活的。这类数据集也遵循“数据不在乎你怎么想”的基本逻辑，迅速成为外部社区的标准模型训练方法。
这些数据集是通过使用合成方法(如从现有模型中筛选最佳反应)和其他项目提取的，这两种方法在谷歌内部都不太受重视。好在这些高质量的数据集都是开源的，可以免费使用。
与开源直接竞争必然会失败。
最近的趋势对我们的业务战略产生了直接且不可避免的影响。如果有免费优质的替代品，谁愿意花钱使用有请求上限的谷歌产品？
这个鸿沟是无法弥合的。现代互联网运行在开源的基础上并非偶然，开源社区有许多我们无法复制的显著优势。
我们的技术秘密只靠一个脆弱的协议来维持。谷歌的研究人员随时都会跳槽到其他公司。让我们假设他们都知道我们所知道的。而且只要职业规划渠道还畅通，这种情况就无法改变。
随着大语言模型的前沿研究成本越来越低，保持技术竞争优势变得越来越困难。世界各地的研究机构都在互相学习，以广度优先的方式探索解决方案空，但仅凭谷歌一家是无法把握如此广阔的战场的。当然，我们可以在外部创新不断降低其价值的同时继续保密，也可以试着以开放的心态互相学习。
目前开源社区的大部分创新都是基于meta泄露的模型权重。虽然这种情况肯定会随着开放模型质量的不断提高而改变，但是开源阵营真正的优势在于“个人行为”。毕竟没有人可以一个一个攻击和起诉个别用例，所以人们可以随时随地研究和探索，而不用等待技术通过。
看看图像生成过程中人们所创建的模型空，你会发现，从动画生成器到HDR景观，每个人的创造力简直是无穷无尽的。这些模型来自于长期沉浸在特定流派和风格中的人，它们体现了我们无法企及的知识深度和内心共鸣。
控制生态系统:让开源为我们服务。
矛盾的是，这一切背后最大的赢家是meta自己。他们制造了泄露的模型，所以他们实际上获得了世界各地的免费劳动力。由于大多数开源创新都发生在他们的架构上，meta当然可以直接将结果集成到自己的产品中。
这种对生态系统的控制怎么强调都不为过。谷歌自己也在Chrome和Android等开源产品中成功实现了这一原则。通过控制创新发生的平台，谷歌巩固了其作为意识形态领导者和方向制定者的地位，并获得了超越自身极限塑造大趋势的能力。
而我们对自己的模型越严格，就相当于在营销开源的AI模型。谷歌和OpenAI都倾向于采用防御性的发布模式，并希望试图控制模型的使用方式。但这种控制根本站不住脚。毕竟任何人想用大语言模型都可以直接选择免费开放的模型。
谷歌应该使自己成为开源社区的领导者，并通过更广泛的对话来塑造自己的主导地位。是的，期间肯定涉及到一些与之前习惯不符的环节，比如释放小ULM变体的模型权重，也就是放弃我们对模型的部分控制。但这种妥协是不可避免的，我们不能既刺激创新又强行控制创新。
open ai做什么不重要
考虑到OpenAI目前的封闭政策，可能很难接受之前的开源建议。OpenAI不愿意开放，我们Google为什么要这么做？但事实上，不断的技术挖墙脚早就让封闭成了伪命题。如果不能屏蔽这段话，保守秘密有没有意义真的很难说。
最后，OpenAI做什么并不重要。毕竟，他们只是他是我谷歌的兄弟。他们在对待开源的态度上也犯了类似的错误，他们保持优势的能力并没有明显变强。除非他们改变立场，否则开源人工智能模型可能，并且最终将会黯然失色。至少在这方面，我们可以领先。
关于开源模式的争论
谷歌内部研究人员的观点引起了开发者对开源模式和企业模式的讨论。
开发者“dahwolf”指出，当前的范式是人工智能的目的之一:用户访问并与之交互的产品。但这不是未来大众与人工智能互动的方式。人工智能将无缝地融入到日常软件中:在Office/Google文档中，在操作系统层面(Android)，在图形编辑器(Adobe)，在各大网络平台上，比如搜索、图片搜索、Youtube等等。
他认为，由于谷歌和其他科技巨头继续控制着这些拥有十亿用户的平台，他们拥有人工智能的影响力，即使他们在能力上暂时落后。他们还会找到一种集成的方式，让用户不必直接为这个功能付费，因为它会以其他方式收费:广告。
“dahwolf”表示，面临生存风险的是OpenAI，而不是谷歌。巨头们会赶上来，有覆盖和补贴的优势。事情并没有就此结束。这种来自开源的所谓“竞争”将是免费劳动力。任何成功的想法都会在短时间内移植到谷歌产品中。感谢开源！
有网友指出，人工智能普遍存在的问题是，它需要一直拥有非凡的计算能力，而这种计算能力需要花钱。所以也有人指出LLM的运营成本越来越低，这是谷歌的胜利。OpenAI的服务太贵了，不能靠广告来资助。谷歌需要一种更廉价的技术来维持其广告支持的商业模式。
对于开源模式，开发者“kelipso”表示，开源模式在过去的几十年中是有效的。对LLMs的担心是，开源(和学术界)无法做到大公司正在做的事情，因为他们无法获得足够的计算资源。“这篇文章是在讨论(我猜开源ML组是在展示)企业不需要使用那些计算资源来铺路。OpenAI或其他大公司能否通过一定的模型、数据集和计算资源从AI中获得最大利益，这仍然是一个悬而未决的问题。”
但开发者“not2”回应称，没有一个“开源”的AI模型是经典意义上的开源。它们是免费的，但不是源代码；它们更接近于可自由发布的编译二进制文件，其中编译器和原始输入尚未发布。一个真正的开源AI模型需要指定训练数据和从训练数据到模型的代码。
“当然，其他人获取这些信息，重建模型，验证是否得到同样的结果，是非常昂贵的。也许我们真的不需要那个。但如果我们不这样做，那么我认为我们需要用“开源”之外的术语来描述这些模型。你可以得到它，分享它，但你不知道里面有什么。”Not2表示。
未来，谷歌是否会选择开源策略，能否做出不一样的“转机”，我们拭目以待。
参考链接:
https://www . semi analysis . com/p/Google-我们没有护城河，也没有
https://news.ycombinator.com/item? id = 35813322
