DALL-E2可以说是2022年最火的AI绘画模型之一。最近OpenAI刚刚发布了一个功能更强大的AI模型，可以用于3D建模。
在12月16日提交的一篇论文中，OpenAI团队将Point-E描述为一种从复杂的文本提示中生成3D点云的方法。
有了Point-E，人工智能爱好者可以跳过从文本生成2D图像的阶段，从文本生成3D模型。该项目也已经在Github上开源，模型各参数的权重。
模型只是解决方案的一部分。本文的关键在于提出了适用于点云的扩散法创建三维物体的方法。该算法专注于虚拟现实、游戏和工业设计，因为它生成3D对象的速度是当前方法的600倍。
目前有两种从文本生成3D模型的方法。第一种方法是使用3D对象到文本配对在数据上训练生成模型。这导致无法理解更复杂的提示和3D数据集的问题。第二种方法是使用文本图像模型来优化提示的3D表示的创建。
Point-E结合了传统的文本到3D合成训练算法。通过组合两个独立的模型，Point-E可以减少创建的3D对象的数量。第一组算法是文本到图像模型，类似于DALL-E2，它可以创建用户给出的提示图像。该图像然后被用作第二模型的基础，第二模型将图像转换成3D对象。
AI团队创建了一个包含数百万个3D模型的数据集，然后通过Blender导出。然后对这些效果图进行处理，将图像数据提取为点云，这是一种表达3D物体合成密度的方式。在进一步处理之后，例如删除平面对象和通过剪辑特征聚类，数据集可以被输入到视图合成滑动模型中。
然后，研究人员通过将点云表示为形状张量，创建了一种新的点云扩散方法。然后，通过逐步去噪将这些张量从随机形状切割成所需的3D物体的形状。扩散模型的输出通过点云上采样器运行，以提高最终输出的质量。为了与常见的3D应用程序兼容，Blender用于将点云转换为网格。
最后，这些网格可以用于游戏、超宇宙应用或其他3D密集型任务，如电影后期处理。虽然DALL-E已经完全改变了文本到图像的生成过程，但Point-E的目标是为3D领域做同样的事情。
Point-E的Github开源网站:https://github.com/openai/point-e
