OpenAI 是 Elon Musk 创立的人工智能初创公司，支持流行的 DALL-E 文本到图像生成器，周二宣布发布其最新的图片制作机器 POINT-E，它可以直接从文本提示生成 3D 点云。现有系统(如 Google 的 DreamFusion)通常需要数小时和 GPU 来生成图像，而 Point-E 只需要一个 GPU 和一两分钟。

3D 建模用于各种行业和应用程序。现代电影大片、视频游戏、VR 和 AR 的 CGI 效果、NASA 的月球陨石坑测绘任务、Google 的遗址保护项目以及Meta 的 Metaverse 愿景都取决于 3D 建模功能。然而，创建逼真的 3D 图像仍然是一个耗费资源和时间的过程，尽管 NVIDIA 致力于自动化对象生成和 Epic Game 的RealityCapture 移动应用程序，它允许任何拥有 iOS 手机的人将现实世界的对象扫描为 3D 图像。

文本到图像系统，如 OpenAI 的 DALL-E 2 和 Craiyon、DeepAI、Prisma Lab 的 Lensa 或 HuggingFace 的 Stable Diffusion，近年来迅速流行、臭名昭著和声名狼藉。Text-to-3D 是该研究的一个分支。与类似系统不同，Point-E“利用大量(文本、图像)对语料库，使其能够遵循多样化和复杂的提示，而我们的图像到 3D 模型是在较小的(图像、3D)数据集上训练的对，”由 Alex Nichol 领导的 OpenAI 研究团队在Point·E 中写道：从复杂提示生成 3D 点云的系统, 上周发布。“为了根据文本提示生成 3D 对象，我们首先使用文本到图像模型对图像进行采样，然后根据采样图像对 3D 对象进行采样。这两个步骤都可以在几秒钟内完成，并且不需要昂贵的优化程序。”