您现在的位置是:热点 >>正文
官方论文代码放出,OpenAI是如何实现图像版GPT-3的?
热点141506人已围观
简介...
OpenAI 放出 DALL-E 的部分论文与实现代码。
今年年初,OpenAI 图像版 GPT-3、120 亿参数的 DALL-E 刷屏官方社区,这个大型模型可以将以自然语言形式表达的大量概念转换为合适的图像,效果十分惊艳。
如输入「牛油果形状的椅子」,就可以获论文得绿油油、形态各异的牛油果椅子图像。
如果 GPT-3 一样,大家都在期待 OpenAI 放出 DALL-E 的官方论文与实现代码。
经过近两代码个月的等待,DALL-E 的论文和代码终于新鲜出炉!
不过此项目正在更新,截止发稿时 DALL-E 只开放了使用图像重建部分 d-放出VAE 训练的 CNN 编码器和解码器部分,而 Transformer 代码部分还没有公开。除此以外数据集也不能使用。而论文也是公布了,O d-VAE 的论文。
项目地址:https://github.com/openai/DALL-E 论文地址:https://arxpeiv.org/abs/2102.12092
只能期待后续 OpenAI 公开更多的技术细节。
DALL-E 部分代码已开源
这是为 DALLnA·E 所使用的 d-VAE 的官方 PyTorch 包。在运行 DALL-E/notebooks/usage.ipynb 程序之前,需要先I是安装软件包,代码如下:
pip install git+https://github.com/openai/DALL-E.git
解码如何器、编码器代码
d-VAE 论文
年初在论文还没有公开的情况下,就有人开始复现,他们复现的依据来自某博主制作的油管视频,在视频中,实现对 DALL·E 的原理结构进行了猜测。那么,现在论文已公开,是否颠覆了他的预想。
传统上,文本到图像的生成主要集中在在固定的训练图像数据集上找到更好的建模假设。这些假设可能涉及复杂的体系架构、辅助损失或辅助信息,例如在训练期间提供的对象部件标签或分割掩码版G。该研究提出了一种基于 transformer 的简单方法,将文本和图像 token 作为单个数据流进行自回归建模。在足够的数据和扩展PT的情况下,当以 zero-shot 方式评估时, 该研究提出的方法与以前的领域特定模型具有相当的竞争力。
Tags:
相关文章
聚多巴胺结构式
热点前言:求多巴胺结构式要直接上图或者链接的多巴胺;3,4-二羟基-β-苯乙胺;3-羟酪胺;Dopamine;4-(2-minoethyl)-1,2-benzendiol;2-(3,4-Dihy-drox...
【热点】
阅读更多中山大学联合美团打造X-SAM模型,单次操作可分割多个对象,20项测试全面领先
热点中山大学、鹏城实验室与美团三方联合研发的X-SAM图像分割模型近期正式发布,这款多模态大模型在图像分割领域实现了重要突破,将传统的"分割万物"能力升级为"任意分割",显著提升了模型的适应性和应用范围。...
【热点】
阅读更多谷歌 Gemini Live AI 助手全新功能上线,实时互动更智能
热点近日,谷歌宣布将推出一系列新功能,以增强其 AI 助手 Gemini Live 的互动体验。这些新功能将使用户能够与助手进行更自然和直观的实时对话,增强日常生活中的便利性。 首先,Gemini Liv...
【热点】
阅读更多