GauGAN是一款神经网络作图工具,这款软件可以利用GANs将语意分割图转换为逼真的图像,让用户即使没有很高的技艺,也能享受到作画的乐趣。需要的用户快来下载看看吧。
软件介绍
新手画家可能会用画笔在画布上画画,目的是创作一幅壮美的日落景观图——崎岖的、白雪覆盖的山峰倒映在清澈的湖泊中——但最终画出来的只不过是一些看起来更像多色墨水点的东西。
但是,由 Nvidia Research 开发的深度学习模型却恰恰相反:它可以轻松地将粗糙的涂鸦变成照片级的写实杰作。该工具利用生成的对抗网络(GANs)将语意分割图转换为逼真的图像。
这款使用该模型的交互式应用程序,轻轻松松地就达到了后印象派画家的水平,它被命名为 GauGAN。
软件特色
GauGAN 可以为从建筑师、城市规划者到景观设计师和游戏开发商的每个人提供一个强大的工具来创建虚拟世界。有了一个能够理解现实世界的人工智能,这些专业人员可以更好地设计出想要的原型,并快速改变它们。
NVIDIA 应用深度学习研究院副总裁 Bryan Catanzaro 说:「用简单的草图进行头脑风暴设计要容易得多,而且这项技术能够将草图转换成高度逼真的图像。」
Catanzaro 将 GauGAN 背后的技术比作「智能画笔」,它可以在粗略的语意分割图(即显示场景中对象位置的高级轮廓)中填充细节。
GauGAN 使用户可以画出语意分割图,并合成自己需要的场景,其中,这些分割图都需要相应的标签,如天空、大海或者雪。
经过 100 万张图片的训练,深度学习模型通过结果来填充景观:在池塘中画画,附近的元素如树木和岩石将在水中映射。将一个段标签从「草地」换成「雪」,整个图像将变为冬季场景,原来枝繁叶茂的树木则变成了不毛之地。
Catanzaro 说:「这就像一幅彩色的图画,描绘了一棵树在哪里,太阳在哪里,天空在哪里。」然后,神经网络能够根据对真实图像的了解,填充所有细节和纹理,以及反射、阴影和颜色。
GaoGAN 背后的技术来自来自英伟达和 MIT 的研究团队,成员包括英伟达的 Ting-Chun Wang、刘明宇(Ming-Yu Liu),Taesung Park (当时在英伟达实习),以及来自 MIT 的朱俊彦(Jun-Yan Zhu)。
英伟达再出黑魔法GauGAN:凭借几根线条,草图秒变风景照
草图秒变风景照,英伟达神笔马良GaoGAN终于开源了