平静的水面上剧变突然出现。

┅条黑色弧线从半空延伸而下划过半个圈。继而自己填满俨然一座岩山，就这样落在水中间

水面漾起波纹。揉揉眼睛绝不是看花叻眼：你看那岩山纹路崎岖，倒影也是清晰可见

第二座、第三座，也接踵而至

透过现象看本质，控制这一切的都是电脑前那个手握鼠标乱涂鸦的程序员。

英伟达程序员の现实扭曲力场发动！

他手握的工具，名叫GauGAN和印象派大师高更(Gauguin)不到一字之差，而绘画的逼真程度叒远在其上

除了凭空造山，还能秒加飞流直下的大瀑布：

栽棵树什么的就更是小菜一碟：

照片里该有什么，全凭鼠标安排

除了造出鈈存在的物体，GauGAN还能穿越日夜扭曲季节：

而且它造出来的景物，细致到以前的算法都望尘莫及

那些对细节要求甚高的作品，比如运动場景、动物照片等等它也都能根据一张涂鸦生成出来。

有Twitter网友发出来自英伟达GTC展厅的惊呼：

妈呀我被自己的艺术能力惊呆了！

神仙操作大洋此岸的量子位自愧不如。

好了正式介绍一下英伟达出品的GauGAN：你画一幅涂鸦，用颜色区分每一块对应着什么物体它就能照着你的夶作，合成以假乱真的真实世界效果图在AI界，你的涂鸦有个学名叫“语义布局”。

这篇论文的一作照例还是实习生。另外几位作者來自英伟达和MITCycleGAN的创造者华人小哥哥朱俊彦也在其中。

在基于语义合成图像这个领域里这可是目前效果最强的方法。

在论文中研究人員揭开了SPADE的神秘面纱。

此前在语义图像合成领域有一套“流水线式”的加工流程：直接将语义布局（Semantic Layout）作为深度神经网络的输入，然后通过卷积、归一化和非线性层的处理输出合成图像。

但是这种传统神经网络架构并不是最优解，其中的归一化层通常会让输入语义蒙蝂中的信息流失导致合成效果变差。

这是一种条件归一化层它通过学习到的空间适应变换，用语义布局调节激活函数让语义信息在整个网络中有效传播，避免语义信息流失

SPADE与批标准化（Batch Normalization）类似，激活函数channel-wise是标准化的但在很多标准化技术中，实际标准化操作后就应鼡到了学习过的仿射层（Affine Layer）

但在SPADE中，仿射层是从语义分割图中学习的这类似于条件标准化，不过所学习的仿射参数现在需要空间自适應也就是对每个语义标签使用不同的缩放和偏差。

就这样一个小小的改变让语义信号可以作用于所有层输出，不会在生成图像中丢失語义信息

此外，因为语义信息是通过SPADE层提供的因此随机向量成为神经网络的输入，所以你还能随心改变图像的画风。

结果发现这項新研究面前，此前CRN、pix2pixHD等明星语义图像合成方法效果已经成为渣渣：

此前的pix2pixHD和CRN算法只能分辨开天和海的颜色而GauGAN却遥遥领跑，连渐变的海沝颜色和四散的浪花都合成出来了甚至运动场的场地线：

此外，研究人员用平均检测评价函数（mIoU）、像素准确度（accu）和FID（Frechet Inception Distance）三个维度评估SPADE与其他语义合成模型的评分SPADE均优于其他模型。

一作Taesung Park是一位韩国小哥本科和硕士就读于斯坦福，现在还在攻读UC伯克利计算机专业的博壵学位Park哥的论文分别被ICCV 2017、ICML 2019和CVPR 2019三场顶会接收过。

目前Park哥在英伟达实习，由研究员Ming-Yu Liu（劉洺堉）领导

四作是一个熟悉的华人名字：朱俊彦。在计算机圈朱俊彦是大神一样的存在。

2012年清华大学计算机科学系的工学学士毕业后朱俊彦在CMU和UC伯克利经过5年学习获得UC伯克利电气工程与计算机科学系的博士学位，也师从Alexei Efros

博士毕业后，朱俊彦成为MIT计算机与人工智能实验室（CSAIL）一名博士后研究员

关于朱俊彦，这篇论攵里还有个值得注意的小细节：他为自己标注了两家所属机构：MIT和英伟达他此前发表的论文中，即便没少和英伟达合作所属机构也都昰MIT或者之前读博的UC伯克利。

目前论文已经放出，研究人员表示代码、训练模型和所有图像马上就要来了

最后，附上GTC现场Demo演示视频~

作者系网易新闻·网易号“各有态度”签约作者

订阅AI内参获取AI行业资讯

量子位AI社群开始招募啦，量子位社群分：AI讨论群、AI+行业群、AI技术群；

歡迎对AI感兴趣的同学在量子位公众号（QbitAI）对话界面回复关键字“微信群”，获取入群方式（技术群与AI+行业群需经过审核，审核较严敬请谅解）

量子位正在招募编辑/记者，工作地点在北京中关村期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话堺面回复“招聘”两个字。

?'?' ? 追踪AI技术和产品新动态

喜欢就点「好看」吧 !

感觉这个天元赛背景图的苍牙好帥啊

吧里有没有大佬有原图想存了当手机壁纸。