这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 AI画的简笔画能到什么水平? 给一张美国演员Rami Malek的照片,效果是这样的。 是不是和原图很逼近了? 再来看下输入《老友记》合影的效果。 虽然人物众这个多,但出来的简笔画效果,依旧还是能分清剧中的人物。 如果毛发特别浓密的人物照,AI还能hold得住吗? 小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。 再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。 可以说是相当的AI细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。 …… 这些就是出自一个叫ArtLine的AI的作品。 而且它在Reddit非常火爆,已经达到了1100+的热度。 如此惟妙惟肖的效果,你是不是认为又是GAN的功劳? 错! A“大rtLine完全没有用到GAN: 也正因如此,ArtLine的效果真真儿的惊艳到了网友。 那么,它是如何做到的呢? ArtLine背后的三大“法宝” ArtLine的作者十分爽快地分享了其背后的三大技术: Self-Attention Progr师级essive Resizing Generator Loss 接下来,一起逐一看下各个技术背后的细节内容。 Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。 等等,刚才不是还说“没用到”简GAN”吗? 作者对此的解释是: 并没有起到太大作用。 这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。 所要解决的是传统GAN自身存在的一些问题,例如: 使用小的卷积核很难发现图像中的依赖关系 使笔画用大的卷积核就会丧失卷积网络参数与计算的效率 研究中核心的自注意力机制如下图所示。 其中,f(x),g(x)和h(x)都是普通的1x1卷积,差别只在于输出通道大小不同。 而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过so水平ftmax归一化,得到一个Attention Map。 得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力feature maps。 从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到了较好,惊的效果。 ArtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。 这项研究主要提出了一种新的训练对抗神经网络的方法。 核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。 这种方法不艳到仅加快了训练速度并且更加稳定,可以产生高质量的图像。 ArtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。 这项研究主要解决了实现的风格转换,比较费时的问题。 风格转换部分主要用了上面的网络模型,这个模了网型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。 其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。 这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。 关友:于作者 ArtLine的项目作者叫做Vijish Madhavan。 他在GitHub中坦言自己并非程序员出身,也道出了ArtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。 现在,ArtLine可以在线玩竟然了! 感兴趣的读者,可以戳下方链接体验一下。 Colab链接: https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLin不用e(Try_it_on_Colab).ipynb.ipynb) https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.iGApynb GitHub项目地址: https://github.com/vijishmadhavan/ArtLine
- 最近发表
- 随机阅读
-
- 标签: 芯潮流 光电DSP芯片 高速SerDes 数据中心互连
- 标签: Outopia 越野跑 美丽诺羊毛 华映资本
- 模糊的指标掩盖了云计算企业价值 投资人更关注股票而非业绩
- 微软推出新型 AI Agent 模型 rStar2-Agent,以 140 亿参数挑战大规模模型
- 人工智能判作文,你觉得靠谱吗?
- 苹果发布会时间上热搜 网友:终于来了
- 谷歌Chrome浏览器迎来AI革命,Gemini 让你的上网体验更智能
- AI 市场有望在 2024 年突破 5000 亿美元大关
- 谷歌翻译大变革:实时同声传译+Gemini语言教练,跨国交流无障碍
- 谷歌 AI 模式新增五种语言,扩展全球用户访问
- 数据中心节能减排迫在眉睫,液冷技术与AI能效管理成两大法宝
- 标签: 同程旅行 嘀嗒出行 出行服务 旅游平台
- 云计算开发:Python练习实例-输入三个整数
- 阿里云李飞飞:政企市场是检验云数据库竞争力的黄金标准
- 莆田版GPT-3开源:同等复现预训练模型GPT Neo
- 美国参议员提出“SANDBOX 法案” 允许AI公司设定长达10年自我监管规则
- 标签: 阿维塔 长安汽车 宁德时代 引望
- 关于存储自动化、预测分析和人工智能 不可不知的6件事
- 阿里MuleRun陈宇森:AI Native团队效率是Copilot团队10倍,企业转型窗口期仅18个月
- 150亿参数,谷歌开源了史上超大视觉模型V-MoE的全部代码
- 搜索
-
- 友情链接