用“大白话”精准搜图,OpenAI的CLIP惊艳了所有人
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 别再怕图片搜索结果牛头不对马嘴了,你可以试试这个精准图片搜索,来自OpenAI最新的技术CLIP。 只需一句“大白话”描述,便能给出想要的图片。 例如输入: The word用“ love written on the wall 就会得到这样的结果: 可以说是相当的精准了!这就是今天在Reddit上爆火的一个项目。 这个项目利用到的,便是OpenAI前不久频频刷屏的DALL·E中的核心模块——CLIP,一个负责重排序(rerank)的大白模型。 这个项目使用谷歌Colab Notebook,而且在线、免费,包含200万图片数据集,最重要的是效果还非常的精准。 不禁引得网友直呼“Amazing”。 简单几步,“大白话”在线精准搜图 这个项目之所以如此火爆,操作简单是很重要的一个原因之一。 首话”先要做的,就是点开该项目在Colab Notebook中的地址(见文末链接),登陆自己的账号。 至于环境配置、包或库的调用,这个项目非常贴心的已经做好了,只需要依次点击cell左侧的小三角,等待运行完成即可。 最后,来到包含如下代码的cell: sea精准rch_query = “Two dogs playing in the snow” 点击运行这个cell,便可得到搜索图片的结果,例如: 当然,这个程序似乎很懂人,若是输入“当你的代码跑通时的情绪”: The feeling when your搜图 program finally works 得到的结果,和正常人想象中的应该是一致的: 为什么CLIP搜图能如此精准? OpenAI前不久推出的DALL·E,主要能实现的功能就是 可以按照文字描述、生成对应图片。 而其呈,O现给我们的最终作品,其实是它生成大量图片中的一部分。 在中间过程中,其实也有排名、打分的帅选过程。 这部分的任务,便是由CLIP来完成: 越是它看得懂、匹配度最高的作品,分数就会越高,排名也会越靠前。 这种结构,有点像是利用生成对抗文本,以合成图像的GAN。 不pe过,相比于利用GAN扩大图像分辨率、匹配图像-文本特征等方法,CLIP则选择了直接对输出进行排名。 据研究人员表示,CLIP网络的最大意义在于,它缓解了深度学习在视觉任务中,最大的两个问题。 首先,它降低了深度学习需要的数据标注量。 相比于手动在ImagnAeNet上,用文字描述1400万张图像,CLIP直接从网上已有的“文字描述图像”数据中进行学习。 此外,CLIP还能“身兼多职”,在各种数据集上的表现都很好(包括没见过的数据集)。 但此前的大部分视觉神经网络,只能在训练的数据集上有不错的表现。 例如I的,CLIP与ResNet101相比,在各项数据集上都有不错的检测精度,然而ResNet101在除了ImageNet以外的检测精度上,表现都不太好。 具体来说,CLIP用到了零样本学习(zero-shot learning)、自然语言理解和多模态学习CL等技术,来完成图像的理解。 例如,描述一只斑马,可以用“马的轮廓+虎的皮毛+熊猫的黑白”。这样,网络就能从没见过的数据中,找出“斑马”的图像。 最后,CLIP将文本和图像理解结合起来,预测哪些图像,与数据集中的哪些文本能完成最好的配对。 网友:机器IP人(bot)可能不太高兴 在惊叹CLIP用“大白话”搜索图片效果之余,一位Reddit网友还发现了一个比较有意思的搜索结果。 他在文本描述的代码部分输入: What image best represents how you feel right now? 这句话在我们人类眼惊艳中,应当是询问AI的语气了,然后出来的图片结果是这样的: 还有这样的: 嗯,看来是被“玩多了”,AI宝宝有点小脾气了。 参考链接: 项目地址:
https://www.reddit.com/r/MachineLearning/comments/l52qe6/p_use_n了所atural_language_queries_to_search_2/
https://colab.research.google.com/github/haltakov/natural-language-image-search/bl有人ob/main/colab/unsplash-image-search.ipynb#scrollTo=OswqrzaeMy1J
- 最近发表
- 随机阅读
-
- 零一万物宣布高管任命 联合创始人沈鹏飞领衔 加速ToB/ToG“一把手工程”
- Nature:机器促进人类语言的产生
- 亚马逊就收购Wondery展开谈判 开价3亿美元欲在播客领域站稳脚跟
- Google 研究显示:Veo 3视觉处理能力迎来“GPT-3”时刻
- 标签: 恒运昌 等离子体射频电源 拓荆科技 半导体设备
- 云计算开发:Python练习实例-使用按位或 |
- 这个AI能帮女朋友自拍:照片生成3D视频
- 字节Seed推出全新 AgentGym-RL 框架:提升大规模语言模型的决策能力
- 将点云与RGB图像结合,谷歌&Waymo提出的4D-Net,检测远距离目标
- 避风港还是新高地?新加坡正成为中美AI企业“中立区”
- 马斯克也要效仿谷歌Facebook 为特斯拉设立控股母公司?
- 用手机实时给图像直线描边,速度不亚于目标检测,在线Demo可玩
- 京东重磅推出国产芯片驱动的 xLLM 推理引擎
- 标签: 宇树科技 王兴兴 上市绿道
- Meta AI部门大裁员600人:重塑架构,提升效率,扎克伯格力挺新战略
- 摩根大通:给予FANG增持评级 Alphabet和Facebook是今年最佳选择
- 韩国政府携手谷歌 DeepMind,共同推动国家科学 AI 研究中心的建立
- Hive进阶―抽样的各种玩法
- 改变电子商务行业的5种人工智能趋势
- Beatoven.ai 推出全新音乐 AI 模型,确保艺术家获得持续收入
- 搜索
-
- 友情链接