BBAug: 一个用于PyTorch的物体检测包围框数据增强包
像许多神经网络模型一样,目标检测模型在训练大量数据时效果最好。通常情况下,可用的数据有限,世界各地的许多研究人员正在研究增强策略,以增加可用的数据量。谷歌的大脑团队进行了一项这样的研究,并发表在了一篇论文中,名为Learning Data Augmentation Strategies for Object Detection。在这篇论文中,作者确定了一组增强称为策略,它对目标检测问题表现良好。该策略通过增强搜索获得,提高了通用模型的性能。 作者将增强策略定义为一组子策略。BB在模型进行训练时,随机选择其中一个子策略用于增强图像。在每个子策略中都有要依次应用于图像的增强。每个转换也有两个超参数:概率和幅度。概率表示该增强将被应用的可能性,而幅度表示该增强的程度。下面的代码显示了本文中使用的策略: policy = [ [('TranslateX_BBox', 0.6, 4), ('EAuqualize', 0.8, 10)], [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)], [('Sharpness', 0.0, 8), ('ShearX_BBox',g: 0.4, 0)], [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)], [('Rotate_BBox', 0.6, 10), ('Color',  一;1.0, 6)], ] 在这个策略中有5个子策略,如果我们取第一个子策略,它就包含了TranslateX_BBox和Equalize增强。TranslateX_BBox操作在x轴上转换图像的幅度为4。在本例中,大小并不直接转换为像素,而是根据大小缩放为像素值。该增强的概率也为0.6,这意味着如果该增强被选中,则应用该增强的概率为60%。随着每个增强都有一个相关的概率,引入了一个随机的概念,给训练增加了一定程度的随机性。总的来说,Brain Team已个用经提出了4个策略: v0, v1, v2和v3。本文中显示了v0策略,其他三个策略包含更多的子策略,这些子策略具有几种不同的转换。总的来说,增加分为三类,作者定义为: 颜色操作: 扭曲颜色通道,不影响边界框的位置。 几何操作:几何扭曲图像,这相应地改变了边界框的位置和大小。 包围框操作:只会扭曲包围框中包含的像素内容。 BBAug 那么BBAug)在这方面有什么贡献呢?BBAug是一个python包,它实现了谷歌Brain Team的所有策略。这个包是一个包装器,可以更容易地使用这些策略。实际于P的扩展是由优秀的imgaug包完成的。 上面显示的策略应用于一个示例图像,如下所示。每一行是一个不同的子策略,每一列是该子策略的不同运行。 正如你所看到的,在子策略的运行之间有一定程度的变化,因此给训练增加了一定程度的随机性。这只是BBAug实施的4个策略之一。要查看所有4个策略的完整可视化,请查看包的GitHub页面:https://github.com/harpalsahota/bbaug。该包还提供了一些有用的功能,比如定制策略的可能性,以及位于图像外部的边界框,如果它们部分位yT于图像外部,则会被自动删除或剪切。例如,在下面的图像中,应用了平移增强,将边界框部分推到图像外部。你可以看到新的边界框已经缩小以适应这一点。 也可以创建只影响边界框区域的增强。在下图中,solarisaugmentation只应用于边界框区域: 用随机策略增加单个图像有多容易?就像这样简单: from bbaug import policies # select policy v0 set&norbsp; aug_policy = policies.policies_v0() # instantiate the policy container with the selected policy set policy_container = policies.PolicyContchainer(aug_policy) # select a random policy from the policy set random_policy = policy_container.select_random_policy() # Apply the a的物ugmentation. Returns the augmented image and bounding boxes. # Image is a numpy array of the image # Bounding boxes is a 体检;list of list of bounding boxes in pixels (int). # e.g. [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]] # Labels&n测包bsp;are the class labels for the bounding boxes as an iterable of ints e.g. [1,0] img_aug, bbs_aug = policy_container.apply_augmentation(random_p围框olicy, image, bounding_boxes, labels) # image_aug: numpy array of the augmented image # bbs_aug: numpy array of augmneted bounding b数据oxes in format: [[label, x_min, y_min, x_man, y_max],...] 总结 该包实现了谷歌Brain Team推导出的增强策略。目前,已经实现了所有4个策略,该包还附带了notebooks,以帮助用户将这些策略集成到他们的PyTorch训练pipeline中。
- 最近发表
-
- 标签: 腾讯元宝 QQ群 智能总结 AI助手
- 标签: 字节跳动 Seeduplex 豆包 桃子音色
- 十张图,详解用户分层怎么做
- 阿里云创始人王坚:AGI翻译成“普通人工智能”比“通用人工智能”要好
- CloudTech公布2021年值得关注的云计算趋势,包括无服务器计算、混合云
- 标签: 北京市场监管 6·18平台监管 平台经济治理 网络市场监管联席会议
- 谷歌 AI 推出 Chrome DevTools MCP 公测版:赋能编码代理控制实时浏览器
- 云计算核心技术Docker教程:Docker本地文件日志驱动
- 威胁情报如何成为安全产品“连接器”?腾讯安全行业沙龙落地
- 3000亿美元历史级大单:消息称OpenAI与Oracle甲骨文达成重磅云计算交易
- 随机阅读
-
- 亚马逊、沃尔玛利用人工智能判断如何处理客户退货
- 标签: 智界 华为 郭锐 智界R7
- 消息称阿里云考虑独立拆分并上市
- 标签: A股交易规则 沪深北交易所 ST股票涨跌幅 基金收盘机制
- 标签: 神州数码 郭为 离婚案 司法冻结
- 美国科技巨头投资英国 AI 领域,计划投入450亿美元
- 首次超越自回归模型!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
- 标签: 英特尔 OpenAI 卡蒂 人工智能
- 标签: 英伟达 H200 黄仁勋 芯片
- 标签: 携程集团 无理由事假 梁建章 灵活办公
- 标签: AI应用 移动互联网 QuestMobile 腾讯
- 通用汽车扩展氢燃料电池业务 可为工地 / 音乐节 / 数据中心供能
- 云计算开发:Python3-index()方法详解
- 蚂蚁万亿参数思考模型Ring-1发布即开源,刷新多项开源SOTA
- mc子龙是什么梗
- Anthropic 撤回 Claude Code 订阅限制测试,承认算力成本超出 Pro 套餐负荷
- 标签: 天能股份 锂电池 储能 氢燃料电池
- AI图像编辑突破!字节跳动与港中大等联合开源DreamOmni2 解决AI理解抽象概念难题
- 标签: 珞石机器人 协作机器人 工业机器人 具身智能机器人
- 张宏江外滩大会分享:基础设施加速扩张,AI 正步入“产业规模化”
- 搜索
-
- 友情链接