像Git一样用AI数据!免费托管工具上线,用「活」数据集训练
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 搞机器学习的人,很多都饱受数据管理的折磨。 要么是数据集老旧,需要手工修订标注。 要么是同一个数据集有很多被别人调整过的版本,无从下手。 或者,干脆没有合适数据集,需要自己建立。 国外,一位名叫Simon Lousky的程序员像G小哥终于不能忍了,开发出了一套用于机器学习的数据版本控制工具 (Data Version Control,DVC)。 一键调用数据集、一键查看编辑历史……最重要的是,在DVC工具背后,有一个GitHub一样的数据托管社区。 “盘活”数据集 Simon Lousky在学生时代做项目时,就已经感受到it了机器学习数据集管理不便的痛点。 当时,他的模型需要一个植物和花朵的数据进行训练,而开源数据集无论如何也得不到合理的结果。 于是他自己花了几个小时的时间,一一修正了数据集中大量过时、不合理的标注,之后训练结果让人十分满意。 除了这个项目,他之后又进行过很多数据集的修正、增补、创建工作,他把这些费时费力的工序一样称为“数据集的调试试错”,并且开始有意记录操作历史。 他逐渐发现,自己的项目中,数据管理总是一塌糊涂,而依靠GitHub托管的代码,却一直井井有条。 那为什么不做一个类似GitHub、专门服务数据管理的工具呢? DVC就这样诞生了。 这是一个预装的工具库,实现功能包括对数据集的调用、历史操作信息的查用A看等等功能。 它的出现,意味着之前,研究人员在本地“死”的数据集上训练模型的方式彻底改变。 你可以将项目链接到在线托管的数据集(或任何文件),建立实时、准确的联系。数据集的任何更新变动,都能及时获知,方便项目的开展。 比如,现在有一个Repository A,这是一个“活”数据集,其中元数据文件,指I数向存储在专用服务器的真实大文件。 用户可以将数据集文件组织到目录中,并添加带有utils函数的代码文件,以此来方便调用。 此外,还有一个Repository B,这是对应机器学习项目,项目代码中,包含使用DVC导入数据集的指令。 只要创建一个数据注册表,就能建立A和B之间的联系: mkdir my据!-dataset && cd my-dataset git init dvc init 此时,数据集目录会是这样: 需要查看数据集相关信息时,输入指令: dvc add annotat免费ions dvc add images git add . && git commit -m “Starting to manage my&n托管bsp;dataset” 数据集的预览会保存到一个目录里,这个目录也会被DVC跟踪。 然后用户只需要把代码和数据推送到托管仓库,这样就随时随地访问它,并与其他人分享。 当然,DVC要发挥作用,自然少不了背后的DAGsHub。 DAGsHub就是一个GitHub的数据管理版本,由三部分组成,git仓工具库、DVC、和机器学习流程平台mlflow。 用户可以提交自己的项目,DAGsHub会自动扫描提交,并提取有用的信息,如实验参数,数据文件和模型的链接,并将它们结合到一个简单的界面。 DAGsHub可以浏览和比较代码、数据、模型和实验,而且不需要下载任何东西。 此外,还能生成可视化数据管道、数据操作历史上线,并记录模型性能,自动且美观。 如何在机器学习项目中使用“活”数据集 要使用DAGsHub,只需要注册登录。 通过以下指令安装DVC: pip3 install dvc 在DAGsHub上找到一个数据集,如何在自己的模型中使用它呢? 首先,要从托管的数据集中导入一个目录,并把它,用当作原始文件: mkdir -p data/raw dvc import -o data/raw/images https://dagshub.com/Simon/baby-yoda-segmentation-datas「活et data/images dvc import -o data/raw/annotations https://dagshub.com/Simon/baby-yoda-segmentation-dataset&」数nbsp; data/annotations 接着,图片和注释就会下载到你自己的项目中,并保留其中历史信息的信息。 当你想要知道数据集的变更历史时,只需运行命令: dvc update 就能将可视化结果返回默认目录保存: 是不是很方便? 对了,无论是DVC,还是DAGsHub,都是开据集源且免费的,赶快来试试吧 传送门: DVC教程:https://dagshub.com/docs/experiment-tutorial/2-data-versioning/
DAGsHub主页:https://dagshub.com/
- 最近发表
-
- 鑻辩壒灏旀棗涓婱obileye鍦ㄧ航绾︽祴璇曡嚜鍔ㄩ┚椹舵苯杞�
- 标签: 张雪峰 峰学蔚来 心源性猝死 教育科技
- 标签: 抖音电商 盗播治理 真人盗播 内容作弊
- 用AI寻找大屠杀后失散的亲人!谷歌工程师研发人脸识别程序,可识别超70万张二战时期老照片
- 触目惊心!央视曝光 AI 论文“黑工厂”:枪手靠模板+AI 一天炮制30篇论文
- 熟剩香辣蟹过夜能吃吗
- 云计算核心技术Docker教程:Docker Swarm 模式授予服务访问卷或绑定挂载的权限
- 标签: 阿里巴巴 徐宏 周靖人 TokenFoundry
- 标签: 魔法原子 AWE2026 MagicBotGen1 MagicDog
- 英特尔计划在韩国首尔建设一个数据中心开发实验室
- 随机阅读
-
- 5个新兴人工智能物联网应用
- OpenAI 计划未来五年追加 1000 亿美元服务器投资
- OpenAI每年花费600亿美元?甲骨文CEO表示他们完全有能力承担
- 标签: 天华新能 锂电池材料 新能源 防静电超净技术
- 浜戣�绠楀法澶碨alesforce瀹屾垚277浜跨編鍏冨�Slack鐨勬敹璐�
- 云计算核心技术Docker教程:Docker Hub上的官方图片
- 美国科技公司“裁员潮”仍在继续:Salesforce本周已解雇数百人
- 亚马逊在美国和加拿大招聘7.5万人 拓展履约和物流网络
- 标签: 迅策科技 腾讯 云锋基金 港交所
- 标签: 用友
- 云安全日报220526:红帽HTTP加速器发现请求走私漏洞,需要尽快升级
- 苹果汽车:更高级还是更接地气?
- 标签: 丰巢 智能柜 取件广告 摇一摇跳转
- 食草动物有哪些
- “大数据杀熟”行为有了细化认定标准
- 标签: SBTI MBTI 尤物 吗喽
- 标签: 一汽-大众 董修惠 陈彬 一汽丰田
- 标签: 优然牧业 原料奶 特色奶 育种1号芯片
- 深度学习后图灵奖得主Bengio研究核心是什么?因果表示学习
- 标签: 卫龙 辣条 擦边营销 低俗广告
- 搜索
-
- 友情链接