95%PyTorch库都会中招的bug!特斯拉AI总监都没能幸免
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 到底是怎样的一个bug,能让95%的Pytorch库中招,就连特斯拉AI总监深受困扰? 还别说,这个95bug虽小,但有够“狡猾”的。 这就是最近Reddit上热议的一个话题,是一位网友在使用再平常不过的Pytorch+Numpy组合时发现。 最主要的是,在代码能够跑通的情况下,它甚至还会影响模型的准%P确率! 除此之外,网友热议的另外一个点,竟然是: 而是它到底算不算一个bug? 这究竟是怎么一回事? 事情的起因是一位网友发现,在PyTorch中用NumPy来生成随机数时,受到数据预处理的限制,yT会多进程并行加载数据,但最后每个进程返回的随机数却是相同的。 他还举出例子证实了自己的说法。 如下是一个示例数据集,它会返回三个元素的随机向量。这里采用的批量大小分别为2,工作进程为4个。 然后神or奇的事情发生了:每个进程返回的随机数都是一样的。 这个结果会着实让人有点一头雾水,就好像数学应用题求小明走一段路程需要花费多少时间,而你却算出来了负数。 发现了问题后,这位网友还在GitHuchb上下载了超过10万个PyTorch库,用同样的方法产生随机数。 结果更加令人震惊:居然有超过95%的库都受到这个问题的困扰! 这其中不乏PyTorch的官方教程和OpenAI的代码,连特斯拉AI总库都监Karpathy也承认自己“被坑过”! 但有一说一,这个bug想要解决也不难:只需要在每个epoch都重新设置seed,或者用python内置的随机数生成器就可以避免这个问题。 到底是不是bug? 如会中果这个问题已经可以解决,为什么还会引起如此大的讨论呢? 因为网友们的重点已经上升到了“哲学”层面: 这到底是不是一个bug? 在Reddit上有人认为:这不是一个bug。 虽然这个问题非常常见,但它并不招的算是一个bug,而是一个在调试时不可以忽略的点。 就是这个观点,激起了千层浪花,许多人都认为他忽略了问题的关键所在。 这不是产生伪随机数的问题,也不是numpy的问题,问题的核心是在于PyTorchbu中的DataLoader的实现 对于包含随机转换的数据加载pipeline,这意味着每个worker都将选择“相同”的转换。 而现在NN中的许多数据加载pipeline,都使用某种类型的随机转g!换来进行数据增强,所以不重新初始化可能是一个预设。 另一位网友也表示这个bug其实是在预设程序下运行才出现的,应该向更多用户指出来。 并且95%以上的Pytorch库受此困扰,也绝不是危言耸听。 有人就特斯分享出了自己此前的惨痛经历: 我认识到这一点是之前跑了许多进程来创建数据集时,然而发现其中一半的数据是重复的,之后花了很长的时间才发现哪里出了问题。 也有用户补充说,如果 95% 以上的用户使用时出现拉A错误,那么代码就是错的。 顺便一提,这提供了Karpathy定律的另一个例子:即使你搞砸了一些非常基本代码,“neural nets want to work”。 你有踩过PyTorch的坑吗? 如上的buI总g并不是偶然,随着用PyTorch的人越来越多,被发现的bug也就越来越多,某乎上还有PyTorch的坑之总结,被浏览量高达49w。 其中从向量、函数到model.train(),无论是真b监都ug还是自己出了bug,大家的血泪史还真的是各有千秋。 所以,关于PyTorch你可以分享的经验血泪史吗?
- 最近发表
- 随机阅读
-
- 阿里巴巴关联公司成立云计算公司,注册资本1亿元
- Longhorn,企业级云原生容器分布式存储之监控
- 运营不乐观 谷歌云游戏遭内部取消优先级
- IDC 2022 全球CSO网络安全大会将于6月首次落地中国
- 云安全日报211021:思科网络管理软件发现命令注入漏洞,需要尽快升级
- 华为与浙大携手发布 DeepSeek-R1-Safe 大模型:AI安全与性能完美平衡
- lol上票是什么梗
- 标签: 英伟达 法雷奥 智能驾驶
- 美国参议院召集Spotify、Match和谷歌等参加应用商店反垄断听证会
- 密歇根州女子靠 ChatGPT 生成号码,赢得10万美元强力球大奖
- 标签: 特斯拉 FSD 马斯克 人形机器人
- 普通却自信是什么梗
- 标签: 粤十数智 冷链农产品 数智化平台 港股IPO
- 云计算开发:Python练习实例-利用ellipse 和 rectangle 画图
- 标签: 极氪 千里浩瀚 吉利 智能驾驶
- 标签: 阜博集团 VobileMAX DreamMaker 数字内容资产
- 苹果发布macOS新版:可共用iOS应用
- 谷歌发布2020年全球热搜榜:新冠病毒位居榜首
- 标签: 豆包专业版 小米NAS 理想5C增程 李想
- Netflix财报强调AI战略:将生成式AI定位为创意辅助工具而非内容核心
- 搜索
-
- 友情链接