比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 在MNIST上进行训练,可以说是计算机视觉里的“Hello World”任务了。 而如果使用PyTorch的标准代码训比用练CNN,一般需要3分钟左右。 但现在,在一台笔记本电脑上就能将时间缩短200多倍。 速度直达0.76秒! 那么,到底是如何仅在一次epoch的训练中就达到99%的准确率的呢? 八步提速200倍 这是一Py台装有GeForce GTX 1660 Ti GPU的笔记本。 我们需要的还有Python3.x和Pytorch 1.8。 先下载数据集进行训练,每次运行训练14个epoch。 这时两次运行的平均准确率在测试集to上为99.185%,平均运行时间为2min 52s ± 38.1ms。 接下来,就是一步一步来减少训练时间: 一、提前停止训练 在经历3到5个epoch,测试准确率达到99%时就提前停止训练。 这时的训练时间就rc减少了1/3左右,达到了57.4s±6.85s。 二、缩小网络规模,采用正则化的技巧来加快收敛速度 具体的,在第一个conv层之后添加一个2x2的最大采样层(max pool layer),将全连接层的参数h框减少4倍以上。 然后再将2个dropout层删掉一个。 这样,需要收敛的epoch数就降到了3个以下,训练时间也减少到30.3s±5.28s。 三、优化数据加载 使用data_loader.save_da架快ta(),将整个数据集以之前的处理方式保存到磁盘的一个pytorch数组中。 也就是不再一次一次地从磁盘上读取数据,而是将整个数据集一次性加载并保存到GPU内存中。 这时,我们只需要一次epoc20h,就能将平均训练时间下降到7.31s ± 1.36s。 四、增加Batch Size 将Batch Size从64增加到128,平均训练时间减少到4.66s ± 583ms。 五、提高学习率 使用Superconver0倍gence来代替指数衰减。 在训练开始时学习率为0,到中期线性地最高值(4.0),再慢慢地降到0。 这使得我们的训练时间下降到3.14s±4.72ms。 六、再次增加Batch Size、缩小缩小网络规模 重复!0第二步,将Batch Size增加到256。 重复第四步,去掉剩余的dropout层,并通过减少卷积层的宽度来进行补偿。 最终将平均时间降到1.74s±18.3ms。 七、最后的微调 首先,将最大采样层移到.7线性整流函数(ReLU)激活之前。 然后,将卷积核大小从3增加到5. 最后进行超参数调整: 使学习率为0.01(默认为0.001),beta1为0.7(默认为0.9),bata2为0.9(默认为06秒.999)。 到这时,我们的训练已经减少到一个epoch,在762ms±24.9ms的时间内达到了99.04%的准确率。 “这只是一个Hello World案例” 对于这最后的结果,有人觉得司空见惯后,: 优化数据加载时间,缩小模型尺寸,使用ADAM而不是SGD等等,都是常识性的事情。 我想没有人会真的费心去加速运行MNIST,因为这是机器学习中的“Hello World”,重点只是像你展示最小的笔记关键值,让你熟悉这个框架——事实上3分钟也并不长吧。 而也有网友觉得,大多数人的工作都不在像是MNIST这样的超级集群上。因此他表示: 我所希望的是工作更多地集中在真正最小化训练时间方面。 GitH本上ub:
https://github.com/tuomaso/train_mnist_fast
- 最近发表
- 随机阅读
-
- 标签: 通用汽车 中国零件 供应链 玛丽·巴拉
- 谷歌夺回AI画语权,网友:DALL·E 2诞生一个月就过时了?
- 阿里云连续四个季度增速上涨,新战略见成效?
- 云计算开发:Python内置函数-setattr()函数详解
- 机器学习会成为数据安全新威胁和后门吗?
- Docker Desktop 4.14 中的新功能:更好地了解您的容器
- 云计算开发:Python3-List remove()方法详解
- 亚马逊AGI实验室负责人为"反向收购"模式正名!称只有科技巨头才能承担通用人工智能研发重任
- 标签: 豆包 Seedance 2.0 视频生成模型 AI视频
- 华人博士生首次尝试用两个Transformer构建一个GAN
- 解密机器学习:程序是如何“创造”自己的?
- 腾讯云发布三大AI大模型引擎 5分钟打造一款知识服务应用
- 标签: 剂泰科技 NanoForge MTS-004 AI制药
- 阿里云2024财年Q1 经调整EBITA利润3.87亿元
- AI生成猫咪短片走红社交媒体 播放量动辄过亿引发关注
- Github大盘点!2021年最惊艳的38篇AI论文
- 标签: 大智慧 豆豆饭 河马智能回收 网易云课堂
- 微软 Copilot AI 实现邮件和文件直接连接,提升办公效率
- 标签: 腾讯 火星动漫 我在三界直播带货
- Facebook高管解读2021年Q1财报:发力电商,继续成为最好的广告平台
- 搜索
-
- 友情链接