昨天配置好GPU加速敲开心,开始跑我的小模型。结果惊奇的发现CPU效率比GPU高5倍多,这是什么鬼?和群里各个大佬讨论了一下,最终发现是BatchSize的问题,在此顺便讨论一下在模型训练过程中BatchSize的设置。
- Show一下硬件和我简陋的小模型
- 不同Size下GPU和CPU的运算时间
- 到底需要设置多大的Size?
先简单说一下我理解的Batch Size吧。
比如你有1w个数据(或者图片)需要训练,也就是需要找1w个数据的规律(感觉深度学习就是让模型找规律)。这时候有几种策略:
大约 5 分钟