跳至主要內容
深度学习训练过程中BatchSize的设置

昨天配置好GPU加速敲开心,开始跑我的小模型。结果惊奇的发现CPU效率比GPU高5倍多,这是什么鬼?和群里各个大佬讨论了一下,最终发现是BatchSize的问题,在此顺便讨论一下在模型训练过程中BatchSize的设置。

  • Show一下硬件和我简陋的小模型
  • 不同Size下GPU和CPU的运算时间
  • 到底需要设置多大的Size?

先简单说一下我理解的Batch Size吧。

比如你有1w个数据(或者图片)需要训练,也就是需要找1w个数据的规律(感觉深度学习就是让模型找规律)。这时候有几种策略:


Haopeng Yu大约 5 分钟AI
Windows10环境下Tensorflow的安装和GPU加速配置

也算折腾了好几天,终于在Windows上把Tensorflow和GPU加速配置好了,跟大家分享一下经验。目前实验室服务器上木有显卡,所以以后实验室土豪了装了显卡我再去摸索Linux怎么配置这个,估计套路差不多。

  • 怎么安装Tensorflow
  • 怎么配置GPU加速
  • 出现的各种问题以及修复策略

Tensorflow就不用简介了,谷歌的深度学习框架,也是目前最火的深度学习框架。其他的框架还有Caffe,Theano,MXNet等等。我是个小白,其他没用过,就不说了=-=,详细的大家可以看


Haopeng Yu大约 6 分钟AI