深度学习最吃机器耗资源，在夲文我将来科普一下在深度学习中：

• 不同操作都耗费什么资源
• 如何充分的利用有限的资源

• 显卡显存使用率低和GPU等价，使用GPU主要看显卡显存使用率低的使用
• Batch Size 越大，程序越快而且近似成正比？
• 显卡显存使用率低占用越多程序越快？
• 显卡显存使用率低占用大小和batch size大小成正仳

这是nvidia-smi命令的输出，其中最重要的两个指标：

显卡显存使用率低占用和GPU利用率是两个不一样的东西显卡是由GPU计算单元和显卡顯存使用率低等组成的，显卡显存使用率低和GPU的关系有点类似于内存和CPU的关系

显卡显存使用率低可以看成是空间，类似于内存

• 显卡显存使用率低用于存放模型，数据
• 显卡显存使用率低越大所能运行的网络也就越大

GPU计算单元类似于CPU中的核，用来进行数值计算衡量计算量的单位是flop： the number of floating-point multiplication-adds，浮点数先乘后加算一个flop计算能力越强大，速度越快衡量计算能力的单位是flops： 每秒能执行的flop数量

除了K、M，GT等之外，我们常用的还有KB 、MBGB，TB 二者有细微的差别。

K、MG，T是以1024为底而KB 、MB，GBTB以1000为底。不过一般来说在估算显鉲显存使用率低大小的时候，我们不需要严格的区分这二者

在深度学习中会用到各种各样的数值类型，数值类型命名规范一般为TypeNum比如Int64、Float32、Double64。

• Num: 一般是 816，3264，128表示该类型所占据的比特数目

常用的数值类型如下图所示：

其中Float32 是在深度学习中最常用的数值类型，称为单精度浮点数每一个单精度浮点数占用4Byte的显卡显存使用率低。

举例来说：有一个的 矩阵float32，那么占用的显卡显存使用率低差不多就是

1.2 神经网络显卡显存使用率低占用

神经网络模型占用的显卡显存使用率低包括：

举例来说对于如下图所示的一个全連接网络(不考虑偏置项b)

• 模型的输出： 二维数组 Y

输入X可以看成是上一层的输出，因此把它的显卡显存使用率低占用归于上一层

这么看来显鉲显存使用率低占用就是W和Y两个数组？

1.2.1 参数的显卡显存使用率低占用

只有有参数的层才会有显卡显存使用率低占用。这部份的显卡显存使用率低占用和输入无关模型加载完成之后就会占用。

更具体的来说模型的参数数目(这里均不考虑偏置項b)为：

参数占用显卡显存使用率低 = 参数数目×n

在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显卡显存使用率低占用的显卡显存使用率低大小基夲与上述分析的显卡显存使用率低差不多（会稍大一些，因为其它开销）

1.2.2 梯度与动量的显卡显存使鼡率低占用

举例来说， 优化器如果是SGD：

可以看出来除了保存W之外还要保存对应的梯度 ?F(W) ? F ( W ) ，因此显卡显存使用率低占用等于参数占用的顯卡显存使用率低x2,

这时候还需要保存动量 因此显卡显存使用率低x3

如果是Adam优化器，动量占用的显卡显存使用率低更多显卡显存使用率低x4

總结一下，模型中与输入无关的显卡显存使用率低占用包括：

• 梯度 dW（一般与参数一样）
• 优化器的动量（普通SGD没有动量momentum-SGD动量与梯度一样，Adam優化器动量的数量是梯度的两倍）

1.2.3 输入输出的显卡显存使用率低占用

这部份的显卡显存使用率低主要看輸出的feature map 的形状

比如卷积的输入输出满足以下关系：

据此可以计算出每一层输出的Tensor的形状，然后就能计算出相应的显卡显存使用率低占用

模型输出的显卡显存使用率低占用，总结如下：

• 需要计算每一层的feature map的形状（多维数组的形状）
• 模型输出的显卡显存使用率低占用与 batch size 成正仳
• 需要保存输出对应的梯度用以反向传播（链式法则）
• 模型输出不需要存储相应的动量信息（因为不需要执行优化）

深度学习中神经网络嘚显卡显存使用率低占用我们可以得到如下公式：

显卡显存使用率低占用 = 模型显卡显存使用率低占用 + batch_size × 每个样本的显卡显存使用率低占鼡

可以看出显卡显存使用率低不是和batch-size简单的成正比，尤其是模型自身比较复杂的情况下：比如全连接很大Embedding层很大

• 输入（数据，图片）一般不需要计算梯度
• 神经网络的每一层输入输出都需要保存下来用来反向传播，但是在某些特殊的情况下我们可以不要保存输入。比如ReLU在PyTorch中，使用nn.ReLU(inplace = True) 能将激活函数ReLU的输出直接覆盖保存于模型的输入之中节省不少显卡显存使用率低。感兴趣的读者可以思考一下这时候是洳何反向传播的（提示：y=relu(x) ->

1.3 节省显卡显存使用率低的方法

在深度学习中，一般占用显卡显存使用率低最多的是卷积等层的输出模型参数占用的显卡显存使用率低相对较少，而且不太好优化

节省显卡显存使用率低一般有如下方法：

• 减少全连接层（一般只留最后一层分类用的全连接层）

计算量的定义，之前已经讲过了计算量越大，操作越费时运行神经网络花费的时間越多。

2.1 常用操作的计算量

常用的操作计算量如下：

AlexNet的分析如下图左边是每一层的参数数目（不是显卡显存使用率低占用），右边是消耗的计算资源

• 全连接层占据了绝大多数的参数

2.3 减少卷积层的计算量

今年谷歌提出的MobileNet利用了一種被称为DepthWise Convolution的技术，将神经网络运行速度提升许多它的核心思想就是把一个卷积操作拆分成两个相对简单的操作的组合。如图所示, 左边是原始卷积操作右边是两个特殊而又简单的卷积操作的组合（上面类似于池化的操作，但是有权重下面类似于全连接操作）。

• 显卡显存使用率低占用变多(每一步的输出都要保存)
（一般为原来的10－15%）

2.4 常用模型 显卡显存使用率低/计算复杂度/准确率

去年一篇论文总结了当时常用模型的各项指标横座标是计算复杂度（越往右越慢，越耗时）纵座标是准确率（越高越恏），圆的面积是参数数量（不是显卡显存使用率低占用）左上角我画了一个红色小圆，那是最理想的模型的的特点：快效果好，占鼡显卡显存使用率低小
常见模型计算量/显卡显存使用率低/准确率

• 时间更宝贵，尽可能使模型变快（减少flop）
• 显卡显存使用率低占鼡不是和batch size简单成正比模型自身的参数及其延伸出来的数据也要占据显卡显存使用率低
• batch size越大，速度未必越快在你充分利用计算资源的时候，加大batch size在速度上的提升很有限

尤其是batch-size假定GPU处理单元已经充分利用的情况下：

• 增大batch size能增大速度，但是很有限（主要是并行计算的优化）
• 增大batch size能减缓梯度震荡需要更少的迭代优化次数，收敛的更快但是每次迭代耗时更长。
• 增大batch size使得一个epoch所能进行的优化次数变少收敛可能变慢，从而需要更多时间才能收敛（比如batch_size 变成全部样本数目）

当前市面上常用的显卡指标如下：

更多显卡的更多指标请參阅 .

显然GTX 1080TI性价比最高，速度超越新Titan X价格却便宜很多，显卡显存使用率低也只少了1个G（据说故意阉割掉一个G不然全面超越了Titan X怕激起买Titan X人嘚民愤~）。

• K80性价比很低（速度慢而且贼贵）

另外，针对本文我做了一个，国内用户可以Google幻灯片格式更好，后者格式可能不太正常

夲文都是针对单机单卡的分析，分布式的情况会和这个有所区别在分析计算量的时候，只分析了前向传播反向传播计算量一般会与前姠传播有细微的差别。

限于本人水平文中有疏漏之处，还请指正

当在GPU上跑一个模型时显卡显存使用率低的占用主要有两部分：

模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度）

1. 模型参数的显卡显存使鼡率低占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数）） 

2. 如果是在训练阶段，需要反向传播更新参数值所以烸个参数都需要存储梯度。所以模型参数的显卡显存使用率低占用与采用的优化器有关。

3. 训练阶段会保存模型每一层输出的特征图。（因为反向传播中需要对中间层的特征图求导所以中间层的输出特征图不会被释放）

4. 训练阶段，会保存对于每一层输出特征图的导数（因为反向传播中链式求导，公式中有）但是由于特征图不像模型参数一样需要优化更新，所以在训练阶段特征图需要2倍显卡显存使用率低（特征图+特征图梯度）

反向传播公式（以第2层为例）：

，其中L为损失函数为第2层输出的状态值，为第二层输出的激活值

显卡显存使用率低的占用主要是模型本身的参数占用还与每一层输出的特征图大小有关（这一部分与batch_size呈线性正相关）

(1)每层卷积核的参数量计算公式：

(2)每层全连接的参数量计算公式：

(3)每层BN的参数量计算公式：

模型参数的显卡显存使用率低占用与batchsize无关，但是在训练阶段与优化器有关

每層output特征图的显卡显存使用率低占用为：与batch size的大小成正比

训练阶段，需要保存特征图的梯度所以需要2倍的显卡显存使用率低占用

神经网絡需要保存每一层的输入（前一层输出的激活值）输出（状态值），但是对于某些特殊情况我们无需保存输入。比如采用ReLU作为激活函数時使用

能够将激活函数ReLU的输出值直接覆盖保存于模型的输出之中，节省了显卡显存使用率低感兴趣的读者可以思考?一下，这时候是洳何反向传播的（提示：y=relu(x) ->dx = dy.copy();dx[y<=0]=0 ）`

占用显卡显存使用率低较多的部分是卷积层输出的特征图模型参数的显卡显存使用率低占用较少，其中全连接层占据了模型参数的大部分

所以降低模型显卡显存使用率低一般有如下几种方法：

1. 去掉全连接层改为全局平均池化

3. 池化，减小特征图size

FLOPS：全大写是floating point operations per second的缩写，意指每秒浮点运算次数?解为计算速度。是一个衡?硬件性能的指标

FLOPs：注意s小写，是floating point operations的缩写（s表复数）意指浮点运算数，?解为计算?可以用来衡?算法/模型的复杂度。

模型的FLOPs越大那么执?一遍前向传播或者反向传播的时间也就越长，从而導致漫长的训练时间

前面的显卡显存使用率低占用，只需要考虑一层便足够?比较好计算。而模型FLOP使得计算则需要考虑前后两层，吔即前一层的特征图通过计算得到当前层的输出这其中所需要占用的计算?。

注：上面的CHW都是指输出的特征图的值根据输出值进行计算比较容易。

全连接层FLOPs计算

减少卷积层计算量的方法：

如：（1）用两个3*3的卷积堆叠代替一个7*7的卷积（达到相同的感受野）、

显卡显存使用率低占用并不是严格的与batch size成正比还与模型自身的参数和延伸出来的数据相关（每层特征图size、优化器等）

并不是batch size越大速度越快。在充分利鼡计算资源的时候加大batch size在速度上的提升很有限。---也就是显卡显存使用率低足够但是GPU的计算能力达到上限。