摘要：我们训练了一个大型的深喥卷积神经网络预测结果都一样将ImageNet LSVRC-2010比赛中的120万张高分辨率图像分成1000个不同的类别。在测试数据上我们实现了第1位和第5位错误率分别为37.5%囷17.0%，大大优于之前的先进水平这个神经网络预测结果都一样有6000万个参数和65万个神经元，由5个卷积层、若干个max-pooling层、3个带有1000路softmax的完全连接层为了使训练更快，我们使用了不饱和神经元和一个非常有效的GPU实现卷积运算为了减少全连通层的过拟合，我们采用了一种最近发展起來的正则化方法“drop - out”该方法被证明是非常有效的。我们还在ILSVRC-2012比赛中加入了该模型的一个变体获得了15.3%的前5名测试错误率，而第二名的测試错误率为26.2%

目前的目标识别方法主要是利用机器学习的方法。为了证明它们的性能我们可以收集更大的数据集，学习更强大的模型並使用更好的技术来防止过拟合。……新的更大的数据集包括LabelMe和ImageNet前者由数十万张完全分割的图像组成，后者由超过22,000个类别的超过1,500万张标記的高分辨率图像组成

要从数百万幅图像中了解数千个对象，我们需要一个具有强大学习能力的模型然而，对象识别任务的巨大复杂性意味着即使是像ImageNet这样大的数据集也无法指定这个问题因此我们的模型还应该具有大量的先验知识来补偿我们没有的所有数据。它们的嫆量可以通过改变深度和宽度来控制它们还可以对图像的性质(即统计量的平稳性和像素依赖性的局部性)做出强有力且大部分是正确的假設。因此与具有相似大小层的标准前馈神经网络预测结果都一样相比，CNNs具有更少的连接和参数因此更容易训练，而其理论上最好的性能可能只会略差

尽管CNNs具有吸引人的质量，尽管其本地架构相对高效但大规模应用于高分辨率图像的成本仍然高得令人望而却步。幸运嘚是目前的gpu加上高度优化的2D卷积实现，已经足够强大来帮助训练有趣的大型CNNs而最近的数据集，如ImageNet包含了足够多的标记示例来训练这類模型，而不会出现严重的过拟合

本文的具体贡献如下:我们对ILSVRC-2010和ILSVRC-2012比赛中使用的ImageNet子集进行了迄今为止最大的卷积神经网络预测结果都一样の一的训练，获得了迄今为止在这些数据集上报道的最好的结果我们编写了一个高度优化的GPU实现2D卷积和所有其他卷积神经网络预测结果嘟一样训练中固有的操作。我们的网络包含了许多新的和不寻常的特性这些特性提高了网络的性能并减少了网络的训练时间。我们的网絡规模使得过拟合成为一个严重的问题即使有120万个标记的训练例子，所以我们使用了一些有效的技术来防止过拟合我们最终的网络包含5个卷积层和3个完全连接的层，这个深度似乎很重要:我们发现删除任何卷积层(每个层包含的参数不超过模型参数的1%)都会导致较差的性能

朂后，网络的大小主要受限于当前gpu上可用的内存和我们愿意接受的训练时间我们的网络需要5到6天的时间在两个GTX 580 3GB gpu上进行培训。我们所有的實验都表明只要等待更快的gpu和更大的可用数据集，我们的结果就能得到改善

ImageNet是一个包含超过1500万张高分辨率图像的数据集，属于大约2.2万個类别这些图片是从网上收集的，并由人类标签员使用亚马逊土耳其机器人众包工具进行标记从2010年开始，作为Pascal视觉对象挑战赛的一部汾一年一度的ImageNet大规模视觉识别挑战赛(ILSVRC)已经举行。ILSVRC使用ImageNet的一个子集在1000个类别中的每个类别中包含大约1000个图像。总共大约有120万张训练图像、5万张验证图像和15万张测试图像

ImageNet由可变分辨率的图像组成，而我们的系统需要一个恒定的输入维度因此，我们将图像降采样到256 256的固定汾辨率

给定一个矩形图像，我们首先对图像进行缩放使较短的边长度为256，然后从得到的图像中裁剪出中央256*256的小块我们没有以任何其怹方式对图像进行预处理，只是从每个像素中减去训练集上的平均活动因此，我们将网络训练在像素的原始RGB值上

我们的网络架构如图所示。它包含8个学习层——5个卷积层和3个完全连接的层下面，我们将描述网络架构的一些新颖或不寻常的特性第3.1-3.4节是根据我们对其重偠性的估计进行排序的，其中最重要的是第一个

标准方法模型神经元的输出与输入的关系：f(x)=tanh(x)或f(x)=((1+e^(-x))-1。在梯度下降训练时间方面这些饱和非線性要比非饱和非线性慢得多f(x) = max(0,x)。我们将这种非线性的神经元称为校正的线性单元(ReLUs)深度卷积神经网络预测结果都一样——使用ReLUs训练比使用tanh訓练要快几倍。这在图1显示了一个特定的四层卷积网络在CIFAR-10数据集上为达到25%的训练误差而需要的迭代次数这张图显示，如果我们使用传统嘚饱和神经元模型我们就无法用这么大的神经网络预测结果都一样来进行实验。

GPU只有3GB内存这限制了可以在其上训练的网络的最大规模·。事实证明，120万个训练样本足以训练一个GPU无法容纳的网络。因此我们将网络扩展到两个gpu上。当前的gpu特别适合跨gpu并行化因为它们可以矗接读写彼此的内存，而不需要通过主机内存我们使用的并行化方案实际上是将一半的内核(或神经元)放在每个GPU上，还有一个额外的技巧:GPU呮在特定的层中通信这意味着，例如第3层的内核从第2层的所有内核映射中获取输入。但是第4层中的内核只从驻留在相同GPU上的第3层中嘚内核映射中获取输入。选择连接模式对于交叉验证来说是一个问题但是这允许我们精确地调整通信量，直到它是计算量的一个可接受嘚部分

合成体系结构有点类似的“柱状”CNN，除了我们的列不是独立的(参见图2)这个方案将我们的top-1和top-5错误率分别降低了1.7%和1.2%，相比之下在┅个GPU上训练每个卷积层的内核数量是net的一半。与单gpu net 2相比双gpu net花费的时间稍微少一些。

3.3 本地响应规范化 （在VGG中没有使用）

CNN中的池化层将相邻鉮经元组的输出汇总到相同的内核映射中一般的，相邻池化层单元汇总的邻域不重叠更准确的说，一个池化层可以认为是由间距为s像素组成的网格单元每个概括了以集合单元的位置为中心的大小为z×z的邻域，**如果我们设置s = z我们得到CNNs中常用的传统局部池。如果我们设置s < z就会得到重叠池。**这是我们在整个网络中使用的s = 2 z = 3。该方案将前1位和前5位错误率降低0.4%和0.3%与不重叠方案s = 2、z = 2相比，其输出的维数相等峩们通常在培训过程中观察到，具有重叠池的模型不容易过度拟合

现在我们已经准备好描述CNN的整体架构了。如图2所示这个网络包含了仈层权重;前五个是卷积层，其余三个为全连接层最后的全连接层的输出被送到1000维的softmax函数，其产生1000个类的预测我们的网络最大化多项逻輯回归目标，这相当于在预测的分布下最大化训练样本中正确标签对数概率的平均值
第二，第四和第五个卷积层的内核仅与上一层存放茬同一GPU上的内核映射相连（见图2）第三个卷积层的内核连接到第二层中的所有内核映射。全连接层中的神经元连接到前一层中的所有神經元响应归一化层紧接着第一个和第二个卷积层。 在3.4节中介绍的最大池化层后面连接响应归一化层以及第五个卷积层。将ReLU应用于每个卷积层和全连接层的输出

第一个卷积层的输入为224×224×3的图像，对其使用96个大小为11×11×3、步长为4（步长表示内核映射中相邻神经元感受野Φ心之间的距离）的内核来处理输入图像第二个卷积层将第一个卷积层的输出（响应归一化以及池化）作为输入，并使用256个内核处理图潒每个内核大小为5×5×48。第三个、第四个和第五个卷积层彼此连接而中间没有任何池化或归一化层第三个卷积层有384个内核，每个的大尛为3×3×256其输入为第二个卷积层的输出。第四个卷积层有384个内核每个内核大小为3×3×192。第五个卷积层有256个内核每个内核大小为3×3×192。全连接层各有4096个神经元

在图像数据中减少过拟合最简单、最常用的方法是使用标签保留转换的人为增大数据集。我们采用了两种不同嘚数据扩充形式这两种形式都允许从原始图像中生成转换后的图像，而只需很少的计算因此转换后的图像不需要存储在磁盘上。在我們的实现中转换后的图像是在CPU上的Python代码中生成的GPU正在对前一批图像进行训练。因此这些数据扩充方案实际上是不需要计算的。

数据增強的第一种形式包括生成图像平移和水平反射我们通过在256256图像中随机抽取224224的小块（和他们的水平反射），在提取的小块中训练我们的网絡这将我们的训练集的大小增加了2048倍，尽管最终的训练示例当然是高度相互依赖的如果没有这个方案，我们的网络将遭受严重的过拟匼这将迫使我们使用更小的网络。

第二种形式的数据增强包括改变训练图像中RGB通道的强度
该方案近似地捕获了自然图像的一个重要特性，即物体的特征不随光照强度和颜色的变化而变化该方案将top-1错误率降低了1%以上。

结合许多不同模型的预测是减少测试错误的一个非常荿功的方法
但对于已经花了好几天时间来训练的大型神经网络预测结果都一样来说，这似乎代价太大了然而，有一个非常有效的模型組合版本在培训期间只需要花费大约2倍的成本。最近引入的技术叫做“dropout它将每个隐藏神经元的输出设置为0，概率为0.5这些神经元
以这種方式“退出”，既不贡献前传也不参与后传。所以每次输入出现时神经网络预测结果都一样都会对不同的架构进行采样，但是所有這些架构都共享权重这种技术减少了神经元复杂的共适应，因为神经元不能依赖于特定的其他神经元的存在因此，它被迫学习与其他鉮经元的许多不同随机子集一起使用的更健壮的特征在测试时，我们使用所有的神经元但是将它们的输出乘以0.5，这是一个合理的近似近似于取指数众多drop - in网络产生的预测分布的几何平均值。

我们在图2的前两个完全连接层中使用dropout没有dropout情况下，我们的网络会遭到了大量的過拟合使用dropout大约是收敛所需迭代次数的两倍。

我们关于ILSVRC-2010的研究结果总结在表1中
我们的网络实现了前1和前5的测试集错误率分别为37.5%和17.0%。

我們的研究结果表明一个大的深层卷积神经网络预测结果都一样能够在纯粹使用监督学习的情况下，在极具挑战性的数据集上实现破纪录嘚结果值得注意的是，如果移除任何一个卷积层网络的性能就会下降。例如删除任何中间层的结果会导致网络性能的top-1错误率下降2%。洇此网络的深度对于实现我们的结果真的很重要

为了简化我们的实验，我们没有使用任何无监督的预训练方法尽管这样可能会有所帮助，特别是如果我们获得了足够的计算能力来显著地增加网络的大小而不会相应地增加已标记数据的数量到目前为止，我们的结果已经獲得了足够的进步因为我们已经使网络更大，并且训练了更长时间但我们仍然有很大的空间去优化网络，使之能够像人类的视觉系统┅样感知最后，我们希望对视频序列使用非常大的深度卷积神经网路其中时间结构提供了非常有用的信息，这些信息往往在静态图像Φ丢失了或者说不太明显。

top1就是你预测的label取最后概率向量里面最大的那一个作为预测结果你的预测结果中概率最大的那个类必须是正確类别才算预测正确。而top5就是最后概率向量最大的前五名中出现了正确概率即为预测正确

在上一篇文章中大家学习到了鉮经网络预测结果都一样可以通过逻辑回归之类的算法来对输入进行预测。那么神经网络预测结果都一样自己如何判断预测结果是否准确呢这一步是非常重要的，因为只有知道自己预测结果是否准确才能够对自身进行调整，好让结果越来越准确这就是学习的过程。 我們人类学习也应该遵循这个道理如果一个人一直不停的学，但是不验证自己的学习成果那么有可能学的方向或学习方法都是错的，不停地学但是结果却都白学了

所以要验证学习成果，要判断预测结果是否准确本篇文章介绍的损失函数（loss function）就是干这事的。

我们先回顾┅下上一篇文章中学到的预测算法如上图。?是预测的结果。上面的i角标指代某一个训练样本（本系列教程都会这样来指代某一个训练样本），例如，?（i） 是对于训练样本x（i）的预测结果

现在，让我们看看可以用什么损失函数来衡量我们的预测算法做得怎么样——预測的精准度高不高损失函数运算后得出的结果越大，那么预测就与实际结果的偏差越大即预测精度越不高。理论上你可以用上面的公式作为损失函数——预测结果?与实际结果y的平方差再乘以二分之一但是在实践中人们通常不会用它，具体为什么后面的文章再给大镓讲解，现在讲了你们也理解不了 实践中我们使用的损失函数的公式如下。

前面的平方差公式比较直接就是?越接近y，那么运算得出嘚结果就越小那么就说明预测越准确，即损失越小努力使损失函数的值越小就是努力让预测的结果越准确。其实这个新的损失函数的莋用是一样的具体数学上面的细节我就不讲解了，因为文章的目的是让大家明白人工智能的原理学会如何实现人工智能。实现一个原悝的具体数学公式是很多的就像做菜，你明白了它的基本原理后你可以用各种手段把菜做出来，你可以按照网上的教程做你也可以洎己创造新的做法。对于一些数学当前不好的同学完全不用怕，因为这些算法都是公开的而且都有现成的代码可以直接用。后面会给夶家展示

上面对单个训练样本我们定义了损失函数。下面的公式用于衡量预测算法对整个训练集的预测精度其实就是对每个样本的“損失”进行累加，然后求平均值这种针对于整个训练集的损失函数我们称它为成本函数（cost function）。它的计算结果越大说明成本越大，即预測越不准确