【 AI 科技大本营导读】目前计算機视觉图像检测是深度学习领域最热门的研究领域之一。计算机视觉图像检测实际上是一个跨领域的交叉学科包括计算机科学（图形、算法、理论、系统、体系结构），数学（信息检索、机器学习）工程学（机器人、语音、自然语言处理、图像处理），物理学（光学 ）生物学（神经科学）和心理学（认知科学）等等。许多科学家认为计算机视觉图像检测为人工智能的发展开拓了道路。

那么什么是计算机视觉图像检测呢 这里给出了几个比较严谨的定义：

? “对图像中的客观对象构建明确而有意义的描述”（Ballard＆Brown，1982）

? “从一个或多个數字图像中计算三维世界的特性”（Trucco＆Verri1998）

? “基于感知图像做出对客观对象和场景有用的决策”（Sockman＆Shapiro，2001）

▌为什么要学习计算机视觉图潒检测

一个显而易见的答案就是，这个研究领域已经衍生出了一大批快速成长的、有实际作用的应用例如：

• 图像检索：Google Images 使用基于内容嘚查询来搜索相关图片，算法分析查询图像中的内容并根据最佳匹配内容返回结果

• 游戏和控制：使用立体视觉图像检测较为成功的游戏應用产品是：微软 Kinect。

• 监测：用于监测可疑行为的监视摄像头遍布于各大公共场所中

• 生物识别技术：指纹、虹膜和人脸匹配仍然是生物识別领域的一些常用方法。

• 智能汽车：计算机视觉图像检测仍然是检测交通标志、灯光和其他视觉图像检测特征的主要信息来源

视觉图像檢测识别是计算机视觉图像检测的关键组成部分，如图像分类、定位和检测神经网络和深度学习的最新进展极大地推动了这些最先进的視觉图像检测识别系统的发展。在本文中我将分享 5 种主要的计算机视觉图像检测技术，并介绍几种基于计算机视觉图像检测技术的深度學习模型与应用

给定一组各自被标记为单一类别的图像，我们对一组新的测试图像的类别进行预测并测量预测的准确性结果，这就是圖像分类问题图像分类问题需要面临以下几个挑战???：

视点变化，尺度变化类内变化，图像变形图像遮挡，照明条件和背景杂斑

我们怎样来编写一个图像分类算法呢

计算机视觉图像检测研究人员提出了一种基于数据驱动的方法。 

该算法并不是直接在代码中指定烸个感兴趣的图像类别而是为计算机每个图像类别都提供许多示例，然后设计一个学习算法查看这些示例并学习每个类别的视觉图像檢测外观。也就是说首先积累一个带有标记图像的训练集，然后将其输入到计算机中由计算机来处理这些数据。

因此可以按照下面嘚步骤来分解：

• 输入是由 N 个图像组成的训练集，共有 K 个类别每个图像都被标记为其中一个类别。

• 然后使用该训练集训练一个分类器，來学习每个类别的外部特征

• 最后，预测一组新图像的类标签评估分类器的性能，我们用分类器预测的类别标签与其真实的类别标签进荇比较

目前较为流行的图像分类架构是卷积神经网络（CNN）——将图像送入网络，然后网络对图像数据进行分类卷积神经网络从输入“掃描仪”开始，该输入“扫描仪”也不会一次性解析所有的训练数据比如输入一个大小为 100*100 的图像，你也不需要一个有 10,000 个节点的网络层楿反，你只需要创建一个大小为 10 *10 的扫描输入层扫描图像的前 10*10 个像素。然后扫描仪向右移动一个像素，再扫描下一个 10 *10 的像素这就是滑動窗口。

输入数据被送入卷积层而不是普通层。每个节点只需要处理离自己最近的邻近节点卷积层也随着扫描的深入而趋于收缩。除叻卷积层之外通常还会有池化层。池化是过滤细节的一种方法常见的池化技术是最大池化，它用大小为 2*2 的矩阵传递拥有最多特定属性嘚像素

现在，大部分图像分类技术都是在 ImageNet 数据集上训练的 ImageNet 数据集中包含了约 120 万张高分辨率训练图像。测试图像没有初始注释（即没有汾割或标签）并且算法必须产生标签来指定图像中存在哪些对象。

现存的很多计算机视觉图像检测算法都是被来自牛津、 INRIA 和 XRCE 等顶级的計算机视觉图像检测团队在 ImageNet 数据集上实现的。通常来说计算机视觉图像检测系统使用复杂的多级管道，并且早期阶段的算法都是通过優化几个参数来手动微调的。

第一届 ImageNet 竞赛的获奖者是 Alex Krizhevsky（NIPS 2012） 他在 Yann LeCun 开创的神经网络类型基础上，设计了一个深度卷积神经网络该网络架构除了一些最大池化层外，还包含 7 个隐藏层前几层是卷积层，最后两层是全连接层在每个隐藏层内，激活函数为线性的要比逻辑单元嘚训练速度更快、性能更好。除此之外当附近的单元有更强的活动时，它还使用竞争性标准化来压制隐藏活动这有助于强度的变化。

?就硬件要求而言 Alex 在 2 个 Nvidia GTX 580 GPU （速度超过 1000 个快速的小内核）上实现了非常高效的卷积网络。 GPU 非常适合矩阵间的乘法且有非常高的内存带宽这使他能在一周内完成训练，并在测试时快速的从 10 个块中组合出结果如果我们能够以足够快的速度传输状态，就可以将网络分布在多个内核上

随着内核越来越便宜，数据集越来越大大型神经网络的速度要比老式计算机视觉图像检测系统更快。在这之后已经有很多种使鼡卷积神经网络作为核心，并取得优秀成果的模型如 ZFNet（2013），GoogLeNet（2014） VGGNet（2014）， RESNET（2015）DenseNet（2016）等。

识别图像中的对象这一任务通常会涉及到为各个对象输出边界框和标签。这不同于分类/定位任务——对很多对象进行分类和定位而不仅仅是对个主体对象进行分类和定位。在对象檢测中你只有 2 个对象分类类别，即对象边界框和非对象边界框例如，在汽车检测中你必须使用边界框检测所给定图像中的所有汽车。

如果使用图像分类和定位图像这样的滑动窗口技术我们则需要将卷积神经网络应用于图像上的很多不同物体上。由于卷积神经网络会將图像中的每个物体识别为对象或背景因此我们需要在大量的位置和规模上使用卷积神经网络，但是这需要很大的计算量！

为了解决这┅问题神经网络研究人员建议使用区域（region）这一概念，这样我们就会找到可能包含对象的“斑点”图像区域这样运行速度就会大大提高。第一种模型是基于区域的卷积神经网络（ R-CNN ）其算法原理如下：

1. 在 R-CNN 中，首先使用选择性搜索算法扫描输入图像寻找其中的可能对象，从而生成大约 2,000 个区域建议；

2. 然后在这些区域建议上运行一个 卷积神网络；

3. 最后，将每个卷积神经网络的输出传给支持向量机（ SVM ）使鼡一个线性回归收紧对象的边界框。
   

实质上我们将对象检测转换为一个图像分类问题。但是也存在这些问题：训练速度慢需要大量的磁盘空间，推理速度也很慢

R-CNN 的第一个升级版本是 Fast R-CNN，通过使用了 2 次增强大大提了检测速度：

1. 在建议区域之前进行特征提取，因此在整幅圖像上只能运行一次卷积神经网络；

2. 用一个 softmax 层代替支持向量机对用于预测的神经网络进行扩展，而不是创建一个新的模型

Fast R-CNN 的运行速度偠比 R-CNN 快的多，因为在一幅图像上它只能训练一个 CNN 但是，择性搜索算法生成区域提议仍然要花费大量时间

Faster R-CNN 是基于深度学习对象检测的一個典型案例。

该算法用一个快速神经网络代替了运算速度很慢的选择性搜索算法：通过插入区域提议网络（ RPN ）来预测来自特征的建议。 RPN 決定查看“哪里”这样可以减少整个推理过程的计算量。 

RPN 快速且高效地扫描每一个位置来评估在给定的区域内是否需要作进一步处理，其实现方式如下：通过输出 k 个边界框建议每个边界框建议都有 2 个值——代表每个位置包含目标对象和不包含目标对象的概率。

?一旦峩们有了区域建议就直接将它们送入 Fast R-CNN 。 并且我们还添加了一个池化层、一些全连接层、一个 softmax 分类层以及一个边界框回归器。

总之Faster R-CNN 的速度和准确度更高。值得注意的是虽然以后的模型在提高检测速度方面做了很多工作，但很少有模型能够大幅度的超越 Faster R-CNN 换句话说， Faster R-CNN 可能不是最简单或最快速的目标检测方法但仍然是性能最好的方法之一。

近年来主要的目标检测算法已经转向更快、更高效的检测系统。这种趋势在 You Only Look Once（YOLO）Single Shot MultiBox Detector（SSD）和基于区域的全卷积网络（ R-FCN ）算法中尤为明显，这三种算法转向在整个图像上共享计算因此，这三种算法和上述的3种造价较高的R-CNN 技术有所不同

?目标跟踪，是指在特定场景跟踪某一个或多个特定感兴趣对象的过程传统的应用就是视频和真实世堺的交互，在检测到初始对象之后进行观察现在，目标跟踪在无人驾驶领域也很重要例如 Uber 和特斯拉等公司的无人驾驶。

根据观察模型目标跟踪算法可分成 2 类：生成算法和判别算法。

• 生成算法使用生成模型来描述表观特征并将重建误差最小化来搜索目标，如主成分分析算法（ PCA ）；

• 判别算法用来区分物体和背景其性能更稳健，并逐渐成为跟踪对象的主要手段（判别算法也称为 Tracking-by-Detection 深度学习也属于这一范疇）。

为了通过检测实现跟踪我们检测所有帧的候选对象，并使用深度学习从候选对象中识别想要的对象有两种可以使用的基本网络模型：堆叠自动编码器（ SAE ）和卷积神经网络（ CNN ）。

目前最流行的使用 SAE 进行目标跟踪的网络是 Deep Learning Tracker（DLT），它使用了离线预训练和在线微调其過程如下：

• 离线无监督预训练使用大规模自然图像数据集获得通用的目标对象表示，对堆叠去噪自动编码器进行预训练堆叠去噪自动编碼器在输入图像中添加噪声并重构原始图像，可以获得更强大的特征表述能力

• 将预训练网络的编码部分与分类器合并得到分类网络，然後使用从初始帧中获得的正负样本对网络进行微调来区分当前的对象和背景。 DLT 使用粒子滤波作为意向模型（motion model）生成当前帧的候选块。 汾类网络输出这些块的概率值即分类的置信度，然后选择置信度最高的块作为对象

• 在模型更新中， DLT 使用有限阈值

?鉴于 CNN 在图像分类囷目标检测方面的优势，它已成为计算机视觉图像检测和视觉图像检测跟踪的主流深度模型 一般来说，大规模的卷积神经网络既可以作為分类器和跟踪器来训练具有代表性的基于卷积神经网络的跟踪算法有全卷积网络跟踪器（ FCNT ）和多域卷积神经网络（ MD Net ）。

FCNT 充分分析并利鼡了 VGG 模型中的特征映射这是一种预先训练好的 ImageNet 数据集，并有如下效果：

• 卷积神经网络特征映射可用于定位和跟踪

• 对于从背景中区分特萣对象这一任务来说，很多卷积神经网络特征映射是噪音或不相关的

• 较高层捕获对象类别的语义概念，而较低层编码更多的具有区性的特征来捕获类别内的变形。

因此 FCNT 设计了特征选择网络，在 VGG 网络的卷积 4-3 和卷积 5-3 层上选择最相关的特征映射 然后为避免噪音的过拟合， FCNT 還为这两个层的选择特征映射单独设计了两个额外的通道（即 SNet 和 GNet ）： GNet 捕获对象的类别信息； SNet 将该对象从具有相似外观的背景中区分出来

這两个网络的运作流程如下：都使用第一帧中给定的边界框进行初始化，以获取对象的映射而对于新的帧，对其进行剪切并传输最后一幀中的感兴趣区域该感兴趣区域是以目标对象为中心。最后通过 SNet 和 GNet ，分类器得到两个预测热映射而跟踪器根据是否存在干扰信息，來决定使用哪张热映射生成的跟踪结果 FCNT 的图如下所示。

与 FCNT 的思路不同 MD Net 使用视频的所有序列来跟踪对象的移动。上述网络使用不相关的圖像数据来减少跟踪数据的训练需求并且这种想法与跟踪有一些偏差。该视频中的一个类的对象可以是另一个视频中的背景因此， MD Net 提絀了“多域”这一概念它能够在每个域中独立的区分对象和背景，而一个域表示一组包含相同类型对象的视频

如下图所示， MD Net 可分为两個部分即 K 个特定目标分支层和共享层：每个分支包含一个具有 softmax 损失的二进制分类层，用于区分每个域中的对象和背景；共享层与所有域囲享以保证通用表示。

?近年来深度学习研究人员尝试使用了不同的方法来适应视觉图像检测跟踪任务的特征，并且已经探索了很多方法：

• 应用到诸如循环神经网络（ RNN ）和深度信念网络（DBN ）等其他网络模型；

• 设计网络结构来适应视频处理和端到端学习优化流程、结构囷参数；

• 或者将深度学习与传统的计算机视觉图像检测或其他领域的方法（如语言处理和语音识别）相结合。

计算机视觉图像检测的核心昰分割它将整个图像分成一个个像素组，然后对其进行标记和分类特别地，语义分割试图在语义上理解图像中每个像素的角色（比如识别它是汽车、摩托车还是其他的类别）。如上图所示除了识别人、道路、汽车、树木等之外，我们还必须确定每个物体的边界因此，与分类不同我们需要用模型对密集的像素进行预测。

与其他计算机视觉图像检测任务一样卷积神经网络在分割任务上取得了巨大荿功。最流行的原始方法之一是通过滑动窗口进行块分类利用每个像素周围的图像块，对每个像素分别进行分类但是其计算效率非常低，因为我们不能在重叠块之间重用共享特征

解决方案就是加州大学伯克利分校提出的全卷积网络（ FCN ），它提出了端到端的卷积神经网絡体系结构在没有任何全连接层的情况下进行密集预测。 

这种方法允许针对任何尺寸的图像生成分割映射并且比块分类算法快得多，幾乎后续所有的语义分割算法都采用了这种范式

?但是，这也仍然存在一个问题：在原始图像分辨率上进行卷积运算非常昂贵为了解決这个问题， FCN 在网络内部使用了下采样和上采样：下采样层被称为条纹卷积（ striped convolution ）；而上采样层被称为反卷积（ transposed convolution ）

尽管采用了上采样和下采样层，但由于池化期间的信息丢失 FCN 会生成比较粗糙的分割映射。 SegNet 是一种比 FCN （使用最大池化和编码解码框架）更高效的内存架构在 SegNet  解碼技术中，从更高分辨率的特征映射中引入了 shortcut/skip connections 以改善上采样和下采样后的粗糙分割映射。

?除了语义分割之外实例分割将不同类型的實例进行分类，比如用 5 种不同颜色来标记 5 辆汽车分类任务通常来说就是识别出包含单个对象的图像是什么，但在分割实例时我们需要執行更复杂的任务。我们会看到多个重叠物体和不同背景的复杂景象我们不仅需要将这些不同的对象进行分类，而且还要确定对象的边堺、差异和彼此之间的关系！

到目前为止我们已经看到了如何以多种有趣的方式使用卷积神经网络的特征，通过边界框有效定位图像中嘚不同对象我们可以将这种技术进行扩展吗？也就是说对每个对象的精确像素进行定位，而不仅仅是用边界框进行定位  Facebook AI 则使用了 Mask R-CNN 架構对实例分割问题进行了探索。

Mask R-CNN 通过向 Faster R-CNN 添加一个分支来进行像素级分割该分支输出一个二进制掩码，该掩码表示给定像素是否为目标对潒的一部分：该分支是基于卷积神经网络特征映射的全卷积网络将给定的卷积神经网络特征映射作为输入，输出为一个矩阵其中像素屬于该对象的所有位置用 1 表示，其他位置则用 0 表示这就是二进制掩码。

另外当在原始 Faster R-CNN 架构上运行且没有做任何修改时，感兴趣池化区域（ RoIPool ） 选择的特征映射区域或原始图像的区域稍微错开由于图像分割具有像素级特性，这与边界框不同自然会导致结果不准确。 Mas R-CNN 通过調整 RoIPool 来解决这个问题使用感兴趣区域对齐（ Roialign ）方法使其变的更精确。本质上 RoIlign 使用双线性插值来避免舍入误差，这会导致检测和分割不准确

上述这 5 种主要的计算机视觉图像检测技术可以协助计算机从单个或一系列图像中提取、分析和理解有用的信息。你还可以通过我的 GitHub 存储库（期待你的加入！

AI科技大本营读者群（计算机视觉图像检测、机器学习、深度学习、NLP、Python、AI硬件、AI+金融、AI+PM方向）正在招募中，和你誌同道合的小伙伴也在这里！关注AI科技大本营微信公众号后台回复：读者群，添加营长请务必备注姓名研究方向。

???点击 | 阅读原攵 | 查看更多精彩内容

上午开题答辩被机电系的毕设主任批的昏头晃脑的，不过貌似说的都是大实话让我的毕设有了阶段性的突破性认知，我现在是个什么状况呢计算机老师不愿意管我嘚毕设，昨天去找他签字说了句：“你快做完，暑假早点过来！”听这个意思，就是我不管你的毕设了，你快点做完速度过来不過也没辙，工业大数据确实我们实验室没这个方向机电系这边我挂个名义上的老师，结果人都不知道在哪儿根本不存在指导的问题。so峩现在是姥姥不疼奶奶不爱。今天被胡老师点评一番反而让我坚定了一些想法美哉！不过，还是先做完机器视觉图像检测的作业吧！

對产品中心的检测：设置好路径之后包含关系是在main（相关代码见我以前的一篇文章）中调用hough_circle.m

在本次课程设计Φ，因为数字识别较为困难所以改为条形码识别。分别设置1到15条长间隔相同宽度相同的条形码（示例如下）：

在程序中将其转化为二值囮图像之后具有良好的识别效果以上图的11条形码来进行检测迅速得出结果是11。

当然这种用法我们需要满足一定的假设。首先是闷头上媔不应该有杂质或者是别的会影响检测误差的因素这一点需要工作人员手工实现。另外我们对照片的要求质量比较高，所以可以采用┅个光电门检测产品是否到来当闷头中心正对镜头的时候拍照最好。

另外就是我们识别出来的颜色是以RGB 三原色来表示所以在设计过程Φ需要首先录入15种预设颜色的RGB参数。然后获得当前参数后进行比对即可获得产品颜色数据

下面是Tiao.m的代码：

说明：Tiao.m与Color_Depart.m都是在MenTou_Color_Number_Detection.m中调用，所以把这些文件全部建立丢到一个文件夹下设置为工作路径即可按照开头的说明直接用了。

既然都到这儿了顺手把图贴出来吧！！

顺便放点我们组另外的大腿做的三维动画的设计（13个人一组我做了算法，另一个大腿做了建模和动画其他11个，都是挂件~沃日）

好吧之所把程序说明写上来，是因为我在等上传！太多了东西！！！