cnn 卷积神经网络新近成果（计算机视觉的基石）

cnn 卷积神经网络新近成果（计算机视觉的基石）卷积层是卷积神经网络的核心构建块。这层参数由一组K 个可学习过滤器（即“内核”）组成，其中每个过滤器都有宽度和高度，并且几乎总是正方形。•PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化该层要做的处理主要是对原始图像数据进行预处理，其中包括：•去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。•归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。

神经网络接受输入图像/特征向量，并通过一系列隐藏层转换，然后使用非线性激活函数。每个隐藏层也由一组神经元组成，其中每个神经元都与前一层中的所有神经元完全连接。神经网络的最后一层（即“输出层”）也是全连接的，代表网络的最终输出分类。

CNN神经网络

一般卷积神经网络有如下结构：

1. •数据输入层/ Input layer
2. •卷积计算层/ CONV layer
3. •ReLU激励层 / ReLU layer
4. •池化层 / Pooling layer
5. •全连接层 / FC layer

当然卷积层，Relu激励层与Pooling层可以多次使用

输入层/ Input layer

该层要做的处理主要是对原始图像数据进行预处理，其中包括：

•去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。

•归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。

•PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化

卷积层

卷积层是卷积神经网络的核心构建块。这层参数由一组K 个可学习过滤器（即“内核”）组成，其中每个过滤器都有宽度和高度，并且几乎总是正方形。

对于 CNN 的输入，深度是图像中的通道数（即，处理 RGB 图像时深度为 3，每个通道一个）。对于网络中更深的卷积，深度将是前一层应用的过滤器数量。

为了让这个概念更清晰，让我们考虑 CNN 的前向传递，我们在输入体积的宽度和高度上对K 个滤波器中的每一个进行卷积。更简单地说，我们可以想象我们的K 个内核中的每一个都在输入区域上滑动，计算元素级乘法、求和，然后将输出值存储在二维激活图中。

左：在 CNN 的每个卷积层，有K 个内核。中间：K 个内核中的每一个都与输入进行了卷积。右图：每个内核产生一个 2D 输出，称为激活图。卷积过程可以参考下图

在将所有K 个过滤器应用于输入体积后，我们现在有K个二维激活图。然后我们沿着阵列的深度维度堆叠我们的K 个激活图，以形成最终的输出体积。

获得K个激活图后，将它们堆叠在一起，形成网络中下一层的输入。

因此，输出中的每一个都是一个神经元的输出，它只“观察”输入的一小部分区域。通过这种方式，神经网络“学习”过滤器，当它们在输入中的给定空间位置看到特定类型的特征时激活。在网络的较低层，当过滤器看到类似边缘或类似角落的区域时，它们可能会激活。

这里有三个参数控制输出体积的大小：depth、stride和zero-padding大小

depth

输出图像的深度。每个过滤器都会生成一个激活图，在K个内核的卷积中，激活图的深度将为K，或者只是我们在当前层中学习的过滤器的数量。

stride

考虑我们将卷积操作描述为在大矩阵上“滑动”一个小矩阵，在每个坐标处停止，计算元素乘法求和，然后存储输出。这个描述类似于一个滑动窗口，它从左到右、从上到下在图像上滑动。这里我们有一个 5 × 5 的输入图像和一个 3 × 3 的卷积内核。

使用S = 1，我们的内核从左到右和从上到下滑动，一次一个像素，产生以下输出（左图）。若使用S = 2的步幅，我们一次跳过两个像素（沿x轴的两个像素和沿y轴的两个像素），将会输出更少的数据量（右图）

左： 1 × 1 步长的卷积输出。右图： 2 × 2 步长的卷积输出

zero-padding

在应用卷积时，我们需要“填充”输入图像的边界以保留经过CNN卷积后的原始图像大小。使用zero-padding，我们可以沿着边界“填充”我们的输入图像，使得我们经过CNN后输出体积大小与我们的输入体积大小完全一样。我们应用的填充量由参数P控制。

为了可视化zero-padding，我们将 3 × 3 卷积内核应用于步长为S = 1的 5 × 5 输入图像

从上图中，我们可以看到卷积后的图片尺寸为3*3，如果我们改为设置P = 1，我们可以用零填充我们的输入图片（右）以创建一个 7 × 7 的图片尺寸，然后应用卷积操作，得到5*5的输出图片，这跟输入图片的尺寸大小完全一致。

•ReLU激励层 / ReLU layer

这一层也是我们前期分享的激励函数层

左上角：阶跃函数。右上角： Sigmoid 激活函数。左中：双曲正切。中右： ReLU 激活（深度神经网络最常用的激活函数）。左下： Leaky ReLU，允许负数的 ReLU 变体。右下： ELU，ReLU 的另一种变体，其性能通常优于 Leaky ReLU。

CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱，图像如下。

在输入图片进行CNN卷积后，通常我们需要使用激励函数对输出的图片数据进行激励，一般神经网络最常见的是ReLU激励函数，说白一点，此函数便是当小于0的数据全部替换成0，大于0的数据是y=x，直接是输入的值

此层接受大小为W input ×H input ×D input的输入图片，然后应用给定的激活函数。由于激活函数以元素方式应用，激活层的输出始终与输入维度相同，W input = W output，H input = H output，D input = D output。

激活函数

池化层 / Pooling layer

有两种方法可以减小输入图片的大小，CNN 以及pooling，常见的卷积神经网络的步骤为

输入 = >CNN = > RELU = >pooling= >CNN = > RELU = >pooling = > FC

池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。池化层用的方法有Max pooling 和 average pooling，而实际用得较多的是Max pooling。

通常我们使用 2 × 2的池大小，我们还将步幅设置为S = 1 或S = 2。下图应用最大池化的示例，其中池大小为 2 × 2，步幅为S = 1。每 2 × 2 块，我们只保留最大值，从而产生 3 × 3的输出体积大小。

我们可以通过增加步幅来进一步减小输出体积的大小——这里我们将S = 2 应用于相同的输入。对于输入中的每个 2 × 2 块，我们只保留最大值，然后以两个像素为步长，再次应用该操作，我们得到2*2的输出图片大小。

全连接层

深度神经网络的最后一层往往是全连接层 Softmax（分类网络），如下图所示

全连接层将权重矩阵与输入向量相乘再加上偏置，将n个(−∞ ∞)的实数映射为K个(−∞ ∞)的实数（分数）；Softmax将K个(−∞ ∞)的实数映射为K个(0 1)的实数（概率），同时保证它们之和为1。具体如下：

其中，x为全连接层的输入，Wn*K为权重，b为偏置，y^为Softmax输出的概率，Softmax的计算方式如下：

dropout

Dropout 实际上是一种正则化形式，旨在通过提高测试准确性来帮助防止过度拟合，可能会以牺牲训练准确性为代价。对于我们训练集中的每个小批量，dropout 层以概率p随机断开网络架构中从前一层到下一层的输入。

我们应用 dropout 的原因是通过在训练时 改变网络架构来减少过拟合

如上图：图中黑色曲线是正常模型，绿色曲线就是overfitting模型。尽管绿色曲线很精确地区分了所有的训练数据，但是并没有描述数据的整体特征，对新测试数据的适应性较差，且训练模型太复杂，后期的训练数据会很庞大。

假设有一个神经网络：

按照之前的方法，根据输入X，先正向更新神经网络，得到输出值，然后反向根据backpropagation算法来更新权重和偏向。而Dropout不同的是，

1）在开始，随机删除掉隐藏层一半的神经元，如图，虚线部分为开始时随机删除的神经元：

2）然后，在删除后的剩下一半的神经元上正向和反向更新权重和偏差；

3）再恢复之前删除的神经元，再重新随机删除一半的神经元，进行正向和反向更新w和b;

4）重复上述过程。