卷积神经网络结构分析（结构虽简单但性能强悍）

卷积神经网络结构分析（结构虽简单但性能强悍）MobileNet（Github）深度可分离卷积使用一个深度卷积与逐点卷积结构，此外，引入了两超参数，分别为瘦身乘子和分辨率乘子，都是用来减少特征映射空间的维数。 MobileNet、ShuffleNet以及EffNet这三种卷积神经网络结构都是通过优化计算量构想出来的。每个都用自己的版本取代了经典卷积结构。一个组卷积包含几个卷积，每一组获取部分输入信道。下图是一个组卷积过程，有3组，每一组有3个输入信道。 EffNet为空间可分离卷积（spatial separable convolutions），这与MobileNet的深度可分离卷积非常相似。 MobileNet和ShuffleNet都避免更换第一层，因为它们觉得该层的计算量已经很小了。虽然我尊重这种说法，但我认为每一个优化都是重要的。在优化了网络的其它层之后，第一层适当地变大。实验结果表明，用EffNet块替换第一层后，降低了每个层

摘要： 本文介绍了三种小型结构的卷积神经网络，在降低计算复杂度的前提下，其性能也不错。此外，无需使用高性能计算机就可以进行仿真，适合初学者仿真体验。

人工智能、深度学习太火了，火到哪一个领域都有讨论的声音。稍微对深度学习有所了解的人们，尤其是对于计算机视觉领域有所涉猎的人们，当一听到深度学习、卷积神经网络时，脑海里不由得自动脑补这样一幅画面——一台满和负载嗡嗡响的GPU服务器、一台满屏代码不断跳跃的显示屏以及坐在电脑前不断尝试不同卷积神经网络模型的科研人员。这幅场景在各个实验室不断的重复出现，那是不是玩人工智能和深度学习一定都是这样呢？答案是不一定。虽然大多数卷积神经网络都是由于其大型结构而取得非常好的性能，但是这些模型对计算能力有比较高的要求。有些人员只想尝试应用下卷积神经网络、体验下效果，这个时候难道也得配一台高性能计算的服务器吗？如果是这种情况的话，本文将告诉你三种卷积神经网络，这些卷积神经网络在你老的台式机（哪怕是没有GPU）、甚至是你的手机上都能够仿真运行，为你节省一大笔开销，是不是很期待？下面一窥这三种卷积神经网络模型的结构及其性能分析。

MobileNet

MobileNet使用深度可分离卷积（depthwise separable Convolutions），这种卷积块结构首先由Xception引入。深度可分离卷积由两部分组成，分别为深度卷积（depthwise convolution）和逐点卷积（pointwise convolution）。

ShuffleNet

ShuffleNet原创了三种混洗单元（Shuffle unit），如下图所示每个单元都是由逐群卷积（pointwise group convolution）和信道混洗（channel shuffle）组成。

一个组卷积包含几个卷积，每一组获取部分输入信道。下图是一个组卷积过程，有3组，每一组有3个输入信道。

EffNet

EffNet为空间可分离卷积（spatial separable convolutions），这与MobileNet的深度可分离卷积非常相似。

MobileNet和ShuffleNet都避免更换第一层，因为它们觉得该层的计算量已经很小了。虽然我尊重这种说法，但我认为每一个优化都是重要的。在优化了网络的其它层之后，第一层适当地变大。实验结果表明，用EffNet块替换第一层后，降低了每个层计算量的30%。

总结

MobileNet、ShuffleNet以及EffNet这三种卷积神经网络结构都是通过优化计算量构想出来的。每个都用自己的版本取代了经典卷积结构。

• MobileNet（Github）深度可分离卷积使用一个深度卷积与逐点卷积结构，此外，引入了两超参数，分别为瘦身乘子和分辨率乘子，都是用来减少特征映射空间的维数。

• ShuffleNet（Github）每组采用逐点卷积，为了结合每个组所产生的特征，引入了混洗层（shuffle layer）。

• EffNet（Github）使用空间可分离卷积，只是一个简单的深度卷积被分为沿着X轴和Y轴，二者中间有一个池化层。

  

作者信息

Arthur Douillard，深度学习工程师

本文由阿里云云栖社区组织翻译。

文章原标题《3 Small But Powerful Convolutional Networks》，译者：海棠，审校：Uncle_LLD。