继上一篇的 FCN，这次继续介绍语义分割方向的另一篇-DeeplabV3，论文地址:

https://arxiv.org/pdf/1706.05587.pdf，推荐在看完本文之后仔细阅读论文以及代码，可以更好理解。

论文中作者主要想解决/优化的语义分割方向的两个问题：一是 feature map 的分辨率过低导致后续在恢复为原图分辨率时不够精确，二是对多尺度物体的检测表现不好。作者试图寻找一些方法来解决这两个问题，有些方法是之前已经提出的方法的改进。

空洞卷积

在上篇 FCN 的介绍中我们说到作者认为普通分类网络中的全连接层让目标的位置信息消失了，所以将全连接层换为了卷积层保留了位置信息；而本篇作者认为卷积和池化对原图的缩放让 feature map 失去了目标的精确位置信息，因此就有了有别于普通卷积的空洞卷积:

空洞卷积在 DeeplabV1 中就已经被提出，论文中将它称为 Atrous Convolution 或者 Dilated Convolution，原理是在卷积核中间插入0，可以达到在不增加计算量的情况下增大感受野(field-of-view)的效果。如上图所示，左图中标准卷积中的卷积核大小为 3x3，其感受野也为 3x3，在卷积核中间插入 0 之后变为右图空洞卷积，其中实际参与计算的卷积核大小仍为 3x3，而感受野已经扩大到了 5x5。这里空洞卷积的卷积核大小计算公式: kout = kin + (kin - 1)(r - 1)，其中 r 称为 atrous rate，表示对输入矩阵的采样间隔，(r - 1)就是卷积核中间插入 0 的个数，r 为 1 时就是标准卷积。

实现空洞卷积有两种方式，一是输入保持不变，卷积核中间插 0；二是卷积核保持不变，将输入等间隔采样。Pytorch 采用的是第二种方法，下面看具体的例子了解一下空洞卷积的计算过程:

• 随机产生的输入，限制为 0 1 2 方便计算。

• 卷积核，kernel_size 为 3，dilation 即 atrous rate 为 2。我将卷积核的参数打印出来发现其实没有真的在卷积核中间添 0，而是采用了上述的第二种方式。

• 输出结果，以左上角 5 为例看计算过程，粗体为卷积核中非 0 值:

0x1+1x0+1x1+0x0+2x1 +

0x0+1x0+0x0+1x0+2x0 +

0x1+0x0+1x1+0x0+0x1 +

2x0+1x0+0x0+0x0+2x0 +

1x1+0x0+0x1+2x0+0x1 = 5

使用空洞卷积的优势是在可以扩大感受野的前提下可以通过 padding 使输入与输出的大小相同(下面可以看到)，且不会增加计算量。理解了空洞卷积，下面就好办了。

Multi-grid

作者为了让模型在面对多尺度的物体表现的更好，在不同的卷积层中使用了不同的 atrous rate:

上面一行是使用标准卷积的结果，可以看到网络越深， feature map 的就越小，对恢复物体的位置信息就越不利。下面一行引入空洞卷积之后， feature map 最小是原图的 1/16 (这个可以自己控制)。图中从 block4 到 block7 的网络结构是一样的，都包含 3 个 3x3 的卷积，文中为这 3 个卷积定义的一个 unit rate 为(r1, r2, r3)，实际的 rate 是 rate*unit rate 。拿 block4 举例，假设它的 unit rate 为 (1, 2, 4)，而图中 block4 的 rate 为 2，则实际 block4 的 rate 为 (2, 4, 8)。

ASPP(Atrous Spatial Pyramid Pooling)

ASPP 翻译为中文叫做基于空洞卷积的空间金字塔池化，这名字只是一个代号，理解它是干啥的就好。它是由 SPP 加上空洞卷积得来的，我们先介绍 SPP。

• SPP(Spatial Pyramid Pooling)

SPP 在 SPPNet 这篇文章中被提出，是为了解决卷积网络只能输入固定大小图片的问题。SPP 的结构:

假设卷积层输出的 feature map 的通道数为 256，就是图中黑色的部分，每个通道经过池化层池化为 1 个值则会生成图中灰色的 256-d 的向量，每个通道经过池化层池化为 4 个值则会生成图中绿色的 4x256-d 的向量，每个通道经过池化层池化为 16 个值则会生成图中蓝色的 16x256-d 的向量，将上面三步的输出合并为一个向量，其大小为 (16+4+1)x256，所以不管 feature map 大小是多少经过 SPP 之后大小都是固定的。

• ASPP(Atrous Spatial Pyramid Pooling)

空洞卷积与 SPP 结合就是 ASPP，基本结构:

作者通过多个 atrous rate 的卷积层并联的方式，使模型在多尺度物体上的表现更好。整体的 ASPP 结构就是图中黄色框中的部分，也由 (a), (b) 两个部分组成。(a) 包含 1 个 1x1 的卷积和 3 个atrous rate 分别为 (6, 12, 18) 的 3x3 的空洞卷积；(b)将最终 feature map 经过池化+1x1卷积+bn+bilinear unsample，这么做是为了包含更多的全局信息。

模型表现

• 不同的 output_stride 下模型的表现，output_stride 表示原图与 feature 的大小比例。

• 不同组合的 unit rate 下模型的表现。

• ASPP 对模型表现的影响。

代码地址

本来是想自己复现一遍的，由于实在没时间放弃了，这里提供可运行的代码地址:

https://github.com/jfzhang95/pytorch-deeplab-xception

本篇解读覆盖了论文的几个重点内容，想了解更加细节的内容还是推荐阅读原文以及代码。有问题欢迎留言讨论，一起进步！码字不易，求点赞！

PS:欢迎关注我的个人微信公众号 [MachineLearning学习之路]，每周一篇 CV 方向的论文解读奉上！