摘要
阴影在自然界中无所不在，它由于在光传播途径中存在遮挡物而产生。阴影的出现有利有弊，弊端在于它会干扰许多现有的图像、视频的处理与分析任务，而有利点在于阴影其实隐含了光源和场景中的物体信息，有利于场景中的目标理解。因此研究阴影的检测与去除方法兼具理论与现实意义，但它历来也被认为是机器视觉中一个极富挑战性的任务。 阴影的检测算法按其特征的设计思路分为传统的基于人为构建特征的检测与利用深度学习网络进行检测这两种类别，然而传统算法的阴影检测需要借助大量艰深的光学以及物理学知识进行建模，极大程度上阻碍了研究者在该方向的深入研究，受到模型限制效果也不见得理想；而深度学习网络能够实现端到端的阴影检测，只需要根据阴影的特性设计适合的提取特征方法（卷积与池化等模块）即可得到卓越的检测效果，因此利用深度学习网络进行阴影检测逐渐成为主流。虽然近几年阴影检测方法在性能上有了较大提升，但现有的算法仍普遍存在以下三个问题：1）当阴影同时覆盖在亮色纹理与暗色纹理区域时，大部分检测器会忽略亮色纹理上的阴影区域；2）当较弱光源投射而产生淡色阴影时，可能会出现大面积的漏检测；3）大部分检测器会将图像中深颜色的像素误认为是阴影。这三个问题大大降低了基于提出的双流空洞卷积网络，我们分别在智能视频监控系统与卫星遥感图像处理领域进行了分别应用。由于智能监控视频序列中存在的阴影与所检测的运动目标运动性质相同且有时候因颜色相似难以被区分，因此会造成前景目标检测算法的误检测，利用所提出的双流空洞网络将阴影部分进行标记排除则可以很好地避免干扰，大大提升目标检测算法的准确率。同样地，我们的网络也可以应用于富含海量信息的卫星遥感图像序列处理中，我们在现有的遥感数据集上选择适合的图像自建了遥感阴影数据集并进行网络训练与测试，与现有的主流深度学习网络与遥感阴影检测方法进行定性与定量对比后发现，我们的网络取得了领先的检测水平，证明了双流空洞卷积网络具有较 现有阴影检测方法的准确率。针对以上问题，我们提出了一种新型双流空洞卷积网络，在网络架构中设计了空洞卷积子模块、多层次空洞池化子模块与跨流残差子模块，用于增大卷积感受野，更好地提取并融合了图像的局部特征与全局特征，在实验中，该网络的阴影检测结果对于以上三种问题均有改善。通过在两个大型阴影检测数据集进行定性与定量实验，我们证明了所提出的双流空洞卷积网络与其他九种主流阴影检测方法相比能够得到优秀的检测结果，其中在SBU数据集中平均错误率（BalancedErrorRate，简称BER）降至6.6%，准确率（Accuracy）达到96.2%，均位列第一。在ISTD数据集上，BER降至4.0%，位列第二，准确率达到97%，位列第一。我们还通过剥离实验进一步证明了所提出的三个子模块对阴影特征的提取都有贡献，具有合理性。 基于提出的双流空洞卷积网络，我们分别在智能视频监控系统与卫星遥感图像处理领域进行了分别应用。由于智能监控视频序列中存在的阴影与所检测的运动目标运动性质相同且有时候因颜色相似难以被区分，因此会造成前景目标检测算法的误检测，利用所提出的双流空洞网络将阴影部分进行标记排除则可以很好地避免干扰，大大提升目标检测算法的准确率。同样地，我们的网络也可以应用于富含海量信息的卫星遥感图像序列处理中，我们在现有的遥感数据集上选择适合的图像自建了遥感阴影数据集并进行网络训练与测试，与现有的主流深度学习网络与遥感阴影检测方法进行定性与定量对比后发现，我们的网络取得了领先的检测水平，证明了双流空洞卷积网络具有较 强的任务与场景泛化能力。 我们发现阴影去除的任务可以看作是针对图像中阴影覆盖的纹理生成与周边无阴影部分相似纹理的任务，pix2pixHD生成对抗网络不仅能很好地生成全局性特征，也可以对细节方面加以修饰，因此十分适合进行阴影去除任务。最后，我们将pix2pixHD网络首次应用到阴影去除任务中，从带有阴影的彩色图像中生成了高清、逼真的无阴影图像。通过在两个阴影去除数据集SRD与ISTD上进行训练，并与其他阴影去除算法进行的定性比较后，证明了pix2pixHD生成的无阴影图像最为逼真且细节部分十分清晰，这为后续阴影去除方法的研究提供了新的思路。
NETL