摘要
近年来，图像超分辨率重建技术在数据传输、图像处理以及其他领域有着广泛的应用。但是由于各方面因素干扰，使得算法目前在各方面依旧有待提升。为了提升所得图像重建质量，超分辨率算法研究及硬件实现就具有十分重要的意义。目前最新的超分辨率网络虽然重建图像效果很好，但是存在网络结构复杂，训练参数量过大，训练技巧困难等问题，不利于后续的硬件实现。为了在重建速度、重建质量、网络结构复杂度之间寻找一个平衡，本文以超深度卷积神经网络(VDSR)为基础结构进行研究改进，提出了一种多尺度残差的轻量级图像超分辨率重建网络。 首先在整体结构方面对VDSR网络进行轻量化减层操作。随后在特征提取阶段，使用不同大小的卷积核进行特征提取，更有效的提取输入图像的信息。在特征映射阶段引入残差网络，构建一个多路径残差链接来学习高低分辨率图像间残差特征，每层输入都叠加前面所有层输出，从而学习更多的图像特征提升最终图像重建质量。最后重建部分对特征图进行扩充处理，降低计算复杂度。网络训练主要是在Tcnsorflow平台上实现，通过对网络层数的大量调试得到初步网络模型，在确定层数的基础上对各个部分进行结构调整后最终完成网络模型的确定。 本文实验结果表明，多尺度特征信息融合可以获得更多的图像信息，同时以多层进行迭代的方式对网络进行特征复用，可以提高重建图像的质量。该网络在重建性能具有竞争力的前提下，参数量比所选用的基础VDSR网络低70%左右，并且重建效果也非常接近VDSR网络。同时对比最新算法IDN网络，网络参数量减少了60%左右，并且两者重建效果差距并不大。 完成算法网络的训练和效果对比展示以后，接下来就是将算法网络用硬件编程实现出来并验证其功能的正确性。首先，网络在训练完成后得到为浮点型参数会占用较多的硬件资源，将其转换为定点型参数减少硬件计算量。随后提取网络的权重和偏置参数，并与图片参数一起存入到SD卡中。通过SDRAM调用在SD卡中所需要计算的一系列参数，然后开始进行运算操作，计算完成后再次缓存到SDRAM中。当完成整个网络实现硬件架构图像处理以后，将最终图像处理结果再次存入到SD卡中。本文使用硬件编程对整体图像处理过程中需要执行操作的硬件模块进行功能设计，并使用仿真软件对其进行功能验证。最后进行综合编译后在Altera DE2-115开发板上进行板级验证，并将最终硬件输出的结果和算法网络输出的结果进行效果展示和对比分析。
NETL