摘要
自动驾驶近年来成为了一项热门的研究方向，其对感知、决策、控制等算法的需求促进了相关技术的发展和落地。环境感知作为自动驾驶的核心技术之一，准确地感知车周环境是规划、决策和控制算法起效的前提，也是自动驾驶技术实现落地的关键。环境感知的实时性和准确性很大程度上决定了自动驾驶的安全性，往往需要处理来自各传感器的数据并同时执行多项感知任务，这对车载计算平台的硬件算力带来了巨大的压力。多任务学习能使用单一神经网络模型实现多项感知任务的功能，与为每项任务单独设计神经网络相比，多任务学习能降低神经网路的参数总量，降低网络部署复杂度，减少硬件资源占用。此外，自动驾驶任务要求使用低功耗嵌入式车载计算平台，如何在嵌入式平台上高效部署神经网络也成为神经网络在自动驾驶中落地需要解决的问题。因此，针对自动驾驶场景中的环境感知任务，研究多任务学习感知算法和算法的嵌入式部署加速对自动驾驶应用落地具有重要意义和价值。本论文对自动驾驶场景中的多任务学习应用和神经网络嵌入式部署展开研究，并在这些领域现有理论方法的基础上进行改进和创新。 多任务学习的思路是利用参数共享将两项或多项感知任务集成在单一神经网络中。与单一任务的模型结构相比，多任务学习能够降低网络参数总量，并且参数共享能隐式地学习不同任务间的特征关联，实现任务间相互促进的效果。因此，多任务学习更适用于自动驾驶场景。本论文以多任务学习为主要研究内容，探究不同任务间的作用机理，寻找多项感知任务在自动驾驶场景中的高效实现方法。根据多任务学习在不同感知场景中的应用，本论文从多任务间应用、单一任务应用、多模态数据间应用三个方面对多任务学习进行研究。此外，感知算法的落地最终要部署到嵌入式芯片中，本论文在最后对感知算法在嵌入式芯片中的部署加速展开研究，保证相关算法能切实应用于实际场景。 目前多任务学习领域的研究方向大多集中在两个方面，一是任务间参数共享的形式，二是多任务训练的平衡，这两个问题是多任务学习是否有效的关键，是相关研究的基础，但现有的方法还存在一些问题。首先，针对参数共享的形式，主流的研究大多简单地通过多个任务共享编码器的部分或全部参数，利用监听机制实现特征共享，而忽略了不同任务间自身的关联，这种内在关联需要额外的引导才能让神经网络学习到。对于多任务训练平衡，现有方法大多是人工或者用额外的模块为各任务的损失函数设计权重，这种方式需要进行大量的实验，并且增加了神经网络训练的复杂度。此外，现有方法仅针对单一模态数据下的多项任务设计多任务学习神经网络，对多模态数据或单一任务场景中的应用研究较少，限制了多任务学习的使用场景。对于神经网络在嵌入式设备上部署的相关研究，受限于嵌入式芯片自身在内存、带宽和算力等硬件资源，缺少高效灵活的神经网络嵌入式部署架构。 根据上述分析，本论文从以下几方面展开研究： 首先，研究多任务学习在处理多项不同任务问题中的应用，探究不同任务间的相互作用机理，提出了一种基于多任务学习的多目标跟踪与实例分割算法。为了提升两项任务间的相互促进作用，不仅应用了共享编码器的策略，还在实例分割解码器与多目标跟踪解码器间建立信息传输通道，利用实例分割的结果有效降低了多目标跟踪任务中背景信息的影响。针对多任务训练不平衡问题，提出了一种优化几何平均损失策略，在不引入额外参数和训练复杂度的条件下降低了训练不平衡的影响。 其次，研究多任务学习在处理单一任务中的应用，寻找多任务学习应用的新思路，提出了一种基于多任务蒸馏的端到端车道线检测算法。将分割掩码和多项式模型这两种车道线表征形式进行车道线检测视为两项不同的任务，并建立起由单一任务目标组成的多任务模型。通过将基于分割掩码的车道线检测作为辅助监督任务，提高共享编码器提取车道线特征的能力。针对两种不同的车道线表征形式间的语义关系，提出了模型内知识蒸馏的策略，将清晰的车道几何语义信息由分割解码器传输给多项式解码器，从而提高车道线多项式模型的预测精度。 此外，针对多任务学习在多模态数据场景的应用，提出了一种基于多任务与多模态数据融合的3D语义分割算法。为了解决不同模态数据在训练时标签标签缺失或标签不一致的问题，提出了一种基于弱监督的损失函数，将标注数据信息传播给无标注数据。为定向引导不同模态的数据特征共享，提出了基于注意力的图像特征筛选算法，筛选出对结果有正向作用的特征。为解决不同模态数据在不同场景中的可靠性不一致的问题，提出了一种基于自置信度的结果融合策略，以提升3D语义分割结果的鲁棒性。 最后，针对神经网络在嵌入式平台上的部署应用问题，提出了一种在FPGA上实现的基于混合剪枝的神经网络嵌入式部署加速架构。为了解决FPGA片上内存小、数据带宽低的问题，提出了基于混合剪枝的模型压缩策略，在降低参数量的同时几乎不影响网络性能。此外，还针对压缩后的网络设计了基于行瓦片的特征访存方式和稀疏矩阵存储策略，进一步降低内存和带宽压力。为了解决FPGA缺少开源可用神经网络库的问题，针对神经网络中常用的结构，设计了硬件可灵活配置的计算处理引擎。为了实现神经网络在FPGA上的部署加速，设计了一种高效的神经网络加速架构，并测试了常规神经网络和本论文研究中部分神经网路的部署。 上述研究内容均配有相关的实验验证和结果分析，证明本论文研究成果的可行性和有效性。此外，所提算法还在真实自动驾驶场景或嵌入式设备上进行实验验证，体现本论文研究内容具有落地应用的能力。
NETL