摘要
目前为止，视觉是人类感知世界的重要方式之一。事件相机是一种生物启发式的视觉传感器，其工作原理与传统相机截然不同。传统相机按照固定帧频率拍摄图像；事件相机捕捉像素级的亮度变化，其输出具有稀疏性和异步性。受益于其独特的工作方式，相比于传统相机，事件相机拥有高时间分辨率、低延迟、高动态范围、低能耗等诸多优点，在高速运动、光照条件较差以及工作平台资源有限等具有挑战的环境下更具有性能优势。在消费电子、工业自动化、自动驾驶、移动机器人等实际应用领域，事件相机都具有广阔的应用前景。 近年来，深度学习技术在基于传统相机的视觉领域大量应用并取得了广泛的成功。受此影响，在基于事件相机的视觉领域，深度学习方法大量涌现，在低层视觉任务（例如光流估计）、与场景3D结构相关的任务（例如深度估计、图像视频重建）以及高层视觉任务（例如识别、语义分割）中都有应用。此外，深度学习方法对噪声较为鲁棒，能够更好地应对事件相机的噪声问题。角点特征是重要的图像特征之一，角点检测任务是追踪、识别、视觉惯导等众多视觉任务的基础。 本课题面向事件相机展开，旨在应用深度学习方法解决面向事件相机的角点检测任务，并完成相关实验验证。本文贡献主要包括以下三点： （1）针对事件相机领域缺乏用于深度学习训练的角点数据集的问题，提出一种面向事件相机的角点检测数据集生成方法。本方法的目的是将原始的事件数据转化成一系列角点频率累积图像，作为角点检测数据集。具体包括两个阶段，第一阶段对原始事件数据进行角点标注；第二阶段将标注后的事件数据转化为一系列角点频率累积图像。本方法生成的角点检测数据集可以作为ground-truth监督网络训练。 （2）针对如何从事件相机输出事件流中提取角点特征的问题，提出一种面向事件相机的深度学习角点检测方法。具体思路是：首先，将事件数据表达成多通道图像的形式，作为网络输入；其次，利用角点检测数据集作为ground-truth，监督角点检测网络的训练；最后，训练得到的网络模型可用于事件数据的角点检测。本方法包含三个模块：即事件数据的特征表达模块、角点检测网络模型以及面向事件相机的角点检测数据集。 （3）基于上述研究成果，设计并实现了一个面向事件相机的深度学习角点检测原型系统，并对本文的研究成果进行了实验验证。系统输入为原始事件数据，输出为角点检测图像序列，包含生成角点检测数据集、事件数据的特征表达以及角点检测网络训练三个阶段。 上述面向事件相机的深度学习角点检测方法充分利用了事件相机高效以及鲁棒的优势，更加适应高速运动、高动态范围以及平台资源有限等挑战性场景。此外，深度学习方法的应用提高了角点检测准确率。本课题为深度学习方法为其他面向事件相机的视觉任务中的应用提供了参考，对解决挑战性场景下的视觉任务提供了新思路。
NETL