首页|面向AR交互的移动设备眼动跟踪方法与应用

面向AR交互的移动设备眼动跟踪方法与应用

平秋峰

面向AR交互的移动设备眼动跟踪方法与应用

平秋峰1
扫码查看

作者信息

  • 1. 浙江工业大学
  • 折叠

摘要

随着移动设备的迅速普及、AR技术的快速发展,出现了大量面向移动设备的AR应用。然而,现有AR应用中的交互方式较为单一,为了提高用户体验感,需要更多自然、方便的交互方式。为此,本文面向移动设备提出了一种基于眼动跟踪的AR交互方法,并将其应用到购物场景中,提高用户购物过程中的体验感。具体研究工作主要包括以下三个方面: (1)提出了移动设备虹膜中心定位方法。首先利用人脸检测以及人脸对齐算法获取人脸特征点,并利用人眼特征点提取人眼感兴趣区域(regionofinterest,ROI)和判断人眼状态;然后根据人眼状态对人眼ROI图像进行预处理和边缘检测;最后选取有效的虹膜边缘进行圆拟合定位虹膜中心。该方法结合眼睛外观的先验知识,提高了虹膜中心定位算法的精度和鲁棒性,并减少了眼睑、睫毛或皱纹等因素的影响。BioID公开数据集上的测试结果表明,最大归一化误差在e≤0.05,e≤0.10,e≤0.25精度范围分别达到了86.2%,95.3%,100%。此外,在本文自采数据集上进行了测试,最大归一化误差在e≤0.05的精度范围内达到了89%,验证了该方法的有效性和可行性。 (2)提出了移动设备注视点计算方法。首先根据相机标定求解出的相机参数进行头部姿态估计;然后进一步选择人脸特征点中心(FC)和虹膜中心(IC)构造出FC-IC眼动向量,通过标定采集眼动向量与对应注视点的数据集;接着建立映射模型函数,利用高斯过程回归求解模型参数实现注视点计算;最后利用头部姿态补偿头部运动造成的注视点误差。通过用户测试,比较了头部静止状态下和头部运动状态下的注视点计算精度,结果表明,头部静止时的平均跟踪精度为1.63°;头部运动时的平均精度为2.62°,比已有方法具有更高的精度与实用性。 (3)设计与开发了移动设备AR交互原型系统。将眼动跟踪应用到超市购物场景中,设计与开发了面向购物场景的AR交互系统。当用户注视某一商品时,以AR标签的形式,展示商品的详细信息,包括价格、生产日期、不同商品之间的差异性等。通过商品信息的可视化展示,动态更新商品价格等,提高了消费者的超市购物体验感。最后通过实验验证了该系统的可行性和有效性。

关键词

眼动跟踪/增强现实/移动设备/人机交互

引用本文复制引用

授予学位

硕士

学科专业

软件工程

导师

程时伟

学位年度

2022

学位授予单位

浙江工业大学

语种

中文

中图分类号

TP
段落导航相关论文