摘要
远程协作在许多情况下都是一种强大的工具，可以促进远程会议、社交、娱乐、教学等。具备远程同伴支持的工作模式在时间和成本效益上具有许多优势。在远程协作领域，基于混合现实（MixedReality，MR）的远程协作技术提供了更多协作者之间共享交流线索的方法，增强了协作参与者对伙伴意图的理解。MR远程系统在共享的任务空间视图上共享MR注释、光标指针、凝视和手势提示等，为协作伙伴之间提供丰富的指示参考和确认，这有助于提升远程协作过程中的互动效率，并减少理解伙伴意图时的困难。 然而，在MR远程协作系统中，如何在增加注释、指针、凝视等非语言线索视觉表现的同时，减少对协作用户造成注意力干扰、增加认知负载等负面影响，保证MR交互线索的有效性是该领域中的重要研究内容。过多的视觉线索会成为新的影响用户正确理解彼此意图的障碍，并给协作参与者带来不必要的认知负荷和心理压力，从而降低协作交流的效率。 本研究在MR远程协作中MR空间注释线索共享方法的基础上，研究通过结合多模态输入数据提高MR空间注释交互体验的方法。在远程用户终端，本研究通过眼动跟踪技术采集、分析远程用户的视觉行为，提取远程用户的感兴趣区域，为其后续远程协作交互行为提供帮助；在现场用户终端，本研究通过结合语音交互技术、眼动交互技术等捕捉现场用户与远程用户协作过程中的上下文信息，判断其寻找、定位MR注释的需求，提供相应的交互辅助，改进协作交互体验和协作效率。全文的主要工作如下： （1）针对现有MR远程协作添加MR注释时手动冻屏方式的不足，结合眼动跟踪技术的特点，提出了一种基于眼动跟踪技术的局部自动冻屏MR远程协作系统。该系统能够在远程协作过程中采集远程用户的眼动数据，分析远程用户的视觉行为，判断用户的冻屏意图，提取远程用户的关注区域，对于远程用户感兴趣的现场用户佩戴的MR设备的第一视角视野画面进行局部自动冻屏，以便后续基于这些局部冻屏画面进行协作交互。对于单个远程用户和多个远程用户的场景，系统采取了差异化的冻屏策略，并在显示局部冻屏图像时进行标记区分。 （2）针对现有MR注释交互方法的不足，结合多模态交互技术，提出了一种基于语音标签和眼动跟踪技术的MR注释自动高亮方法。本方法探讨在MR注释中集成语音标签功能，通过分析远程用户的语音上下文信息，进而触发相关MR注释的高亮显示，减少语音交流时MR注释过多导致的歧义。为了辅助现场用户更有效地定位MR注释，结合现场用户的视觉行为，针对不同的语音触发情况，提供了三种不同的高亮模式，旨在提升协作沟通的效率。
NETL