首页|元宇宙多模态触觉感知与交互的数据手套技术研究

元宇宙多模态触觉感知与交互的数据手套技术研究

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
为了提升元宇宙虚拟手交互的逼真性,研发了一种多模态触觉感知与交互的数据手套系统,该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点.人手穿戴此数据手套后,系统能够采集人手操作时的温度、指尖按压力和手指弯曲程度等数据,并把这些数据实时赋予给虚拟环境中的虚拟手,让虚拟手具有类似人手的动作行为和感知.提出了一种多通道循环采集数据方法,该方法可以高效且准确地捕捉温度、指尖按压力和手指弯曲程度等异构多模态数据,减轻了数据手套的硬件电路复杂性.实验结果表明,此数据手套在获取实时手指动作信息方面精度较高,提升了虚拟手动作的灵活性、直观性和自然性.
Research on Multimodal Tactile Perception and Interaction Data Gloves for the Metaverse
In order to enhance the realism of virtual hand interaction in the metaverse,a multimodal tactile per-ception and interaction data glove system is developed.The system has the characteristics of high hardware in-tegration,high response speed,precise data collection,lightweight,and wearable.This system can capture tem-perature,humidity,fingertip pressure,and finger bending data during hand manipulation after wearing the data gloves,and give the data to the virtual hands in the virtual environrment in real time,enabling virtual hands to exhibit human-like actions and perceptions.A multi-channel cyclic data acquisition method is propsed,which can efficiently and accurately captur heterogeneous multimodal data,including temperature,fingertip pressure,and finger bending,and reduce the hardware circuit complexity of the data gloves.Experimental results demon-strate that the data gloves show high precision in obtaining real-time finger movement information,and improve the flexibility,intuitiveness,and naturalness of virtual hands actions.

data gloveshuman-computer interactionembedded systemVRmetaverse

任弘毅、刘畅、陈铭、杨文珍、MUKHERJEE M、潘志庚

展开 >

南京信息工程大学人工智能学院,江苏南京 210044

之江实验室天基计算系统研究中心,浙江杭州 311121

浙江理工大学机械工程学院,浙江杭州 310018

之江实验室智能制造计算研究中心,浙江杭州 311121

展开 >

数据手套 人机交互 嵌入式系统 虚拟现实 元宇宙

国家重点研发计划课题之江实验室科研攻关项目之江实验室科研攻关项目之江实验室青年基金项目之江实验室青年基金项目国家自然科学基金国家自然科学基金江苏省研究生科研与实践创新计划项目

2021YFF0600203K2022PG1BB012022MG0AC04K2023MG0AA11K2023MG0AA026207215061901128KYCX23_1374

2024

10.19708/j.ckjs.2024.04.007

测控技术
中国航空工业集团公司北京长城航空测控技术研究所

测控技术

CSTPCD
影响因子：0.5
ISSN：1000-8829
年,卷(期)：2024.43(4)
  • 15