元宇宙多模态触觉感知与交互的数据手套技术研究
Research on Multimodal Tactile Perception and Interaction Data Gloves for the Metaverse
任弘毅 1刘畅 2陈铭 3杨文珍 4MUKHERJEE M 1潘志庚1
作者信息
- 1. 南京信息工程大学人工智能学院,江苏南京 210044
- 2. 之江实验室天基计算系统研究中心,浙江杭州 311121
- 3. 浙江理工大学机械工程学院,浙江杭州 310018
- 4. 之江实验室智能制造计算研究中心,浙江杭州 311121
- 折叠
摘要
为了提升元宇宙虚拟手交互的逼真性,研发了一种多模态触觉感知与交互的数据手套系统,该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点.人手穿戴此数据手套后,系统能够采集人手操作时的温度、指尖按压力和手指弯曲程度等数据,并把这些数据实时赋予给虚拟环境中的虚拟手,让虚拟手具有类似人手的动作行为和感知.提出了一种多通道循环采集数据方法,该方法可以高效且准确地捕捉温度、指尖按压力和手指弯曲程度等异构多模态数据,减轻了数据手套的硬件电路复杂性.实验结果表明,此数据手套在获取实时手指动作信息方面精度较高,提升了虚拟手动作的灵活性、直观性和自然性.
Abstract
In order to enhance the realism of virtual hand interaction in the metaverse,a multimodal tactile per-ception and interaction data glove system is developed.The system has the characteristics of high hardware in-tegration,high response speed,precise data collection,lightweight,and wearable.This system can capture tem-perature,humidity,fingertip pressure,and finger bending data during hand manipulation after wearing the data gloves,and give the data to the virtual hands in the virtual environrment in real time,enabling virtual hands to exhibit human-like actions and perceptions.A multi-channel cyclic data acquisition method is propsed,which can efficiently and accurately captur heterogeneous multimodal data,including temperature,fingertip pressure,and finger bending,and reduce the hardware circuit complexity of the data gloves.Experimental results demon-strate that the data gloves show high precision in obtaining real-time finger movement information,and improve the flexibility,intuitiveness,and naturalness of virtual hands actions.
关键词
数据手套/人机交互/嵌入式系统/虚拟现实/元宇宙Key words
data gloves/human-computer interaction/embedded system/VR/metaverse引用本文复制引用
基金项目
国家重点研发计划课题(2021YFF0600203)
之江实验室科研攻关项目(K2022PG1BB01)
之江实验室科研攻关项目(2022MG0AC04)
之江实验室青年基金项目(K2023MG0AA11)
之江实验室青年基金项目(K2023MG0AA02)
国家自然科学基金(62072150)
国家自然科学基金(61901128)
江苏省研究生科研与实践创新计划项目(KYCX23_1374)
出版年
2024
国家科技期刊平台
NSTL
万方数据