摘要
为摆脱MIDI音乐设备在交互方式上的限制,同时针对目前体感交互系统便携性差、价格昂贵等问题,将边缘计算设备与轻量级网络结合,提出了一种基于手部姿态识别的音乐体感交互系统.系统上位机依托于树莓派4b,通过单目摄像头获取数据进而识别手部关键点,调用舵机追踪目标,并通过nRF24L01通信模块将动作指令发送给下位机,从而实现中远距离控制音乐演奏.通过在轻量级网络ShuffleNet v2中嵌入SENet通道注意力机制并进行网络瘦身操作,系统可在200 ms内完成体感控制任务,能满足用户手势控制、设备协同等需求.
维普
万方数据