摘要
自动化的、能适应多类情景的信息处理算法是提高工作效率、制造系统柔性与产品质量的有效实用手段。基于双目机器视觉的人机交互协作装配技术，使用视觉处理得到的手部位姿作为装配机器人行为决策的输入信息，通过装配任务的合作实现高效、柔性的生产过程。手部图像的生物特征信息和与其相联系的含有手部姿态的信息是手部位姿预测的前提，具有很高的研究价值和实用价值。本文通过对人机交互合作装配图像中手部生物特征的理论解析、提取与识别、双目三维重构及推断，实现了基于手部特征的手部位姿重建。 在肤色建模的基础上，利用图像肤色分割实现了手部位置的图像定位，识别手部内轮廓线，为手部的生物特征识别提供了基础。在YCrCb色彩空间，采用最大类间方差法进行自适应阈值识别，实现手部图像的基本定位和大体轮廓获取。基于聚类学习方法在RGB色彩空间上建立了肤色混合高斯模型，配合YCrCb颜色空间的自适应阈值识别结果，通过期望最大化算法实现了对手部区域的较准确分割，得到了较为准确的手形外轮廓。基于改进的Laplace算子在人手灰度图像上提取纹路点，得到了手形内轮廓，与手形外轮廓组合为完整的手部轮廓，完成了人手完整轮廓的识别。 对手指生物特征进行识别和推断，提取完整指节，识别近、中指节位置，推断远指节位置和手腕位置，实现了手部结构化的特征检测。以序列搜寻方式将手形外轮廓与内轮廓由图像数据表示为轮廓坐标链；基于区域转角算法，由手形外轮廓识别指根位置；将手形外轮廓与手形内轮廓组合为人手完整轮廓，由手形完整轮廓识别手指指尖位置；由手形内轮廓的识别结果，对指根与指尖识别结果进行修正。由指根指尖识别结果提取代指根点，并由其配合指根指尖点进行手指形状提取；基于改进Laplace算子提取近、中指节位置。利用代指根点结合手部轮廓推断手腕点；以所提取的手指形状及近、中指节位置在图像上推断远指节位置。整合所有识别和推断得到的信息，实现了手部特征检测。 对手部生物特征进行三维重构和位姿推断，得到了完整的手部三维空间位姿信息。以线性三角形法对手部生物特征进行三维重构，得到了手部生物特征的三维位姿信息。以指骨长度特征建立了手部位姿模型，并建立了空间推断远指节的自适应阈值推断算法，将三维重构信息中部分带入人手位姿模型，空间推断出远指节的三维信息。整合所有手部生物特征的三维信息，得到了三维空间中的手部位姿信息。
NETL