摘要
随着闲置手机交易平台的蓬勃发展，手机因为外屏成色等级问题出现纠纷的事情越来越多。当前公司对外屏质检的方法主要是将物品送到质检中心，然后由质检中心的人员进行肉眼判断，给出质检结果，该流程存在主观影响大，发生错检无有效矫正方法等问题。因此亟需一种外屏质检的方法来帮助质检人员发现错判物品，提高质检质量。对手机进行外屏进行质检时，首先会对外屏外观给出大致分类，然后根据质检项，决定是否做更细致的外屏质检，如外屏划痕长度是否超过10毫米的判断，当划痕长度处在10毫米临界值附近时区分十分困难。质检中心多年来积累了一批数据集，一个样本包含外屏多视角图片和文本信息，对应着一个外屏分类标签，其中文本信息包含手机型号、外屏尺寸等，如何充分利用这些多模态数据来及时发现错检手机和区分临界划痕，是个值得研究的问题。 针对上面介绍的问题，本文提出了使用多模态特征融合的模型MFBST-RNN来对外屏进行分类。针对多视角图像特征提取问题，本文提出了基于时间步，以Swin-T为骨干网络模型进行融合特征提取的方法MFBST,文本特征主要通过词嵌入矩阵和RNN模型进行提取，使用拼接的方式将文本和视觉特征进行融合，充分利用了文本特征和图片特征的互补性。针对临界划痕外屏图片难以获得问题，本文使用Pix2Pix模型对同系列，不同型号的临界划痕外屏图片进行了生成，构建了数据集。本文在质检中心提供的真实数据集和生成数据集上进行对比实验和消融实验，实验结果表明，本文提出的多模态特征融合模型可以显著提高外屏分类的准确性和F1-score。通过将模型应用到了抽检手机的选择，预期可以提高在抽检环节发现错检手机的概率。本文提出的多模态特征融合模型可以给手机外屏质检分类提供新思路。
NETL