摘要
时间序列通常是指在相同时间间隔上对特定观测点连续取值形成的一组数据。在时间序列的很多应用领域中，一个分类对象可能同时对应多个不同维度的观测点，这些观测点采集的连续数据共同构成多维度的时间序列。当前关于一维时间序列的研究已经很充分，但多维时间序列问题尚未得到充分研究。如何有效地提取多维时间序列中多维度之间的特征，是当前时间序列领域的难点之一。唇语识别作为多维时间序列的应用场景，其本身也是人工智能领域的重点研究问题。为此，本文对多维时间序列分类问题展开了两种不同方向的研究，并将其应用到唇语识别领域，主要工作如下： （1）对基于随机森林的多维时间序列分类算法进行研究，提出了一种由高度随机的决策树组合成的随机森林算法。该方法通过随机选择序列中的维度并将其转换为关联时间序列，提取多个维度序列之间的关联性。以随机选择的代表序列与待划分序列之间的相似性作为决策树分支的依据，在独立构造每棵树之后，通过计算每棵树的权重来改善高度随机对分类准确率的影响。此外，通过随机维度选择与多分支决策树降低单棵决策树的计算复杂度。 （2）对基于深度学习的多维时间序列分类算法进行研究，提出了一种结合了注意力机制与循环神经网络的算法。该方法通过注意力机制为多维时间序列的不同维度序列分配不同的权重，从而获取更能够体现辨别性的维度，通过双向循环神经网络提取提取序列内部以及多维序列之间的关联特征，最后将两种网络结构结合起来进行分类识别。 （3）对以上两种多维时间序列分类方法在唇语识别领域的应用展开研究，提出了一种面向唇语识别的多维时间序列表示方法。该方法通过人脸关键点检测技术获取唇部关键点坐标信息，将关键点坐标转换为关键点与相邻点之间的角度，结合内外轮廓的高度与宽度，得到唇语特征点序列。为了更好地开展研究，我们自制了一个句子级的中文唇语数据集。之后采用（1）与（2）中的两种多维时间序列分类方法，在公开英文唇语数据集与自制中文唇语数据集上进行实验。 实验表明，本文提出的方法有效地改善了多维时间序列的分类性能，在应用到唇语识别领域后，同样具有实用价值。
NETL