摘要
贝叶斯网络模型是一类极为通用的概率图模型，它有机结合了图形论与概率论，将人类生产实践中遇到的诸多复杂的不确定性问题抽象为直观的图形描述，在概率论的框架下建立各变量之间的关联，目前广泛存在于各类基础科学研究以及实际生产应用之中。当前围绕贝叶斯网络模型的基础研究主要从学习和推理展开。变分贝叶斯起源于机器学习领域，是一种将基于贝叶斯定理的后验概率密度函数求解转化为泛函极值求解的确定近似贝叶斯方法，它具有较理想的近似估计结果与计算开销，常见于各类图模型的学习与推理问题中，具有良好的应用前景。本文主要工作是用变分贝叶斯对常用的典型贝叶斯网络模型进行深入的学习与推理探究。 对于以混合Gaussian模型为代表的静态贝叶斯网络模型，详细推导了基于变分贝叶斯的混合Gaussian模型学习与推理算法，阐述了参数学习与隐变量推理的变分迭代过程，分析了自动确定混合模型复杂度的变分贝叶斯结构学习流程。在此基础上，指出了变分贝叶斯可能存在的局部最优点收敛问题以及样本数据采集过程中的噪声干扰问题，引入逆温度参数模拟物体的温度降低过程使算法逐渐趋于全局最优点，并在模型建立上考虑所获样本的不确定性，设计并推导了鲁棒化的混合Gaussian模型退火变分贝叶斯算法，在提高算法鲁棒性的同时兼顾了收敛性。 以Gaussian状态空间模型这一动态贝叶斯网络模型为研究对象。关注了非线性滤波问题中观测噪声方差时变的问题，将方差看作随机变量，结合变分贝叶斯和贝叶斯最优滤波推导并设计了一种非线性条件下观测噪声自适应的滤波算法。针对线性状态空间模型中观测噪声为有色且时变的情形，将变分贝叶斯在最优滤波问题中时变白噪声的递推估计延伸至有色噪声中，用差分技巧白化有色噪声，递推估计状态的同时对有色噪声的等价方差进行变分贝叶斯在线参数学习。针对过程噪声与观测噪声的方差均为时变、且非零均值不可忽略的Gaussian状态空间模型，用inverse-Wishart分布和Gaussian分布分别对观测噪声方差和均值建模，用变分贝叶斯学习二者的分布参数，并实现对状态变量的递推变分推理，同时实时更新过程噪声统计信息。 以非Gaussian状态空间模型这一动态贝叶斯网络模型为研究对象，用Student-t分布取代Gaussian分布对非Gaussian噪声建模。针对观测噪声为非Gaussian的高度非线性模型，引入边缘化粒子滤波算法对Student-t分布的参数进行边缘化处理，将边缘化的全部非Gaussian噪声参数视为随机变量，通过变分贝叶斯在线学习更新状态的充分统计量，最后利用重要性采样推理方法对状态进行序贯估计。针对包含着多个可能相互切换的非Gaussian状态空间模型的混杂系统，将Student-t分布中的中间隐变量与系统状态视为增广的状态变量，在交互式多模型方法框架下，结合矩匹配方法处理混合 Gamma分布得到各子滤波器的噪声参数先验，在滤波步骤中用变分贝叶斯递推学习噪声参数并求得状态的变分后验分布，最终融合各子滤波器得到混杂系统的推理结果。 以同时包括混合模型和状态空间模型建模的这一类复杂贝叶斯网络模型为研究对象。对于观测模型为非Gaussian的状态空间模型离线学习与推理问题，引入Dirichlet过程混合实现对非Gaussian观测噪声的无限混合Student-t分布建模以期提高模型的鲁棒性，在变分期望步骤中求取卡尔曼平滑算法的变分推理近似解，在变分最大化步骤中用变分贝叶斯学习混合Student-t分布模型的参数和结构，反复迭代计算得到离线的最优估计结果。对于状态转移模型为非Gaussian的状态空间模型，以混合Gaussian模型对状态变量建模，每个Gaussian系统状态的均值和精度矩阵看作服从Gaussian分布和Wishart分布的随机变量，每一滤波时刻用变分贝叶斯学习包括均值、精度矩阵以及权值在内的参数，在降低状态变量不确定性的同时确定每个Gaussian分布的权重，进而从每个状态的变分期望后验分布进行重要性采样，实现非Gaussian系统状态的推理。
NETL