数理统计与管理2024,Vol.43Issue(1) :66-80.DOI:10.13860/j.cnki.sltj.20220715-007

基于变分算法的贝叶斯分层收缩模型及其应用

Hierarchical Shrinkage Models via Variational Bayes and Its Application

虞祯 鞠甜甜 王彩晶 田茂再
数理统计与管理2024,Vol.43Issue(1) :66-80.DOI:10.13860/j.cnki.sltj.20220715-007

基于变分算法的贝叶斯分层收缩模型及其应用

Hierarchical Shrinkage Models via Variational Bayes and Its Application

虞祯 1鞠甜甜 1王彩晶 1田茂再1
扫码查看

作者信息

  • 1. 中国人民大学应用统计科学研究中心,北京 100872;中国人民大学统计学院,北京 100872
  • 折叠

摘要

贝叶斯统计推断通常会遇到后验分布中出现高维积分这一公认的计算难题.一种常用的解决方法是使用MCMC算法.然而,MCMC算法在处理高维大数据或复杂模型时计算效率很低,并且难以判断算法收敛性.针对自适应贝叶斯收缩模型、贝叶斯LASSO模型和扩展的贝叶斯LASSO模型,本文提出了一种更高效的变分贝叶斯(VB)算法来进行参数估计和变量选择.该算法源于理论物理中的平均场理论.它将复杂积分问题转化为最优化问题,使用假定分布族中最接近目标后验分布的分布来近似求解,并且易于判断算法收敛情况.数值模拟结果显示,VB算法不仅计算速度明显优于MCMC算法,而且其模型拟合和变量选择效果也与MCMC算法相当,可以作为MCMC算法的一种替代方法.最后,本文运用VB算法分析了俄罗斯房产售价的重要影响因素.

Abstract

In Bayesian inference,the computation of high-dimensional integral for posterior distributions is a conundrum.A dominant paradigm for solving this problem is to use stochastic methods like MCMC.However,MCMC suffers from low computational efficiency for large high-dimensional data sets or complex models.Also,it is hard to determine its convergence.This paper proposes a new efficient variational Bayes(VB)algorithm for parameter estimation and variable selection in Bayesian adaptive shrinkage,Bayesian LASSO,and extended Bayesian LASSO.Originated from the mean-field theory in theoretical physics,VB algorithm approximates the target posterior distribution by using the closest distribution in a specified distribution family with an easy-to-assess convergence criterion.Simulations suggest that the proposed VB algorithm exhibits competitive performance in estimation accuracy and variable selection with higher speed compared with those of MCMC algorithms.We demonstrate VB in the analysis of the price of the real estate market in Russia.

关键词

变分贝叶斯/MCMC/贝叶斯LASSO/分层收缩模型

Key words

variational Bayes/MCMC/Bayesian LASSO/hierarchical shrinkage models

引用本文复制引用

基金项目

中央高校基本科研业务费专项中国人民大学科学研究基金(22XNL016)

出版年

2024
数理统计与管理
中国现场统计研究会

数理统计与管理

CSTPCDCSSCICHSSCD北大核心
影响因子:1.114
ISSN:1002-1566
参考文献量40
段落导航相关论文