摘要
本文主要研究了两类可分非凸优化问题, 一类是有界约束上具有可分结构的非凸优化问题, 它在二次规划、经济调度、船舶电力系统、非负矩阵分解有着广泛的应用; 另一类是大规模具有可分结构的非凸优化问题, 其主要应用于机器学习、信号处理和统计估计等领域.然而,可分非凸优化问题在数学上已被证明是NP难的,这也使得探究可分非凸优化问题的优化算法变成一个值得研究的课题.本文主要以交替方向乘子法为框架,根据以上两类问题自身的特点,探究适用于求解这两类问题的分裂算法,并通过收敛性分析验证该算法的合理性,全文主要内容如下: 第一章,简述利用交替方向乘子法研究非凸优化问题的背景及意义,并根据交替方向乘子法的研究现状进一步阐述研究动机,最后总结文章所要研究的内容. 第二章,本节针对有界约束上具有可分结构的非凸优化问题,提出了一种基于交替方向乘子法的新算法近似交替方向乘子法. 在基于交替方向乘子法的框架下,近似交替方向乘子法在解决有界约束上的非凸子问题时, 采用梯度投影, 以此简化非凸子问题的求解,降低运算成本,并且通过引入一个“平滑的”(即指数加权)原始迭代序列,在每次迭代时,向增广拉格朗日函数中增加一个以平滑的原始迭代为中心的近似二次项, 使所得到的近似增广拉格朗日函数在每次迭代时被不精确地最小化, 在保证算法的收敛性的同时也能够提升算法的收敛速度.数值实验表明,该算法可有效的应用于求解一类非凸的船舶分布式能源管理问题. 第三章,本节针对具有可分结构的大规模非凸优化问题,提出了一种基于交替方向乘子法的新算法惯性增量聚合梯度交替方向乘子法. 在基于交替方向乘子法的框架下, 惯性增量聚合梯度交替方向乘子法在解决大规模非凸子问题时, 采用增量聚合梯度法, 即在每次迭代时,选取一部分函数进行梯度更新,其余的函数则沿用原来的梯度信息,利用部分评估梯度近似当前迭代点的完整梯度, 进而简化大规模非凸子问题的求解, 降低运算成本. 并通过惯性思想的引入, 以此达到提升算法收敛速度的目的. 进一步, 证明了由该算法生成序列的任何极限点都是所考虑问题的临界点, 并在辅助函数满足Kurdyka-Lo jasiewicz性质的前提下可获得该算法的全局收敛性和强收敛性. 数值实验表明,该算法可有效应用于求解一类非凸的稀疏逻辑回归问题. 第四章,对文章的研究内容进行总结和进一步展望.
NETL