首页期刊导航|计算机学报
期刊信息/Journal information
计算机学报
计算机学报

高文

月刊

0254-4164

cjc@ict.ac.cn

010-62620695

100190

中国科学院计算技术研究所（北京2704信箱）

计算机学报/Journal Chinese Journal of ComputersCSCD北大核心CSTPCDEI
查看更多>>本刊是中国计算机领域的有代表性学术刊物，作为一种科学研究档案，代表了计算机领域各个研究阶段的水平。本刊被《工程索引》（美国）、《科学文摘》（英国）、《数学文摘》（美国）、《科技文献速报》（日本）、《文摘杂志》（俄罗斯）等多种权威系统收录。是科技部科技信息研究所科技论文统计源期刊、中国科学引文数据库来源期刊。
正式出版
收录年代

    资源受限的大模型高效迁移学习算法研究综述

    李鑫尧李晶晶朱磊申恒涛...
    2491-2521页
    查看更多>>摘要：近年来,深度学习在自然语言理解、计算机视觉和数据挖掘等重要领域取得了巨大成功,极大地推动了人工智能技术的发展.迁移学习的诞生和应用更是大幅减轻了数据的获取和标注成本,成倍提升了深度模型和算法的泛化能力和适用性.然而,随着模型规模的不断增大,传统的迁移学习方法面临着计算和存储资源的巨大挑战,难以满足可穿戴、军事、医疗等资源受限场景下的应用需求.高效迁移学习算法应运而生,旨在以最小的资源开销实现大模型的快速适配与部署,有望成为未来人工智能技术发展的关键突破口.本文是高效迁移学习领域的首篇中文综述,系统总结了近5年来该领域的研究进展.本文首先分析了高效迁移学习算法在自然语言处理、计算机视觉和多模态模型三大场景下的应用现状,提炼出了修改模型结构、调整预训练参数、调整原始输入(输出)、注入自适应参数、引入自适应模块等五类具有代表性的技术路线.在此基础上,本文对各类方法进行了全面梳理与比较,分析了它们的优势与局限性.本文的主要贡献如下:(1)对高效迁移学习领域进行了系统化的综述,为后续研究提供了完整的技术参考;(2)提出了一种基于技术路线的分类框架,帮助读者快速把握该领域的研究脉络;(3)深入分析了现有方法的不足,并展望了未来的发展方向,具有一定的前瞻性和指导意义.高效迁移学习算法是推动现代人工智能技术走进千家万户的关键技术,有望让更多中小企业和个人用户受益于大模型的强大性能.本文对该领域的全面梳理,将为该领域算法的进一步发展和应用提供重要的理论参考与实践指导.

    迁移学习深度学习高效方法多模态模型大模型资源受限

      原文链接:
    • 万方数据
    • 维普

    基于排序得分预测的演化神经架构搜索方法

    蒋鹏程薛羽
    2522-2535页
    查看更多>>摘要：大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary Neural Architecture Search,ENAS)能够在一定程度上减轻人工设计的负担.然而,即使ENAS方法能够自动地搜索到优秀架构,却因为其巨大的时间和计算资源消耗导致难以被广泛使用.代理模型能够较好地解决这一消耗过大的问题,但是现有的代理模型辅助的演化神经架构搜索并不能充分融合搜索和代理的过程,并且目前代理方法难以准确预测精度相近的网络架构的准确排序关系.同时,现有的代理模型普遍需要大量的架构信息作为训练数据才能获得较好的代理精度,这些特点都导致代理模型难以较好地辅助ENAS,从而制约了ENAS的发展.本文中,我们提出了排序得分预测器辅助的演化神经架构搜索方法(Rank Score Predictor-assisted ENAS,RSP-ENAS).在使用本文提出的面向排序得分预测的新型损失函数的情况下,作为得分预测器的多层感知器(Multi-Layer Perceptron,MLP)给出的种群中个体性能得分的排序与他们实际性能的顺序会尽可能保持一致.在使用本方法搜索的过程中,预测获得的得分可以直接被用于精英选择.在搜索阶段中,本文提出了一种两阶段的搜索方法,在搜索的前期使用小种群关注于代理数据集历史信息的积累,在后期着重使用代理模型预测大种群的适应度值.本文中的实验在EvoXBench平台上进行,并且能够在所有的基准数据集上都取得较好的结果,另外我们还在ImageNet数据集上进行了验证.和其他方法相比,本文的方法在NASBench-101空间上能够搜索到最优的架构.在NASBench-201空间的三个数据集上的正确率相较于其他最优方法分别取得了0.35％、1.12％、0.55％的进步.在ImageNet上使用真实数据集进行的实验中,我们的方法获得了2.2％的分类精度的提升.另外,在使用相同数据量的情况下,本文中提出的排序得分预测模型得出的排序结果相较于其他最优方法在Kendall's Tau系数上获得了1.55％的提升.此外,我们还对代理模型中使用的One-hot编码和提出的排序损失进行了验证,从而证明这两项模块对于整体算法的有效性.

    演化计算神经架构搜索遗传算法代理模型排序预测得分预测

      原文链接:
    • 万方数据
    • 维普

    基于RISC-V的深度可分离卷积神经网络加速器

    曹希彧陈鑫魏同权
    2536-2551页
    查看更多>>摘要：人工智能时代,RISC-V作为一种新兴的开源精简指令集架构,因其低功耗、模块化、开放性和灵活性等优势,使之成为一种能够适应不断发展的深度学习模型和算法的新平台.但是在硬件资源及功耗受限环境下,基础的RISC-V处理器架构无法满足卷积神经网络对高性能计算的需求.为了解决这一问题,本文设计了一个基于RISC-V的轻量化深度可分离卷积神经网络加速器,旨在弥补RISC-V处理器的卷积计算能力的不足.该加速器支持深度可分离卷积中的两个关键算子,即深度卷积和点卷积,并能够通过共享硬件结构提高资源利用效率.深度卷积计算流水线采用了高效的Winograd卷积算法,并使用2×2数据块组合拼接成4×4数据片的方式来减少传输数据冗余.同时,通过拓展RISC-V处理器端指令,使得加速器能够实现更灵活的配置和调用.实验结果表明,相较于基础的RISC-V处理器,调用加速器后的点卷积和深度卷积计算取得了显著的加速效果,其中点卷积加速了104.40倍,深度卷积加速了123.63倍.与此同时,加速器的性能功耗比达到了8.7GOPS/W.本文的RISC-V处理器结合加速器为资源受限环境下卷积神经网络的部署提供了一个高效可行的选择.

    神经网络深度可分离卷积RISC-VWinograd快速卷积硬件加速

      原文链接:
    • 万方数据

    基于深度学习的群体动作识别综述

    严锐葛晓静黄捧舒祥波...
    2552-2578页
    查看更多>>摘要：不同于传统的简单动作识别,群体动作识别需要理解场景中由若干人物的单人动作和他们之间的交互动作构成的复杂语义.近年来,群体动作识别在公共安全监控、体育视频分析和社会角色理解等领域的研究与应用引起了学者们的广泛关注.但是现有能够帮助学者们快速了解研究概况的中文文献很少且用于归纳和分析的依据较为笼统.为此,本文旨在综述近十年来基于深度学习的群体动作识别的研究进展.首先,本文介绍了群体动作识别的问题与定义,总结了现有解决方案的核心流程和该研究的关键挑战.然后,本文针对现有研究中的两个核心内容,即个体动作特征的提取及其关联建模,对现有文献作出了归纳与分析.具体而言,本文介绍并总结了群体动作研究中常用的人体行为特征,并将现有关联建模类型归纳为三类,即线性关联、序列关联和图关联.此外,本文还列举了现有的十二种可用于群体动作研究的视频数据集,并在三个常用数据集上对目前流行的方法进行了对比与分析.最后,本文研判了几个更具挑战的未来研究趋势.综上,本文剖析了群体动作识别的核心研究思路及未来研究趋势,有助于相关研究人员快速了解群体动作识别的研究概况.

    视频理解动作识别群体动作识别深度学习注意力机制递归神经网络图模型

      原文链接:
    • 万方数据
    • 维普

    意图感知的社交网络用户城外移动行为预测

    胥帅李博涵许建秋曹玖新...
    2579-2593页
    查看更多>>摘要：基于社交网络用户生成的时空数据预测用户在城外的移动行为已成为城市协同管理的迫切需求.用户城外出行相对于城内移动而言属于"长尾"事件,导致用户在城外生成的签到数据极度稀疏,现有研究难以利用有限的跨城市签到数据建模用户城外出行偏好,进而准确预测用户在城外的移动行为.为此,本文提出一种意图感知的社交网络用户城外移动偏好建模框架TIEMPO.首先,为缓解数据稀疏性问题,通过随机游走从构建的城外地点网络中采样移动轨迹,利用无监督聚类发现特定数目的用户城外出行意图;其次,引入记忆网络从相似用户在城外的移动轨迹中进一步提炼出行意图;然后,基于迁移学习思想,将用户城内签到与城外出行意图进行交互建模,从而强化用户城外移动偏好表示;最后,融合用户城外移动偏好表示与地点隐含表示对用户访问城外地点的概率进行量化.本文基于多个跨城市签到数据集进行广泛的实验分析,结果表明TIEMPO能有效预测社交网络用户在城外的移动行为,预测准确性指标Acc@10相比基线模型体现出12％～15％的明显优势,排序可靠性指标NDCG@10相比基线模型则超出3％～5％,即使在冷启动预测场景下TIEMPO依然表现最优.

    移动行为预测跨城市意图感知偏好建模知识迁移社交网络

      原文链接:
    • 万方数据
    • 维普

    基于深度学习的程序合成研究进展

    苟倩文董云卫李泳民
    2594-2628页
    查看更多>>摘要：随着软件工程实践的不断深入、开源社区的蓬勃发展,基于深度学习的程序合成引起了学术界和工业界的广泛关注.基于深度学习的程序合成,即程序智能合成,旨在利用深度学习技术自动生成满足用户意图的程序.相较于传统合成方法在扩展性和实用性方面的局限性,程序智能合成凭借其易扩展、可学习迭代等特性,已迅速崭露头角,成为软件工程领域的研究热点之一.最近,研究学者们在程序智能合成方面取得了显著进展,如GPT-4在LeetCode网站上的表现已经可以与人类相媲美.同时,工业界也推出了多款AI编程助手,如Copilot、Comate等,旨在解决软件开发的产能瓶颈.本文从多个角度出发,包括用户意图理解、程序理解、模型训练、模型测试与评估,归纳梳理了程序智能合成的研究进展,综述了该领域近几年的研究成果.此外,本文还对可能面临的挑战进行了探讨,并展望了未来的发展趋势.本文的研究有助于研究学者们全面了解程序智能合成领域的最新研究进展,同时也有助于软件开发人员快速掌握程序智能合成的技术方案和思路,以满足工业实践的需要.

    智能软件工程深度学习程序合成程序理解用户意图理解

      原文链接:
    • 万方数据
    • 维普

    适应梯度变化的普适在线凸优化算法

    刘朗麒张利军
    2629-2644页
    查看更多>>摘要：普适在线凸优化算法能够自动适应多类损失函数并进行优化,这使得用户无须自行判别损失函数的类型,降低了在线凸优化技术的使用门槛.虽然现有的普适算法对于多类损失函数的理论保障均达到极小极大最优,但是它们难以针对一般凸函数获得问题相关的理论保障.为解决该问题,本文提出的UAGV算法不仅能够自动适应一般凸与强凸的损失函数,同时首次在平滑条件下对于一般凸损失函数保障了梯度变化界,即能够在损失函数梯度变化缓慢时取得更好的性能.算法整体采用元算法-专家算法的二层结构,在顶层本文创新性地采用具有乐观项的元算法,并针对梯度变化界的形式设计替代损失函数与乐观项,使得其在结合底层专家算法时能够获得相应保障.在多个数据集上的实验结果表明,UAGV算法对于平滑一般凸函数产生的遗憾整体小于现有普适算法,在部分数据集上遗憾减小的幅度超过14％.

    在线凸优化普适算法平滑梯度变化问题相关界乐观项

      原文链接:
    • 万方数据
    • 维普

    基于密度分布的鲁棒谱聚类算法

    李超廖红梅徐晓郭丽丽...
    2645-2663页
    查看更多>>摘要：谱聚类作为一种基于图论的聚类方法,通过相似性矩阵对数据进行特征分解或将数据投影到低维空间以实现更好的数据划分.谱聚类因其适用于复杂数据和非凸子簇而受到广泛的关注,并已成功应用在很多领域.然而,计算复杂度高、噪声敏感等问题会限制其聚类效果的进一步提升.针对这些问题,本文提出了一种基于密度分布的鲁棒谱聚类算法.首先,设置噪声系数以过滤少量的低密度噪声点.其次,根据密度峰值聚类具有的特性,即尽可能多地划分数据能够保证子簇内数据标签的一致性,新提出的算法能够在较少的子簇数和更高的簇内标签一致性上达到平衡,实现了对数据更加优质的划分.最后,基于簇间密度分布的相似性度量改善了谱聚类在密度不均匀数据集上的聚类效果.合成数据以及真实数据上的实验充分证明了新算法在9个最新改进算法中的有效性.在保证聚类效率的前提下,新算法在真实数据上的准确率、调整兰德系数和调整互信息的平均值上至少分别提升了10.02％、22.11％和 15.76％.

    谱聚类密度分布子簇相似性局部峰值噪声检测

      原文链接:
    • 万方数据
    • 维普

    基于解耦区域校准的高分辨率超像素生成算法

    王亚雄魏云超钱学明朱利...
    2664-2677页
    查看更多>>摘要：超像素分割是计算机视觉领域的一项重要任务,该任务将具有相似属性的像素分组到称为超像素的簇中.图像超像素不仅可以增益图像注释,而且还是各种下游应用的基础,如分割、光流估计和深度估计.尽管超像素分割技术取得了显著进展,特别是随着深度学习方法的出现,但现有解决方案由于GPU内存和计算能力的限制,一直无法有效处理高分辨率图像.针对这个问题,作者提出了一种名为区域解耦校准的高分辨率超像素网络(Patch Calibration Network,PCNet)的新型深度学习框架,通过采用解耦的一致性学习策略,解决了现有方法的局限性.这种方法允许通过从低分辨率输入预测高分辨率输出来高效生成高分辨率超像素结果,从而绕过了GPU内存限制.PCNet的一个关键贡献是解耦的区域块校准(DPC)分支,它将高分辨率图像块作为额外输入,以保留细节并增强边界像素分配.为了改善边界像素的识别,作者利用二进制掩模设计了一种动态引导训练机制.这种机制鼓励网络专注于区域内的主要边界,将任务从多类分类简化为二分类问题.这一创新策略不仅减少了网络优化的复杂性,而且显著提高了边界检测的精度.本文通过在包括Mapillary Vistas、BIG和新创建的Face-Human数据集在内的多样化数据集上进行广泛的实验,证明了PCNet的有效性.结果表明,PCNet能够成功处理5K分辨率图像,并与现有的最先进的SCN方法相比,实现了更优越的性能,后者在处理高分辨率输入时存在困难.作者的贡献包括开发了PCNet,一种针对高分辨率超像素分割的深度学习解决方案,引入了解耦的区域校准架构,并构建了一个超高分辨率基准测试集,用于评估高分辨率场景中超像素分割算法的性能.本文首先回顾了超像素分割领域的相关工作,然后详细介绍了PCNet框架,接着展示了实验结果并与最先进的方法进行了比较.结论部分总结了研究结果并概述了未来研究的潜在方向.代码、预训练模型和新的基准数据集的可用性无疑将促进高分辨率超像素分割领域的进一步发展.总之,本文在超像素分割领域提供了一个重要的进步,提供了一种能够高效、准确处理高分辨率图像的解决方案.所提出的PCNet框架,凭借其创新的DPC分支和动态引导训练机制,为未来在计算机视觉领域的研究和应用提供了一个有前景的方向.本文的代码、预训练模型以及新构建的评估基准数据集可在https://github.com/wangyxxjtu/PCNet 上获取.

    超像素分割图像分割高分辨率视觉深度学习人工智能

      原文链接:
    • 万方数据
    • 维普

    基于自适应低秩表示的多任务AUC优化算法

    孙宇辰许倩倩王子泰杨智勇...
    2678-2690页
    查看更多>>摘要：多任务学习是一种基于相似任务之间的关联性进行学习迁移,使得模型在数据不足场景下仍能表现出良好泛化性能的学习方法.在该领域内,大多数现有以准确率作为基准评价标准的方法只适用于平衡分布场景.然而,诸多实际应用如疾病检测、垃圾邮件检测等,均涉及样本分布不平衡问题.针对多任务学习面向任务相关性的高要求,即当模型学习和共享不相关知识时,负迁移可能会影响模型朝着错误方向训练.因此,大多数现有方法在此类场景中无法得到有效应用.为解决该实际问题,设计一种能适用于样本不平衡场景的多任务学习算法变得尤为重要.本文提出了一种基于自适应低秩表示的多任务AUC优化算法,首先引入了对标签分布不敏感的ROC曲线下面积(AUC)作为该学习任务的评价指标,并建立了一种用于AUC优化的多任务学习算法,以提高模型在样本不平衡场景下的性能表现.同时,为进一步有效优化模型,本文将原始成对优化问题重构为逐样本极大极小优化问题,使得每一轮迭代复杂度由O(Lni,+ni,-)降低至O(L(ni,++ni,-)).针对多任务学习中存在的负迁移现象,本文引入了一种自适应低秩正则项,以消除模型冗余信息,同时提高模型的泛化性能.最后,通过与多个对比方法在四个仿真数据集和三个真实数据集Landmine、MHC-I和USPS上的比较,所有实验结果一致证明了本文所提出算法的有效性.

    多任务学习AUC优化低秩表示

      原文链接:
    • 万方数据
    • 维普