首页期刊导航|电子与信息学报
期刊信息/Journal information
电子与信息学报
电子与信息学报

吴一戎

月刊

1009-5896

jeit@mail.ie.ac.cn

010-58887066

100190

北京市北四环西路19号

电子与信息学报/Journal Journal of Electronics & Information TechnologyCSCD北大核心CSTPCDEI
查看更多>>本刊是电子科学高级综合性学术刊物。主要刊登有关电子与信息科学方面的具有创新性的、高水平的文章。
正式出版
收录年代

    借助语音和面部图像的双模态情感识别

    薛珮芸戴书涛白静高翔...
    4542-4552页
    查看更多>>摘要:为提升情感识别模型的准确率,解决情感特征提取不充分的问题,对语音和面部图像的双模态情感识别进行研究.语音模态提出一种结合通道-空间注意力机制的多分支卷积神经网络(Multi-branch Convolutional Neural Networks,MCNN)的特征提取模型,在时间、空间和局部特征维度对语音频谱图提取情感特征;面部图像模态提出一种残差混合卷积神经网络(Residual Hybrid Convolutional Neural Network,RHCNN)的特征提取模型,进一步建立并行注意力机制关注全局情感特征,提高识别准确率;将提取到的语音和面部图像特征分别通过分类层进行分类识别,并使用决策融合对识别结果进行最终的融合分类.实验结果表明,所提双模态融合模型在RAVDESS,eNTERFACE'05,RML三个数据集上的识别准确率分别达到了97.22%,94.78%和96.96%,比语音单模态的识别准确率分别提升了11.02%,4.24%,8.83%,比面部图像单模态的识别准确率分别提升了4.60%,6.74%,4.10%,且与近年来对应数据集上的相关方法相比均有所提升.说明了所提的双模态融合模型能有效聚焦情感信息,从而提升情感识别的准确率.

    情感识别注意力机制多分支卷积残差混合决策融合

    LGDNet:结合局部和全局特征的表格检测网络

    卢迪袁璇
    4553-4562页
    查看更多>>摘要:在大数据时代,表格广泛存在于各类文档图像中,进行表格检测对于表格信息再利用具有重要意义.针对现有的基于卷积神经网络的表格检测算法存在感受野受限、依赖于预设的候选区域以及表格边界定位不准确等问题,该文提出一种基于DINO模型的表格检测网络.首先,设计一种图像预处理方法,旨在增强表格的角点和线特征,以更好地区分表格与文本等其他文档元素.其次,设计一种主干网络SwTNet-50,通过在ResNet中引入Swin Transformer Blocks(STB),有效地进行局部-全局特征信息的提取,提高模型的特征提取能力以及对表格边界的检测准确性.最后,为了弥补DINO模型在1对1匹配中编码器特征学习不足问题,采用协同混合匹配训练策略,提高编码器的特征学习能力,提升模型检测精度.与多种基于深度学习的表格检测方法进行对比,该文模型在表格检测数据集TNCR上优于对比算法,在IoU阈值为0.5,0.75和0.9时F1-Score分别达到98.2%,97.4%和93.3%.在ⅢT-AR-13K数据集上,IoU阈值为0.5时F1-Score为98.6%.

    表格检测卷积神经网络Transformer特征提取

    基于密集残差和质量评估引导的频率分离生成对抗超分辨率重构网络

    韩玉兰崔玉杰罗轶宏兰朝凤...
    4563-4574页
    查看更多>>摘要:生成对抗网络因其为盲超分辨率重构提供了新的思路而备受关注.针对现有方法未充分考虑图像退化过程中的低频保留特性而对高低频成分采用相同的处理方式,缺乏对频率细节有效利用,难以获得较好重构效果的问题,该文提出一种基于密集残差和质量评估引导的频率分离生成对抗超分辨率重构网络.该网络采用频率分离思想,对图像的高频和低频信息分开处理,从而提高高频信息捕捉能力,简化低频特征处理.该文对生成器中的基础块进行设计,将空间特征变换层融入密集宽激活残差中,增强深层特征表征能力的同时对局部信息差异化处理.此外,利用视觉几何组网络(VGG)设计了专门针对超分辨率重构图像的无参考质量评估网络,为重构网络提供全新的质量评估损失,进一步提高重构图像的视觉效果.实验结果表明,同当前先进的同类方法比,该方法在多个数据集上具有更佳的重构效果.由此表明,采用频率分离思想的生成对抗网络进行超分辨率重构,可以有效利用图像频率成分,提高重构效果.

    超分辨率生成对抗网络频率分离质量评估密集残差

    面向通用处理器芯粒架构探索和评估的系统级模拟器

    张聪武刘澳张科常轶松...
    4575-4588页
    查看更多>>摘要:随着摩尔定律的逐步失效,芯片制造工艺的提升愈发困难,芯片性能的提升面临"面积墙"问题,chiplet(芯粒)技术开始被广泛采用来解决此问题.然而,面向chiplet引入的架构设计参数,目前的体系结构模拟器面临新的挑战.为了能够探索chiplet架构的特定设计参数,现有工作通常只会为模拟器增加单一的功能,导致其难以用于探索多个参数对chiplet芯片的整体影响.为了能够较为全面地探索和评估chiplet芯片架构,该文基于现有gem5模拟器实现了面向通用处理器芯粒架构探索和评估的系统级模拟器(SEEChiplet)模拟器框架.首先,总结了现在chiplet芯片设计关注的3类设计参数,包括:(1)芯片cache系统设计;(2)封装方式模拟;(3)chiplet间的互连网络.其次,针对上述3类参数:(1)设计并实现了私有末级缓存系统,扩大了cache系统设计空间;(2)修改了gem5已有的全局目录,以适配私有末级缓存(LLC)系统;(3)建模了两种常见的chiplet封装方式以及chiplet间互连网络.最后,该文在SEEChiplet框架中进行了系统级的模拟评估,在被测chiplet架构通用处理器上运行操作系统及PARSEC 3.0基准测试程序,验证了SEEChiplet的功能,证明SEEChiplet可以对chiplet设计空间进行探索和评估.

    芯粒设计空间探索体系结构模拟器缓存系统