首页|基于多特征融合的人像HDR图像处理算法

基于多特征融合的人像HDR图像处理算法

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
基于深度学习的高动态范围(High Dynamic Range,HDR)图像处理算法在处理含有人像的图片时存在皮肤偏色问题.针对此问题,本文提出了一种基于多特征融合的人像HDR图像处理算法U2HDRnet.该算法由皮肤特征提取模块、三边特征提取模块、色彩重建模块 3部分构成.首先,皮肤特征提取模块分离出皮肤区域的颜色和位置信息;其次,三边特征提取模块分别提取图片的局部特征、全局特征和语义特征,并与皮肤特征融合;最后,色彩重建模块对网格做空间和颜色深度上的插值.此外,本文引入改进的自注意力与卷积融合模块以提升HDR的处理效果;同时本文还制作了人像HDR数据集PortraitHDR,填补了该领域内数据集的空白.实验结果显示,U2HDRnet的PSNR达 31.42 dB,SSIM达 0.985,均优于目前常见的HDR算法,在获得高质量人像HDR图像的同时避免了皮肤的失真.
HDR image processing algorithm for portrait based on multi feature fusion
Deep learning based high dynamic range(HDR)image processing algorithms has the problem of skin color deviation when processing images containing human figures.In response to this issue,this article proposes a portrait HDR image processing algorithm based on multi feature fusion-U2HDRnet.This algorithm consists of three parts:skin feature extraction module,trilateral feature extraction module and color reconstruction module.Firstly,the skin feature extraction module separates the color and position information of the skin region.Secondly,the trilateral feature extraction module extracts local features,global features and semantic features of the image,and fuses them with skin features.Finally,the color reconstruction module interpolates the grid in terms of space and color depth.In addition,this article adds an improved fusion module of self attention and convolution to improve the processing performance of HDR.At the same time,this article also produces the PortraitHDR dataset for portraits,filling the gap in the dataset in this field.The test results show that the PSNR of U2HDRnet reaches 31.42 dB,and the SSIM reaches 0.985,both of which are superior to the commonly used HDR algorithms.They obtain high-quality portrait HDR images while avoiding skin distortion.

deep learninghigh dynamic rangeskin feature extractionattention mechanismcolor reconstruction

吴春林、张永爱、林志贤、郭太良、林鹏飞、林坚普

展开 >

福州大学 先进制造学院,福建 泉州 362200

福州大学 物理与信息工程学院,福建 福州 350108

东京大学 信息科学技术学院,日本 东京 113-8657

深度学习 高动态范围 皮肤特征提取 注意力机制 色彩重建

国家重点研发计划福建省自然科学基金福建省教育厅中青年教师教育科研项目National Key R&D Program of China

2021YFB36006032020J01468JAT2100302016YFB0401503

2024

10.37188/CJLCD.2023-0255

液晶与显示
中科院长春光学精密机械与物理研究所 中国光学光电子行业协会液晶分会 中国物理学会液晶分会

液晶与显示

CSTPCD北大核心
影响因子：0.964
ISSN：1007-2780
年,卷(期)：2024.39(8)
  • 2