
摘要:超分辨率重建技术将低分辨率图像通过算法重建成高分辨率图像。深度学习方法已经在超分辨率重建中取得了显著的进展,文章综述了基于深度学习的单帧图像超分辨率重建技术。首先,介绍了超分辨率重建的研究背景及意义、传统方法的缺陷,以及常见的公开数据集。然后,阐述了近年来基于残差网络及注意力机制的单帧图像超分辨率重建技术等研究内容。最后,对基于深度学习的超分辨率重建技术进行了展望与总结,虽然当前已经取得了一些进展,但仍然面临很多挑战,如模型的泛化能力不足、复杂场景下的超分辨率重建等问题。随着深度学习技术的不断发展和改进,超分辨率重建技术将会有更加广泛的应用。
关键词:深度学习;超分辨率;残差网络;注意力机制;Transtormcr
中图法分类号:TP391 文献标识码:A
1 研究背景及意义
图像超分辨率(Super⁃Resolution,SR)重建技术是计算机视觉领域重要的数字图像处理技术,它通过使用一系列算法和模型,从低分辨率(Low⁃resolution,LR)图像中重建出高分辨率(High⁃resolution,HR)图像,由于图像的高分辨率模式包含较多细节和信息,因此该技术在许多领域具有广泛的用途。目前,该技术已经在医疗图像分析、卫星遥感观测、人脸识别及刑侦分析、监控视频复原、视频娱乐系统、工业成像监测等领域得到越来越多的实际应用。
1.1 基于像素插值的重建算法
该方法通过简单的像素插值技术来提高图像的分辨率。虽然这种方法非常简单,但其重建效果通常较差,因此它不能有效地处理图像中的高频信息。
1.2 基于边缘信息的重建算法
该方法利用图像中的边缘信息来提高图像的分辨率。这种方法通常比插值方法更有效,但它对噪声和图像伪影的处理效果并不理想。
1.3 基于局部统计的重建算法
該方法利用图像中的局部统计信息来重建高分辨率图像。这种方法通常需要高质量的低分辨率图像和精确的统计模型,条件较为苛刻。
1.4 基于深度学习的重建算法
该方法基于深度学习技术使用卷积神经网络(CNN)或生成对抗网络(GAN)来训练图像的重建模型,这种方法通常具有较高的重建质量和准确度。在深度学习的框架下,超分辨率重建的任务通常被视为学习从低分辨率图像到高分辨率图像的映射函数,主要可以分为2 类:基于重建的算法和基于生成的算法。
1.4.1 基于重建的算法
基于重建的算法通过学习映射函数将低分辨率图像重建成高分辨率图像。通常使用卷积神经网络对图像进行特征提取和重建,其中SRCNN[1] 是第1个使用深度卷积神经网络进行超分辨率重建的网络,它采用3 个卷积层来提取特征,3 层分别为特征提取层、非线性映射层和重建层,然后使用反卷积层进行图像重建。
1.4.2 基于生成的算法
基于生成的算法使用生成对抗网络来学习生成高分辨率图像。其中,SRGAN[2] 是第1 个使用生成对抗网络进行超分辨率重建的网络,它使用了1 个生成器网络和1 个判别器网络,生成器网络负责将低分辨率图像转换为高分辨率图像,判别器网络则负责区分生成器生成的图像和真实高分辨率图像。
2 常见数据集
在超分辨率重建算法的研究中,为了评估算法的性能和效果,需要使用一些公开的数据集进行测试和比较。表1 列举了较为常见的几个公开数据集,其被广泛应用于单图像超分辨率重建的算法研究和评估中。




