现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-re...现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-resolution based on multi-distillation and Transformer,MDT)重建方法.首先结合多重蒸馏和双注意力机制,逐步提取低分辨率图像中的多尺度特征,以减少特征丢失.接着,构建一种卷积调制Transformer来提取图像的全局信息,恢复更多复杂的纹理细节,从而提升重建图像的视觉效果.最后,在上采样过程中添加全局残差路径,提高特征在网络中的传播效率,有效减少了图像的失真与伪影问题.在AID和UCMerced两个数据集上的进行实验,结果表明,本文方法在放大至4倍超分辨率任务上的峰值信噪比和结构相似度分别最高达到了29.10 dB和0.7807,重建图像质量明显提高,并且在细节保留方面达到了更好的视觉效果.展开更多
视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等...视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等方式提高生成字幕的质量,但在时空联合建模方面仍存在不足,可能导致视觉信息提取不充分,影响字幕生成结果。为了解决这个问题,本文提出一种新颖的时空增强的状态空间模型和Transformer(SpatioTemporal-enhanced State space model and Transformer,ST2)模型,通过引入最近流行的具有全局感受野和线性的计算复杂度的Mamba(一种状态空间模型),增强时空联合建模能力。首先,通过将Mamba与Transformer并行结合,提出空间增强的状态空间模型(State Space Model,SSM)和Transformer(Spatial enHanced State space model and Transformer module,SH-ST),克服了卷积的感受野问题并降低计算复杂度,同时增强模型提取空间信息的能力。然后为了增强时间建模,我们利用Mamba的时间扫描特性,并结合Transformer的全局建模能力,提出时间增强的SSM和Transformer(Temporal enHanced State space model and Transformer module,TH-ST)。具体地,我们对SH-ST产生的特征进行重排序,从而使Mamba以交叉扫描的方式增强重排序后特征的时间关系,最后用Transformer进一步增强时间建模能力。实验结果表明,我们ST2模型中SH-ST和TH-ST结构设计的有效性,且在广泛使用的视频字幕生成数据集MSVD和MSR-VTT上取得了具有竞争力的结果。具体的,我们的方法分别在MSVD和MSR-VTT数据集上的绝对CIDEr分数超过最先进的结果6.9%和2.6%,在MSVD上的绝对CIDEr分数超过了基线结果4.9%。展开更多
文摘现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-resolution based on multi-distillation and Transformer,MDT)重建方法.首先结合多重蒸馏和双注意力机制,逐步提取低分辨率图像中的多尺度特征,以减少特征丢失.接着,构建一种卷积调制Transformer来提取图像的全局信息,恢复更多复杂的纹理细节,从而提升重建图像的视觉效果.最后,在上采样过程中添加全局残差路径,提高特征在网络中的传播效率,有效减少了图像的失真与伪影问题.在AID和UCMerced两个数据集上的进行实验,结果表明,本文方法在放大至4倍超分辨率任务上的峰值信噪比和结构相似度分别最高达到了29.10 dB和0.7807,重建图像质量明显提高,并且在细节保留方面达到了更好的视觉效果.
文摘视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等方式提高生成字幕的质量,但在时空联合建模方面仍存在不足,可能导致视觉信息提取不充分,影响字幕生成结果。为了解决这个问题,本文提出一种新颖的时空增强的状态空间模型和Transformer(SpatioTemporal-enhanced State space model and Transformer,ST2)模型,通过引入最近流行的具有全局感受野和线性的计算复杂度的Mamba(一种状态空间模型),增强时空联合建模能力。首先,通过将Mamba与Transformer并行结合,提出空间增强的状态空间模型(State Space Model,SSM)和Transformer(Spatial enHanced State space model and Transformer module,SH-ST),克服了卷积的感受野问题并降低计算复杂度,同时增强模型提取空间信息的能力。然后为了增强时间建模,我们利用Mamba的时间扫描特性,并结合Transformer的全局建模能力,提出时间增强的SSM和Transformer(Temporal enHanced State space model and Transformer module,TH-ST)。具体地,我们对SH-ST产生的特征进行重排序,从而使Mamba以交叉扫描的方式增强重排序后特征的时间关系,最后用Transformer进一步增强时间建模能力。实验结果表明,我们ST2模型中SH-ST和TH-ST结构设计的有效性,且在广泛使用的视频字幕生成数据集MSVD和MSR-VTT上取得了具有竞争力的结果。具体的,我们的方法分别在MSVD和MSR-VTT数据集上的绝对CIDEr分数超过最先进的结果6.9%和2.6%,在MSVD上的绝对CIDEr分数超过了基线结果4.9%。
