Deep Feature Extraction for Panoramic Image Stitching

用于全景图像拼接的深度特征提取

使用场合:高分辨率全景图像拼接

关键技术:选择场景的矩形区域从训练图像中选择样本，基于RGB、HSL和Lab颜色空间计算感兴趣区域的颜色特征

主要框架:ResNet网络模型

简介

应用场景:本文提出了一种基于深度学习的图像拼接方法，应用于高分辨率全景图像来支持虚拟旅游风景交互。

特征提取:使用深度学习方法来提取图像的特征。

特征定位:此方法通过最大化图像间的图像块相似性度量来直接估计一对图像之间的特征位置。

数据集:从自然旅游场景中收集了大量高分辨率图像和视频进行训练和评估,该数据集是大图像，由46,000张高分辨率图像(5148×3,456)和150个高分辨率视频(1,920×1,088像素)组成。

特征提取

图像预处理 将样本场景中通常相互重叠的多幅图像匹配到同一坐标系的。这些图像之间的空间关系可以是刚性变换、仿射、单应或复杂变形模型。在本研究中，我们致力于提高刚性变换(平移和旋转)情况下的精度，可以更好的支持全景高分辨率图像的拼接。

样本选择 通过选择场景的矩形区域从训练图像中选择样本。基于RGB、HSL和Lab颜色空间计算感兴趣区域的颜色特征。在HSL空间中，用均值和鲁棒性来表示斑点区域的颜色特征。

训练模型 在预训练ResNet的基础上，并对输入层和最后的全连接层改造，第一层的输入图像为[1920,1088,3]，采用7×7卷积块进行Batch Normalization和RELU. RANSAC剔除错误点。

图像增强 在实验中，应用了以下几种数据增强：

色彩归一化与均衡化：采集不同来源、不同光照条件、不同类型设备的人脸图像。

几何变换：仿射变换，如剪切、扭曲和缩放，随机扭曲笔划数据用于图像分类。因此，仿射变换非常适合于增加数据，以提高整体性能并减轻训练任务的过度拟合。

我们使用了多种重采样技术，例如旋转，拉伸，剪切：-10°至10°角度的随机旋转，-10°至10°角度的随机剪切；随机剪切拉伸，拉伸因子在5°到15°之间。