密 级： 中图分类号 学科分类号
： ：
21020093012
公开 P237 420.20
信息工程大学
硕士学位论文
无人机 影像
快速 拼接关键 技术研究
作者姓名 学科门类 学科专业 研究方向
： ： ： ：
于瑶瑶 姜 挺 教授 工 学 摄影测量与遥感 数字摄影测量 2012年4月15日 2012年6月16日
指导教师姓名：
论文提交日期： 论文答辩日期：
信息工程大学
QQQQQQQQQQQQQQQQQQQQQQQQ. 学院 二○一 二年四月
A Dissertation Submitted to
PLA Information Engineering University
for the Degree of Master of Engineering
Research on Key Technologies of UAV Images Fast Mosaic
Candidate ：
Yu Yaoyao Prof. Jiang Ting
Supervisor：
Apr. 2012
信息工程大学硕士学位论文
目 录
摘 要
.............................................................................................................................................. I
Abstract .......................................................................................................................................... II 第一章 绪论 ................................................................................................................................... 1
1.1 论文研究的背景与意义 .................................................................................................... 1 1.2 国内外研究现状 ................................................................................................................ 2 1.3 论文的主要内容和组织结构 ............................................................................................ 4 第二章 无人机影像特征匹配 ....................................................................................................... 6
2.1 尺度不变特征提取 ........................................................................................................... 6
2.1.1 SIFT 算子 ................................................................................................................. 6 2.1.2 SURF 算子 ............................................................................................................. 12 2.2 特征匹配 .......................................................................................................................... 15
2.2.1 匹配测度 ................................................................................................................ 15 2.2.2 搜索策略 ................................................................................................................ 16 2.2.3 RANSAC 算法剔除误匹配点对 ........................................................................... 17 2.3 实验与分析 ...................................................................................................................... 18 2.4 本章小结 .......................................................................................................................... 22 第三章 变换矩阵的解算与求精 ................................................................................................. 23
3.1 成像原理 .......................................................................................................................... 23 3.2 图像变换模型 .................................................................................................................. 24 3.3 单应矩阵的解算 .............................................................................................................. 26
3.3.1 RANSAC 确定初始变换矩阵 ............................................................................... 26 3.3.2 L-M 算法 ................................................................................................................ 27 3.4 影像插值 .......................................................................................................................... 29 3.5 累计误差对影像拼接的影响 .......................................................................................... 30 3.6 全局配准 .......................................................................................................................... 31 3.7 实验与分析 ...................................................................................................................... 34 3.8 本章小结 .......................................................................................................................... 36 第四章 影像合成 ......................................................................................................................... 37
4.1 影像合成 .......................................................................................................................... 37
4.1.1 直接平均融合法 .................................................................................................... 38 4.1.2 线性加权融合法 ................................................................................................... 38 4.1.3 多频带融合法 ........................................................................................................ 40 4. 2实验与分析 ..................................................................................................................... 41
第I页
信息工程大学硕士学位论文
4. 3本章小结 ......................................................................................................................... 45 第五章 总结与展望 ..................................................................................................................... 46
5.1 总结 .................................................................................................................................. 46 5.2 展望 .................................................................................................................................. 48 参考文献 ....................................................................................................................................... 49 附录 ............................................................................................................................................... 52 作者简历 攻读硕士学位期间完成的主要工作 ....................................................................... 62 致谢 ............................................................................................................................................... 63
II页
信息工程大学硕士学位论文
摘 要
无人机 遥感具有实时的对地观测能力，可以 低成本 的获取高时空分辨率的影像，因此
在摄影测量与遥感领域 有非常广泛的应用，尤其在应急保障中，无人机遥感的灵活性使其 具有很高的应用价值 。由于 单张影像往往不能覆盖要研究的整个地区，影像 拼接是无人机
影像处理不可或缺的技术，在应急响应中，快速的拼接算法更是研究重点。 基于尺度不变 kkkkkkkkkkkkkk. 的影像匹配算法 对重合度较低的影像的匹配 处理效果较好，也 适用于 运动场景影像和 存在部分遮盖的影像 匹配，因此可以用于无人机影像的拼接 。本文主要以基于 尺度不变特 征的影 像匹配 算法为主线，对无人机影像快速拼接的关键技术进行了深入的研究，并实现 了算法， 论文 的主要研究工作包括以下内容：
1.总结了无人机影像拼接技术的研究意义和国内外发展现状，分析了无人机影像拼接 的技术流程，确定了论文的主要研究内容。
2. 系统的介绍了SIFT、 SURF 特征提取算子的原理与特点， 对比 分析 了随机 KD 树搜 索和 BBF 搜索 算法 ，阐述了 RANSAC 算法剔除误匹配点的原理，通过实验验证了 SURF
算子提取特征的速度比 SIFT 算子快。这部分内容在无人机影像拼接中属于特征匹配的阶 段。 设计了一种影像匹配方法，将带有亮度对比标识符的 SURF 特征提取算子， BBF搜 索算法和 RANSAC 算法组合在一起，通过这几种方法来实现影像匹配。
3. 总结了相机的成像原理和 无人机影像间的变换模型，介绍了 单应矩阵的 概念，并研 究了其 答解方法 ，采用 RANSAC 算法估计初始单应矩阵，然后利用 L-M 算法 解算高精度 单应矩阵， 简单说明了影像插值的几种方法，介绍了多幅影像拼接时 累积误差 的形成与其 对拼接效果的影响 。针对 多幅影像 拼接 时累积误差对拼接效果的影响 ，介绍了基于特征的
整体优化调整方法 ，可以解决多幅影像拼接中存在累积误差的问题。
4. 总结了影像融合技术的几种方法，实现并对比 分析 了线性融合 法和多频 带融合 法两 种影 像融合方法。 设计了一种无人机影像拼接方法，将前面所述基于 SURF 的影像匹配方 法和多频带融合法应用于无人机影像拼接中，用此方法实现了一组无人机影像三条航带的 拼接。
5. 总结了论文的主要内容，总结了无人机影像快速拼接的技术流程，设计出一套 基于 SURF 特征的无人机影像快速 拼接的方案，并进行了实现，得到的拼接效果较为满
意。
关键词： 无人机，影像拼接，SURF特征 配准， 多频带 融合
，单应矩阵， L-M算法，全局
第I页
信息工程大学硕士学位论文
Abstract
Unmanned aerial vehicle (UAV) remote sensing possesses the abilities of instant observation to the earth, as well as acquiring high temporal and spatial resolution images at low cost. Therefore, it is widely used in photogrammetry and remote sensing, especially in time-critical event response. Due to the restriction of the image-acquisition conditions, the images of the large scenes have to be generated by mosaicing technology. The image registration method based on scale invariant feature is not only applied to the registration between images with less overlapping, but also used in the registration between images containing motive scene and some defiladed objects. This thesis took the image registration algorithm based on scale invariant feature as its thread, and researched the image mosaicing technology based on scale invariant feature matching. The main work done in the thesis is listed as follows. 1. The significance and development status of UAV image mosaicing technology is summarized and analyzed, and the technical process is listed, the main researched contents are identified.
2. UAV image matching based on features is explored. SIFT and SURF are introduced and analysed. Randomized kd-tree search algorithm and best bin first (BBF) algorithm are evaluated. The principle of RANSAC algorithm is illustrated. Experimental results show that SURF is faster in extracting point features than SIFT, and SURF with brightness contrast identifier is much faster in calculating. An image matching method is designed, with the brightness contrast identifier SURF feature extraction operator, the BBF search algorithm and the RANSAC algorithm assembled, to realize image matching.
3. The imaging principle and transformation model of UAV image is summarized. The concept of homography is illustrated and its solution is worked out. RANSAC algorithm is used to estimate the original homography, L-M algorithm is used to calculate homography with high accuracy. Several methods of image interpolation are introduced. The global registration of UAV image mosaicing is studied. The accumulated errors emerges during the mosaicing process may influence the quality of the achieved image. To solve this problem, an overall optimization adjustment method based on feature point is presented.
4. Several methods of image blending are summarized and compared through experiments. A UAV image mosaic method is designed, with the image matching method based on SURF and multi-band blending method applied to the UAV image mosaic. With this method, the mosaic of a group of UAV images with three strips is carried out.
II页
信息工程大学硕士学位论文
5. The main content of the thesis and the technical process of UAV image swift mosaicing are summarized. A method of UAV image swift mosaicing based on SURF is summarized and experimented, and good results are generated.
Key words: Unmanned Aerial Vehicles, image mosaic, SURF, homography, global registration, L-M algorithm, multi-band blending
第III页
信息工程大学硕士学位论文
第I页
信息工程大学硕士学位论文
第一章 绪论
1.1 论文研究的背景与意义
近年来，遥感的发展趋势之一就是无人机遥感，它能够获取大比例尺 高分辨率 影像， 并具有影像时效性强、针对性强，执行任务灵活性高，运行成本低等
优点，是获取遥感数
据
的
重
要
途
径
。
因
此
，
无
人
机
遥
感
在
应
急
响
应
方
面
有
着
广
泛
的
应
用
，
它
可
以
用
于
交
通
事
故
现场 的模拟，森林火灾的监测，以及灾害的应急保障 [1]等。要提高我国测绘的实时性，在
灾害面前做好应急响应，都迫切的需要大力 发展 无人机 遥感 。也正是 无人机遥感系统 的发 展，使得 地理信息 的全天候、实时化 获取成为了可能。随着无人机遥感系统 的应用 越来越 广泛，海量数据 与数据实时处理的矛盾也越来越明显，解决矛盾的关键就在于研究高效 处 理无人机遥感数据 的方法。经过学者们多年的努力，对于 遥感影像 的处理已经逐渐成熟 ，
但如何高效的处理 无人机遥感影像仍需进一步研究。
据不完全统计，目前 世界范围内已有 30 多个国家和地区研制出了 共计 50 多种无人机， 无人机型号超过 300 余种， 无人机的发展呈现了蓬勃上升的态势 ，但发展最快、水平最高 的主要是美国和以色列 [43]。无人机 技术的快速发展，也同时推动了更多学科的技术进步，
如信息技术、航空技术、新材料技术、新能源技术、测控技术、控制技术 等。无人机 在实 际应用中的优势主要有 成本较低、 机动性 好、使用方便 、无人员伤亡风险等， 因此无人机
十分适合应用于 航空拍照、地质测量、高速公路管理、森林防火巡查、高压输电线路巡视、 油田管路检查、毒气勘察、缉毒和应急救援、救护等民用领域。正是因为无人机在民用领 域里应用前景广阔， 市场潜力巨大，除一些科研院所外，民营企业也开始介入无人机市场 ， 目前全国约有 上百 家单位在生产无人机 [51]。对于要求不太高的低端产品 ，一套无人机系
统有可能只需要几十万元 的生产成本， 因此才会出现 国内众多厂家着手参与 无人机市场 的 局面。
按照目前无人机遥感 的应用情况，单张无人机影像往往无法覆盖整个受灾地区，而生 成正射影像拼接又需要耗费大量时间，因此，研究基于无人机原始影像的快速校正和拼接 技术对于应急响应具有重要意义 [2]。影像拼接又称影像镶嵌，是将两幅或多幅影像拼在一
起，构成一幅整体图像的技术过程 [3]。由于 影像拼接广泛的应用于摄影测量与遥感领域， 因此对于影像拼接 技术 的研究有很多， 但是针对无人机影像的拼接，却仍然存在许多技术
难题。由此可见，在 无人机遥感影像拼接技术上还有很多值得研究，值得改进的地方 。
低空无人机影像的 典型特性 有：预先定义的相邻影像之间的关系不 能严格保证，相邻
影像之间重叠度变化大，旋转角变化大，特征不连续，传统的地形连续性约束对于低空影 像的匹配不适用 [4]。与传统 意义上 的航空摄影测量 有些不同的是，在无人机影像 处理中 需
第1页
信息工程大学硕士学位论文
要考虑以下几点 ：第一，影像的倾角过大而无规律、航向重叠度有的过小 度不一致，使得影像匹配难度大、精度低，给后续处理造成不利影响；第二，影像
(小于 20％)、灰
像幅小、
数
量
多
，
造
成
工
作
量
大
、
效
率
低
，
需
要
研
究
高
效
的
、
自
动
化
程
度
高
的
处
理
方
法
；
第
三
，
飞
行航线呈曲线，影像的旁向重叠度不规则、过小（许多小于 10％），这给连接点的提取和 布设带来困难，影 响到空中三角测量的精度 [5]
。此外， 大部分 无人机遥感平台 上装配的相
机为 非量测型相机， 造成 成像质量较差， 存在不规则的影像畸变和明显的 辐射信息差异， 这些 都给后续的 影像拼接 提出更多的问题。
1.2 国内外研究现状
自从 数字图像处理技术出现以来 ，图像拼接技术也 随之逐渐发
展起来，目前已 有一些
具有代表性的技术。 在全局快速配准算法方面有以下技术： R. Marzotto 等提出了一种 自
动构建全景拼接图像的方法， 利用视频序列 ，采用仿射变换方法，通过全局配准的方法削
弱了配准中的误差累积，从而生成全景影 像图 [6][42]； Dae-Wooing Kim等提出的快速全局
拼接算法 采用有序块匹配，将像素点特征的非确定性信息 考虑在内，用规则间隔的栅格特
征替代角点特征和线结构，采用最短路径搜索（ Shortest-path Search，SSPS）算法以有序 方式寻找精确的全局匹配 [7]； D. M. Healy 等将信号处理理论中的随机映射方法 应用于使
用最小二乘法配准的全局优化 ，当待 配准影像数量较大时，可以采用该方法来处理全局配 准问题 [8]。
当影像数量较少，对其进行配准和拼接 的精度很高 ，一般不会 有明显的拼接缝 。但是 当影像数量巨大，达到 成百上千幅 时，对它们进行拼接时会出现参数的飘移，导致配准 误 差的累积 ，而实时性的要求又增加了，使 全局配准算法 没有足够时间来进行。 有时在
应用中需要进行即时的大范围影像拼接，并对精度要求很高， 比如无人机监视与搜索 ，此 时可以引入 地理信息系统和全球定位系统（GIS/GPS），利用 GIS/GPS 系统的信息进行图
像拼接 ，基于 GIS/GPS 的图像拼接是指将地理编码的卫星图像作为参考图像，并依此定 义控制点，或利用 GPS 坐标作为控制点，对图像拼接时产生的参数飘移 进行修正，从而
实现高精度大范围地理编码的实时图像拼接 [42]
。 Wu Jun等在无人机影像拼接中引入了 基
于地理信息 的配准 方法 ，利用这种方法 拼接动态图像，并将该方法应用于森林火灾的快速 反应 [9]。 2006 年，德国 EMT（德国航空器制造商、航空设备供应商） 将地理编码的卫星 图像作为参考图像， 开发了 Luna 小型无人机 ，利用参考图像生成大视场地理编码拼接图 像 [10]。
1996 年， Richard Szeliski 提出了基于运动的全景图像拼接模型 [11]，此方法已经成为 图像拼接领域的经典算法，先计算 图像间的几何变换， 再进行融 合， 效果较好。 2000 Shmuel Peleg 和 Benny Rousso 提出 进一步 推动了图像 拼接技术的发展 ，能够自动对图像进行拼接。 序图像拼
第2页
年， 自适应的图像拼接模型[12]，该方法2003 年， Brown介绍了一种将无
信息工程大学硕士学位论文
接成为全景图 的方法 [13]，他 将 SIFT 算法 运用到 图像拼接 中，算法 实现了全自动拼接 ，且
得到了较好的拼接效果 。在无人机影像拼接方面 ，以下几种方法比较具有代表性 。基于卡 尔曼滤波的计算单应矩阵的方法 [14] ，根据 影像金字塔， 反复 迭代 解算出 精确的单应矩阵 ， 实验证明该方法鲁棒性 较好，但是只适用于平坦地区 影像的拼接，且计算量较大，对内存
空间要求较高 。先通过基于特征的影像匹配和地形平坦的假设，计算出影像的单应性矩阵 和其协方差矩阵，按照影像金字塔分级匹配的原理，逐步迭代求出
影像的精确的单应矩阵。
这
时
单
应
矩
阵
的
协
方
差
矩
阵
被
作
为
一
个
参
数
传
导
给
接
下
来
的
影
像
拼
接
中
。
在
反
复
迭
代
的
过
程中，误差控制技术会用于减少飘移误差的累积。 使用 “ tensor voting”对影像 进行 分割， 在不同的影像层次 上去除运动物体，然后对背景进行拼接 的方法[15]，实验效 果较好， 但 是其精度取决于影像分割的效果， 适用性也有待于进一步探讨 [27]。利用一维链条、空间 一致性和光束法平差组合的拼接方法 [16] ，文献中对模拟数据进行了拼接实验 ，但实际应 用中很多问题有待解决。利用正射影像图进行影像拼接的方法 [17]，首先利用无人机序列 影像相邻影像之间进行配准并计算出单应矩阵，
然后用前一幅影像与正射影像进行匹配，
利
用
正
射
影
像
纠
正
无
人
机
影
像
并
计
算
两
者
之
间
的
单
应
矩
阵
，
通
过
无
人
机
影
像
之
间
的
单
应
矩
阵以及无人机影像与正射影像之间的单应矩阵可以计算出无人机影像在正射影像上的精 确的位置，通过迭代计算就可以实现无人
机影像的拼接和误差控制。这种拼接方法的缺点
在
于
：
它
要
求
无
人
机
影
像
在
尺
度
上
与
正
射
影
像
近
似
，
并
且
针
对
的
是
平
坦
地
区
。
近年来 ，国内的无人机影像拼接技术也 发展很快 ，涌现出很多
新的技术方法 。一种解 决图像误差累积 的方法[18]在对无人机 影像拼接的特点 进行了分析的基础上被提出 。无人 机影像像方自动拼接的关键技术有了系统的研究 [19]，主要 介绍了匀光 处理、几何误差、 影像自由网平差和重采样 等方面 的理论。 基于SIFT的影像拼接技术中，镜头畸变差的校
正得到了深入的分析 [20] [21]
。距离筛选方法 被应用于 SURF 匹配 中，实现了算法的 优化 。
马氏距离测度 被用于 SIFT 匹配 中 [22]，使算法得到 改进，匹配精度 有所提高 。
通过对 国内外研究现状的对比， 可以 看到 国外在这一领域 的研究比较领先，技术 也更 为成 熟。然而 大多数现有的方法都没有很好的针对无人机影像的特 性，而且 无法满足 应急 响应 的需求。
从影像配准方式的区别来看， 影像拼接可大致分为基于像素的拼接方法和基于特征的
拼接方法。基于像素的拼接方法 是建立像素之间的对应关系，一般有灰度相关、相位相关 等匹配方法；基于特征的拼接方法 是建立特征之间的对应关系，主要利用 影像上的 各种 特 征，即点特征、线特征和面特征 。由于前面所述 无人机影像的特性，无人机影像拼接一般
采用 基于特征的影像拼接方法， 在三种特征中，对 处理点
特征 的研究与应用更为广泛 。尺
度不变特征具有良好的 独特性、不变性和重复性，非常适合无人机影像的处理，目前已经 广泛应用于无人机影像拼接中 [27]。本文 研究的无人机影像拼接技术就是在 尺度不变特征 的基础上展开的 。
基于尺度不变特征的影像 拼接 变特征提取，特征 匹配，
的主要
几何变
第3页
步骤 有：尺度不
信息工程大学硕士学位论文
换参数 的解算与求精， 影像 合成。其流程 如图1-1所示。尺度不变特征提取的主要任务是
提取特征点和特征描述符，这一步是影像匹配的前提；特征 匹配是采取合适的搜索策略， 确定两幅影像上的同名像点，为了后续正确的解算几何变换参数，还要将误匹配点剔除； 确定正确的同名点之后，就可以根据配准模型解算几何变换参数；由于无人机影像一般要 拼接几条航带，影像数量多，难免在拼接中会有误差累计，因此需要进行全局对准来消除 累积的误差；最后图像融合是根据得到的变换矩阵对影像 进行合成，消除重叠区域的模糊，
拼接缝等问题，实现无缝拼接 。
图1-1 基于尺度不变特征的影像拼接流程图
1.3 论文的主要内容和组织结构
本文 基于低空无人机遥感影像数据，对其 自动拼接 中的关键 技术进行了
研究 ，主要包
括尺度不变特征的提取算法 、影像匹配技术 、影像间变换矩阵的几何参数解算 、稀疏光束
法平差以及影像合成方 法。图 1-2 即为论文的主要结构示意图，同时也是实现拼接的基本 流程图，本文主要内容 的安排基本遵循这一流程，分为以下几部分：
第一章 是绪论。 主要介绍 了论文研究的背景与意义，无人机影像拼接 技术的国内外研
究现状 ，对无人机影像拼接技术进行了综述与总结，介绍了论文的 组织结构和主要内容。
第二章 是无人机影像 特征 匹配。本章系统的研究了基于尺度不变特征的影像匹配算
法，对 SIFT 和 SURF 算子 的原理 进行了深入 的分析 ；介绍了基于特征的影像匹配的 主要 步骤， 其主要内容有 匹配测度，搜索策略 和RANSAC 算法 误匹配点剔除的方法； 然后进 行了对比实验， 对 SIFT 和 SURF 度、搜索策略的 搜索能力和 RANSAC 算法剔除误匹配点的效果进行了分析 ，为无人机影像自动拼接中 的选择提供了 决策的 依据。 对影像进行 有了 几何变换参数解算 的基础 分析基于尺度不变特征的影像匹配 原理， 对于无人机影像拼接整体的理解， 有助
算子的 特征 匹配 ，
计算速度与精
提取 算子和搜索策略
处理之后，就
能够加深
于提高 拼接性能与效果的研究 。设计了一种影像匹配方法，将带有亮度对比标识符的 SURF 特征提取算子， BBF 搜索算法和 RANSAC算法组合在一起，实现了影像匹配。
第三章 是几何变换参数的解算和求精。本章 首先 讲解了 相机的成像原理， 以针孔相机
模型的成像原理为例，介绍了实际相机的成像过程， 并介绍了图像变换模型 的相关内容， 然后 阐述了 无人机影像拼接中 单应矩阵 的解算方法。图像配准和图像拼接技术 都是建立在
第4页
信息工程大学硕士学位论文
图像变换模型 的数学基础之上，只有确定了待拼接图像需要怎样的变换模型之后，才能根 据该模型来求解图像之间的几何关系，从而进行图像配准和 拼接 。采用 RANSAC算法估
计初始单应矩阵，然后利用 L-M 算法解算高精度单应矩阵，简单说明了影像插值的几种 方法，研究了无人机影像拼接中的全局配准问题，基于特征点的整体优化调整方法可以有 效地消除累 积误差对影像拼接的影响。
第四章是影像合 成。影像拼接的最后一步 就是影像合成，合成效果的好坏关系着拼接 生成 全景图的 效果 和清晰 程度，实质上就是通过融合算法的处理，生成辐射信息一致的拼 接影像 。本章 介绍 了影像合成的基本原理， 总结了几种常用的融合方法， 分别对其进行了
分析 。设计了一种无人机影像拼接方法，将前面所述基于 SURF的影像匹配方法和多频带
融合法应用于无人机影像拼接中，用此方法实现了一组无人机影像三条航带的拼接。进行 了几种影像融合方法的对比实验，将它们生成的拼接图作了比较 。
第五章是总结与展望。 本章主要 对本文的成果与创新点进行了 总结， 并根据现有算法
和技术的优缺点 ，对仍需改进的地方进行了思考与分析。
如无特别说明， 本文所有实验的实验环境均为Intel(R) Core(TM) i5-2400 3.10 GHz CPU，3.24 GB内存 ，编译平台为 Microsoft Visual Studio 2008。
图1-2 论文组织结构图
第5页
信息工程大学硕士学位论文
第二章 无人机影像 特征 匹配
影像匹配是摄影测量与遥感领域的基本问题，按照提取特征的层次一般可分为基于灰
度的 影像匹配、 基于特征的 影像匹配和基于理解与解 释的影像匹配三大类 [23] 。影像匹配 的核心在于将 存在各种不同的影像对应起来，如 分辨率 不同、尺度不同、亮度不同 、位置 不同（存在平移和旋转） 、变形不同 ，是影像配准的前提 。正确确定影像之间 的同名像点 ， 是接下来答解 几何 变换参数的基础。低空无人机影像突出的特性是：预先定义的相邻影像
之间的关系不能严格保证，相邻影像之间重叠度变化大，旋转角变化大，特征不连续，因 此用于无人机的影像匹配技术多是基于特征的影像匹配技术 [4]。影像 上最常见的一种 特征 就是点特征 ，目前已有很多 基于点特征的影像匹配方法，技术较为成熟 。近年来学者们研 究出很多可靠性、 鲁棒性 优秀的 尺度不变特征提取算法， 使基于尺度不变特征的 影像匹配 的效果也得到了提高 。由于 对影像的尺度和旋转变化具有不变性， 对光照和相机视角变换 造成的改变也具有一定 不变性， 稳定性较强， 尺度不变特征提取算法适用于 无人机影像处 理 [23]。实际上 ，无人机影像拼接领域中已经广泛应用了基于尺度不变特征的影像匹配。
2.1 尺度不变特征提取
尺度不变特征 包括 特征点 和特征描述符 两个部分 ：特征点可以确定
特征 所在的尺度和 位置，特征描述符则 是在特征点 周围相应尺度的区域 内，统计 信息，加以 整合，使每个 特 征点 具有唯一 的标志， 作为影像匹配的 依据。 以下 将分别说明SIFT 和 SURF 算子 的原理， 并在理论上 对其进行比较。
2.1.1 SIFT 算子
SIFT(Scale invariant feature transform 尺度不变特征变换 )算子于 2004 年由 Lowe 提出 [28]，是 一种稳健的特征点提取算法。 SIFT 算子具有 以下几方面 特性 [28] ：1、由于 特征点
的检测是 在多尺度空间 进行的 ，使得 在图像存在 尺度变化的情况下，仍能稳定 的提取特征
点； 2、在特征描述符 的计算中 ， SIFT 算子将特征点梯度主方向 考虑在内，从而使算法 具 有较强的旋转不变性 ； 3、 SIFT 特征描述符为 梯度信息，因此对光照变化也 具有 一定的 不 变性； 4、 SIFT 特征对仿射变换和投影变换也保持一定的不变性， 由于这样独特的特性， SIFT 特征描述符 具有很强的匹配能力 ，可以与大量其他图像中的特征进行匹配。
SIFT 算子的特征点检测在多尺度空间进行。简单地说，尺度就是物体或者特征的大 小。对于物体或者特征来说，只有在合理的尺度范围内研究才有意义。比如对于树干，在
第6页
信息工程大学硕士学位论文
厘米到米的尺度上研究比较合理，使用纳米或者公里尺度则不合适；而讨论组成树干的分 子用纳米尺度、讨论森林用公 里尺度则更合适；研究一个动物只能在较粗的尺度下完成， 而研究它的器官则需要显微镜放大才能看清楚 [24]。由此可以看出在不同 尺度下的研究意 义，目标不同，研究时也要分别选择与之适应的尺度 。 SIFT 算子就是在图像特征尺度选
择思想 的基础上 ，建立图像的多尺度空间， 得到高斯金字塔 ，然后将 相邻的高斯图像相 减， 得到高斯差分 DOG（ difference-of-Gaussian）金字塔，在DOG 尺度 空间 下每个点与相邻
尺度和相邻位置的点逐个进行比较，得到 的局部极值即为特征点 的候选点 [23]，在尺度空 间和图像空间进行插值 ，使特征点的定 位精度 提高，用 一个 128维的向量表示 特征点附近
区域的梯度， 也就是前面所说的 SIFT 特征描述符， 使后续特征匹配 的能力更强 。图 2-1
所示是 SIFT 特征的计算流程。
SIFT 算子提取特征点的主要 步骤 如下： （ 1）构建尺度空间
二维图像中存在各种尺寸的特征，在不同尺度的图像下检测，才能获得这些特征。尺 度空间理论 [25]提供了构造了多尺度表示信号的框架。 一组不同分辨率的 离散图像 便构成 了数字图像 的尺度空间，这组不同尺度下的图像，由图像与不同尺度的变换核进行卷积得 到。通过使用扩散函数来 描述尺度空间滤波过程 ， Koenderink证明 了高斯 卷积 核是实现尺 度变换的唯一变换核 [26]。 Lingdeberg 则进一步证明 了高斯核是实现尺度变换的唯一线 性变 vvvvvvvvvvvvvvv.[25]。
二维高斯卷积核的定义是
(2-1)
图像 间
与不同尺度的高斯函数 ：
做卷积运算，可以得到尺度空
(2-2)
jjjjjjjjjjjjjjjjjjj. ，代表了高斯正态分布的方差，称为尺度因子，其值越小 则代表 相应的尺度就 越小， 该图像 被平滑得 就越少 ，反之 则尺度越大。大尺度与 图像的概貌特征 对应 ，小尺度 与图像的细节特征 对应 。因此建立尺度空间的关键 在于选择合适的尺度因子 。
构建 DOG 空间的步骤为：首先 用不同尺度 的高斯卷积核 函数与原图像 做卷积 滤波 ， 生成一系列的高斯 金字塔图像， 再将 相邻尺度的图像相减得到一组 DOG 图像 ，然后将图 像降采样 2 倍，再返回重复进行上述处理 ，直至图像尺寸 达到设定的范围 之内 ，形成若干
层金字塔数据 [27]，在图 2-2 中，左边为 生成的 高斯尺度空间图像 ，
相邻尺度 比为，右边 就是高斯差分尺度空间图像 像相减 得到：
一组由一幅无人机影像
，由左边的 相邻高斯滤波图
(2-3)
第7页
信息工程大学硕士学位论文
图2-1 SIFT算法流程图
第8页
信息工程大学硕士学位论文
图2-2 SIFT尺度空间 构建示意图
（ 2）寻找极值点
如图 2-3 所示， 在 DOG 空间中 对局部极值进行检测时， 每个 采样 点与 它同 尺度的 8 个相邻点 和上下相邻尺度对应的 9?2 个点 ，总共 26 个点进行比较，这样能够保证 在尺度 空间和二维图像空间都检测到极值点， 如果 检测该点 是极值，且绝对值大于某一阈值 ，则
记录该点位置和尺度， 把该点记作一个候选点。
图2-3 DOG尺度空间局部极值检测
构建尺度空间时，高斯函数的尺度 因子 与高斯尺度空间的堆栈 子层 （sub-level）的关系如下：
阶（octave）以及
(2-4)
jjjjjjjjjjjjjjjjjjj.为选择的尺度范围数，为选择的堆栈阶总数。 如果 是在原始分辨率下采样点 的坐标， 那么采样点 的坐标 为
在第阶
第9页
信息工程大学硕士学位论文
(2-5)
需要注意的是，要根据情况适当选择高斯金字塔的阶数和层数。增大阶数、层数对提 取更多的特征点比较有利，但同时也需要更多的计算时间。另外，阶数每增加
一阶，图像 的长和宽就要缩小一倍，因此阶数还要受图像大小的约束，不能随意增大
。
（ 3）确定特征点
上一步在 DOG 尺度空间 检测到的极值点 还不是最终结果，而是先记作 候选点 ，要确 定极值点的 准确 位置和 所在 尺度，需要 对高斯差分金字塔 进行牛顿迭代 ，同时 由于 DOG 算子会产生较强的边 缘响应，还需要剔除低对比度的点和不稳定的边缘响应点 [27]，从而提高匹配的稳定性和 抗噪声能力。
在采样点处 用尺度空间函数 拟合 泰勒公式的二次展开式，
(2-6)
三元二次 曲面的极值 的位置和尺度。
令式（ 2-6）对 x 的导数
可以通过内插得到，从而精确确定候选点
等于
0，则极值点 的精确坐标为
(2-7)
将式（ 2-7）代入
式（
2-6），即极值点处的尺度空间函数
(2-8)
由此可以 计算 出候选点处 认为 该点对比度较 低，舍去。
的
，当其绝对值小于阈值时，
即使噪声极小的情况下， 边缘 处的 候选点都表现出不稳定性，因此需要将这些点剔除
掉。这些 点的主曲率在横跨边缘的地方较大，而在垂直边缘的方向较 小 [28] 。根据这个特 点，消除边缘 响应可以 通过剔除 2?2 的 Hessian 矩阵 中主曲率较大的点来 实现，矩阵 ：
(2-9)
设 Heessian矩阵 中较大的特征值 是 ，较小的特征值 是 ，则候选点的主曲率 为
， 与的关系式为
(2-10)
主曲率
的点
要被剔除
，即剔除
满足式（2-11）的点。
10页
信息工程大学硕士学位论文
(2-11)
jjjjjjjjjjjjjjjjjjj.一般取10。
剔除掉低对比度的点和边缘响应点之后， 剩下的候选点就可以作为特征点了。 每个特 征点 对应 一个位置信息 ，包括 坐标和尺度信息， 在这个基础上，可以进行下一步 特征描述 符的提取。
SIFT 算子 提取特征描述符的主要步骤如下： （ 1）特征点主方向的确定 为了消除图像旋转对特征匹配的影响，在 确定 了特征点的位置和尺度后， 需要对每个
特征点指定一个主方向。对特征点进行匹配之前，先将其旋转至主方向一致，再进行判定。 每个 特征 点的方向参数 是通过特征点邻域像素的梯度方向分布特性 来指定 的，这是接下来 生成 旋转不变 特征描述符 的基础。在以特征点为中心，半径为 r 的邻域范围内，对像素的 梯度幅值进行高斯加权，用 直方图 的方式 统计邻域像素的梯度方向 。下式为计算 像素的 梯 度模 和方向 的计算 公式：
(2-12)
梯度直方图 建立 在 0～360度之间， 每 10 对梯度直方图进行
两次平滑，可以减少直方图离散引起的误差。 直方图的峰值 最高的那个柱 )代表
度一个柱，共36个柱，
(直方图中
该特征点处邻域梯度的主方向 ，然后继续寻找所有大于峰值 80% 能量的柱，作为 该特征 点的辅方向 。因此 一个 特征点可能会被指定多个方向，这可以增强匹配的鲁棒性 [28] 。
（ 2）特征描述符的生成 特征描述符的作用 是将特征的某些特性 别开，每个特征 具 有独特性， 才能 邻域像素梯度主方向的 [45]。如图 2-4 （ a ）所示， 首先 将坐标轴 顺时针旋转
描述 出来， 以使特征 匹配
统计
之间区
，其实质是高斯尺度空间内 ，特征点向量 构造 点的 特征描述符时，度至特征点
的主方向 ，使旋转不变性 首先得到保证 。旋转后，以特征点为中心取 16?16 的窗口（见 图 2-4（ b），为了简洁只 画出 8?8 的窗口 ），分为 16 个4?4的子块，分别 计算 每个子块
中 8个方向的梯度累加值，如 图 2-4（c）所示。 这种邻域方向性信息联合的思想增强了 算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性 [24]。这样
对于每个特征点可以 得到 128 个值，这个 何变
形因素的影响，再采取归一化处理 ，可以 成的就
128 维的向量已经消去尺度变化、旋转等几
使其对光照变化不敏感，此时所生
进一步
是特征 描述符。
11页
信息工程大学硕士学位论文
图2-4 SIFT特征描述符生成过程
2.1.2 SURF 算子
SURF （
由 Bay 特征检测 算法。 SURF SURF 算子 采用近似
Speeded Up Robust Features）算子于2006年
等人提出，是 一种快速的
算子的基本思想 由 SIFT 算子发展而来，而
积分图像
[29]进行卷积运算，大幅减少了运算
Hessian 矩阵检测特征点 ，并使用
量，从而实
现了相对较快的 特征提取速度。
积分图像 的使用 可以 将盒式 filters) 的计算效率大幅
卷积滤波器 (Box type convolution
X =(x, y)，该点的值
为原始图像
提高 。对于积分图像中 的某点 中，原点和点 X 形成 的矩形区域里面所有像素值之和 [30] ，表示为
(2-13)
图2-5 积分图像示意图
引入积分 图像 后，就可 以用 加减运算来 计算 积分图像中 一个矩形区域内 的灰度和 ，不
需要考虑矩形面积，也就是 S=A-B-C+D，如图 2-5 所示 。后面的介绍会说到， SURF 算法 将盒式 模板 作为 卷积模板 ，因此积分图像的 使用使 SURF
算子 的运算效率 有了显著提高 SURF 算法主要 分为两步 ：一是 提取 SURF 描述 符。下面就 从这两个方面 介绍算法原理。
12页
。 SURF
特征 点，二是生成
信息工程大学硕士学位论文
SURF 算子 提取特征点的主要步骤如下： （ 1）构建尺度空间
SURF 算子在 Hessian 矩阵的基础上提取 特征， 其特征点的定位是根据 Hessian 矩阵
行列式的局部最大值 确定的。图像 I 上某 点 ，在 尺度 下的Hessian矩阵 定义为 ：
(2-14)
其中，
表示 图像 I 与高斯
二阶偏 导数
在X处的卷积，
(2-15)
式（ 2-14）中的 和 含义依此类推。 高斯函数适合 对尺度空间进行分析，但在实际应用 和裁剪 来近似 [31] 。鉴于 Lowe 成功的 用 DoG 近似 了 LoG ， 过程更 加推进一步，直
中，必须 通过离散化
Bay等人将这种近似
[30]，如图2-6所示。
接用 盒式 滤波器去近似高斯的二阶偏导
将积分图像通过 这种近似后的 卷积模板处理，大大的提高了运算效率。
图2-6 SURF滤波器结构
尺度空间一般通过图像金字塔来实现， SIFT 算子就是这样 ，而 SURF算子是直接用
不同尺寸的盒式滤波器 处理原始图像， 由此生成 Hessian-Laplacian尺度空间。 由于积分图 像的引入， 使得 盒式滤波器 尽管尺寸各不相同， 却在计算 时速度并没有区别 。图 2-6 中 9? 9 的近似模板 对应 初始尺度， 用它与 图像做卷积得到尺度空间的第一层， 接着用 尺寸逐渐增 大的模板与 图像 卷积 ，获得 其他层。相邻模板的尺寸相差的像素 数总是偶数 ，以保证模板 尺寸为奇数， 存在中心像素。
（ 2）检测特征点 在 Hessian-Laplacian尺度空间 中，将每个采样点与同尺度上8 个相邻点以及上下相邻 尺度对应 位置 的 9?2 个点 ，共 26 个点进行 比较 ，如果该采样点是极值，且绝对值大于某
一阈值 ，则将其作为 一个候选点 ，记录 其位置和尺度， 将Hessian 矩阵 泰勒展开 成式 (2-16)，
计算 极值
，然后就可以 内插得到特征点的准确位置，即式（2-17）。
(2-16)
13页
信息工程大学硕士学位论文
(2-17)
至此 我们就已得到 一个 SURF 特征点 的位置、尺度信息。 SURF 算子 提取特征描述符的主要步骤如下： （ 1）确定特征点主方向
特征点有了主方向之后，描述符就具有了旋转不变性。 以特征点为 圆心，以 6 为半 径，在这个 圆形邻域内 ，求 x 和 y 方向 上的 Haar 小波响应，并 赋以高斯权系数，像素点 离圆心 越近则 权重越大，对主方向的确定影响越大。然后用 一个圆心角为 60?的扇形窗 口以特征点为中心 旋转 ，由于 每一点都有 x、 y 方向 上的 Haar 小波响应， 因此 该窗口内 所 有点的 Haar 小波响应 之和构成一个向量，计算扇形窗口旋转一周所形成的所有向量， 最 长的 向量的 方向 即为该特征点 对应的主方向，图2-7所示为该过程。
图2-7 旋转的扇形窗口
（ 2）计算特征描述符
要构建特征描述符 ，首先要确定一个以 中心的正方形邻域，该邻域的 y 向定为 特征点 的主方向 ，边长为 。把该邻域 分成 行 Haar 小波滤波， 计算 出水平 方向的 记为 ，垂直方向的记为 。在 每个子 区域 对 、 、 、 求和， 图 2-8 所示。
特征点为
轴方
个子区域，在每个子区域中进
Haar 小波响应，
可以得到一个四维向量v，如
(2-18)
把 个子区域的值归一化就 得到一个
SURF 描述符。 如果我们 计算 和 时考虑 和 两种情况， 和
两种情况，就 可以将特征描述符 SURF 描述符。 的描述符比 维的描述符独特性更强，特征匹配 却差别 不大，
计算
维的 和
向量，就是
时考虑128 维的
进一步细化，得到
128 维 的准确
性更高 ，计算速度
BBBBBBBBBBBBBBBBBBBBBBBBBBBBB. 到了匹配阶段， 128维的向量间匹配 要比 维的向量间匹配 计算量大的多， 在实际 应用中 可以根据 情况来选择。
14页
信息工程大学硕士学位论文
图2-8 SURF特征描述符的构成
2.2 特征 匹配
将两幅（或多幅）影像之间 的特征点对应起来 ，这个过程就是特征匹
配。 特征匹配算 法主要包括三部分：一是匹配测度， 它是指 如何计算 特征 的匹配程度 ；二是搜索策略， 就 是如何搜索 符合条件的特征点 ；三是 剔除误匹配点。
2.2.1 匹配测度
在特征匹配中主要 通过计算特征描述符之间的相似性来判断
程度 ，以下 是几种常用的 匹配测度：
（ 1）相关系数测度
特征
点的匹配
(2-19) 为目标区像元灰， 为
即为同名
jjjjjjjjjjjjjjjjjjj.
度的方差，为搜索区像元灰度的方差
目标区与搜索区的像元灰度的协方差 ，令 取最大值的 (c,r) 点的位置，阈值 T 一
般取 0.6～0.8。相关系数测度 还可以用矢量夹角来表示，形式如下：
(2-20)
，相关
矢量 和 的夹角最小 时，相关系数的估计值最大
系数的取值范围为 。
相关系数测度可以有效地消除辐射误差对匹配结果的不良影响 [32] 。
（ 2）欧氏距离测度
(2-21)
15页
信息工程大学硕士学位论文
其中为欧氏 距离测度，实质上是差平方和 ， N 价
于差平方和最小 。当 时，令式（ （ 2-22），它表示二维平 面的一个圆。
维空间点X与Y 之间距离最小等
2-21）取最小，可以写为式
(2-22)
每一种匹配测度都有独特的性质，目前最常用于基于尺度不变特征匹配的测度为欧氏
距离测度，它对于信息丰富的特征描述符计算简单，鲁棒性较好，本文在进行特征匹配时 就采用该测度。
2.2.2 搜索策略
尺度不变特征的描述符 一般 都是高维向量，如 128 维的SIFT
描述符， 维的 SURF 描述符， 以及 扩展的 SURF 描述符 128 维。直接计算描述符之间 的欧氏 距离会比较耗时，
如果先对描述符做降维处理，比如使用 PCA（Principal Component Analysis）算法 ，又会 造成一部分信息损失 ，降低 匹配的准确性。因此 高维向量之间的匹配 问题在 计算机视觉领 域一直备受关注 [33] ，在高维向量空间中寻找 与一个特征向量 最近似的特征向量 ，这个问 题又称为最邻近搜索 （ nearest neighbor search ）问题， 而在大量的数据中 搜索 最近邻 需要 大量的 计算 ，下面将介绍 随机 k-d 树搜索（ randomized kd-tree algorithm）和改进 k-d树的 BBF(best bin first)搜索 算法。
（ 1）随机k-d树搜索 经典的 k-d 树搜索算法 [34] 非常适用于 低维空间， 却不太适合 高维空间 ，性能下降 迅速。 要使 k-d 树算法 在高维空间 的计算速度提高，只能牺牲搜索的准确度，即搜索近似的最邻
近值 [27]。随机 k-d 树搜索是 2008 年由 Silpa 和 Hartley提出的一种改进的 k-d 树搜索算法。 改进的 k-d 树算法 将一种优先权队列 引入到目标树的搜索 ，迭代一定的 次数 之后就 将最优 候选点 返回。这种搜索方法 虽然牺牲了一定 精度 ，只是近似的搜索目标点， 却有很好的 实 用性， 搜索速度快。
（ 2）BBF(best bin first)搜索算法 对于某一特征向量， 通过搜索算法返回 特征描述 符之间的最近邻 和次近邻的 欧氏距离 KKKKKKKKKKKKKKKKKKK. ，如果比值小于预先设定的阈值，认为该 最近邻 为正确匹配 。阈值 越小，获得的匹配
点对越少， 正确率越高， 反之 则匹配点对越多 ，正确率越小 。阈值大小 根据 实际情况 来选 择，本文实验中取 0.7。
文献 [29]指出，SURF 算法在生成特征描述符时对每个特征点都会添加亮度对比标识 符，它由 Hessian 矩阵的迹的正负性定义， Hessian 矩阵的迹是正值，该标识 符记为 1，对 应特征点 比其 背景 区域更亮 ； Hessian 矩阵的迹是 负值，该标识符记为 -1，对应特征点 比
其背景 区域更暗 [29]。没有亮度标识符时，需要计算目标点和待匹配的图中每个特征点之 间的欧氏距离，有了亮度标识符，就可以相同类型的特征点才能作为匹配，直接跳过
16页
信息工程大学硕士学位论文 匹配结果
较为精确 ，计算量也大大降低。
不一致的特征点 ，这样
2.2.3 RANSAC 算法 剔除 误匹配点 对
SURF、 SIFT 这类 性能较好的 特征提取算 子所检测到的特
征 点一般可达到 亚像素级的 精度， 因此特征点的定位误差通常较小 ，但是继续解算高精度的 几何变换参数的 前提是没
有误 匹配点。为了保证后续解算的精度，需要将多数误匹配点剔除，本文采用广泛用于计 算机视觉领域的 RANSAC 算法 （Random Sample Consensus）。
图2-9 RANSAC算法示意图
RANSAC 算法 的基本 原理如下，以 一个直线拟合的例子 进行简单的说明， 用一组 点 拟合一条直线， 图 2-9 中的 A 是这组 点的集合， B 表示 一个错误的点被剔除， 称之为 外点 (outlier)，其余 正确的点 称为内点 (inlier) ，然后用内点来 拟合直线。计算过程 为：在这些 点中 随机 选择两个点 ，确定一条直线；根据某个阈值判断内点和外点，这里依据点到直线
的距离来判断内外点， 距离 在阈值 范围内的点 就是内点；随机选
择重复数次 ，内点数量最 多的估计就 是样本点集的拟合 。
17页
，然后剔除该估计判断出的外点
信息工程大学硕士学位论文
拟合直线只是一种简单的变换模型，对于无人机影像而言，拟合仿射或者透视变换模 型更合适，其基本原理与直线的拟合是一样的 [27]，本文 将透视变换作为 RANSAC 剔除误 匹配点时 拟合的模型。
2.3 实验与分析
在实际的影像拼接中，应该根据待拼接影像的类型 、特性，以及拼接应用的目的来灵 活的选择特征提取算 子和匹配方法，由于本文研究针对的是无人机影像的快速拼接，因此 在考察使用哪种 尺度不变特征提取算子及匹配方法时，在保证满足配准精度的前提下，相 对重要的指标 就是 算法的计算 速度 。本 章的实验部分 针对本章内容 ，对 SIFT 与 SURF 特 征提取算子 在同样条件下对无人机影像 提取特征 点的速度 进行了对比 实验 。通过实验 对比 分析 ，可以确定哪种 尺度不变特征提取算子及匹配方法更适用于 无人机影像 快速 拼接 。实
验数据分为两组，其中数据 1 为一组无人机彩色影像中的同航带上相邻的两幅影像，像幅 大小为 1944 1296 ，数据 2 为一组无人机 彩色 影像 中的 相邻航带上同一区域的 两幅 影像 ， 像幅大小为 28081872，同时 将原始影像 降采样 4 倍，与原始尺寸的影像作 对比 。
（
a）数据1
（ b）数据2
图 2-10 某城郊无人机影像中相邻两幅影像
18页
信息工程大学硕士学位论文
表 2-1 两组实验数据结果对比 （时间单位：s）
数据 1 数据 2
特征提取算法 原始尺寸 降采样 4倍 原始尺寸降采样 4倍
左片 右片 左片 右片 左片 右片 左片 右片
特征数 SIFT 2398 2765 206 239 13558 11042 1168 1070
SURF 2213 27 246 312 10977 8873 1080 1053
特征点提取时 SIFT 1.201 1.217 0.078 0.078 4.259 2.745 0.187 0.187
间 SURF 0.530 0.531 0.047 0.047 1.341 1.248 0.141 0.093 特征描述符提 SIFT 0.968 1.139 0.078 0.094 5.445 4.431 0.437 0.421 取时间 SURF 0.250 0.280 0.015 0.032 1.030 0.842 0.094 0.093 匹配对数 SIFT 1553 130 1180 208
SURF 1049 142 401 74
匹配时间 SIFT 0.109 0.015 0.671 0.094
SURF 0.125 0.002 0.499 0.063
尺度不变特征的提取包括特征点的提取和特征描述符的提取，因此其提取特征的时间 包括特征点提取时间，和特征描述符提取时间，本实验分别记录了这两部分时间，由此对 SIFT 和 SURF 算子进行了对比分析。 需要 说明的是，表 2-1 中的SURF算法采用的是
SURF-128。根据测得的数据可以看出， SURF 算子提取特征点的速度可达 SIFT 算子的 2 倍以上，同时，在提取特征描述符时， SURF 描述符的提取速度也比 SIFT 描述符快，且 特征点数量越多其速度的优势越大，这主要是因为 SURF 在计算中引入了积分图像。 图 2-11 为 RANSAC 剔除误匹配点的结果示意图。
(a)数据 1经过 RANSAC剔除 SURF误匹配点之后的同名点
19页
信息工程大学硕士学位论文
(b)数据 2经过 RANSAC剔除 SURF误匹配点 之后的同名点
图2-11 RANSAC剔除误匹配点结果示意图
为了验证特征匹配的质量，将配准精度作为检测特征提取算子能否满足无人机影像拼 接要求的指标，也对其进行了计算与记录。只要配准精度符合
了进行无人机影像拼接的条
件
，
就
可
以
证
明
这
种
特
征
提
取
算
子
可
以
应
用
于
无
人
机
影
像
拼
接
。
采
用
以
下
三
个
指
标
，
中
误
差 ，最大均方根误差，最小均方根误差 ，来评价特征提取算子的 配准精度，其中中误差为主要指标。式 （ 2-23）中 的 为同名 点在左片上的 坐标， 通 过变换模型将 右片上与之对应的同名 点变换至 左片坐标系 上，其 坐标为。这里使
用的变换模型是第三章将要介绍的单应矩阵。
(2-23)
据此计算出两种尺寸影像 分别采用 SIFT 和 SURF 特征提取算子时的中误差，最大均 方根 误差，最小 均方根误差和平均误差如下表所示。
表 2-2 两种算子的误差统计（单位：像素）
中误差 最大误差 最小误差 平均误差
SIFT 1.3444 3.7936 0.0157 1.1127 SURF 1.2931 3.2161 0.0115 1.0552 SIFT 0.5199 2.8292 0.0204 0.3979 SURF 0.17 2.4852 0.0231 0.5127 SIFT 1.83 4.1450 0.1102 1.7593 SURF 1.9452 5.3263 0.1244 1.9141 SIFT 1.2399 3.6200 0.0668 1.0539 SURF 1.3802 2.9283 0.19 1.2239
原始尺寸
数
据 1 数 据 2
降采样 4倍 原始尺寸 降采样 4倍
由测得的数据分析 ，在分别对同航带和不同航带的影像数据的处理中， 采用 SIFT和 SURF 特征提取 算子 计算得到的 配准参数 的中误差都在 2个像素以内，其 几何精度 可以 满 足无人机影像拼接 对配准精度的要求， 使用 SIFT 算子和SURF算子得到的配准效果图如
20页
信息工程大学硕士学位论文
2-12所示，为展示方便，图中所示为降采样4配准结果。
图
倍的影像
（a）数据 1
图
（b）数据 2
2-12 两组数据 采用 SURF算子得到的配准效果图
这是 初步的配准图，在几何上实现了配准，但是没有消除掉影像辐射信息和色彩的差
21页
信息工程大学硕士学位论文
异，可以看到图中的道路对准效果较好，重叠区域较清晰。
2.4 本章小结
本章 主要对基于尺度不变特征的影像配准算法进行了总结与分析，对 SIFT 和 SURF 特征提取算子 的基本原理进行了详细的介绍，做了简单的 比较； 总结了尺度不变 特征匹配
的主要内容 ，对特征的检测和匹配进行了深入分析，包括匹配测度 、搜索策略和剔除 误匹 . 对的方法；通过实验对比分析 了 SIFT和 SURF 特征 提取 算子 的特点和计算时间 以及 根据它们解算 的配准参数的几何精度，结果表明 SURF 算子提取特征点 的速度优于 SIFT
算子，而且由于 SURF 算子在计算中引入了积分图像， SURF 描述符的提取速度 也比 SIFT 描述符 快很多 ，而两者的几何精度相差不大，都可以满足无人机影像拼接的要求 。由于尺 度不变特征描述符都是高维向量，而且无人机影像分辨率较高，提取的特征点数量很大， 以往采用的线性搜索方法已经无法满足无人机影像快速拼接的速度要求，通过对随机 KD 树搜索和 BBF 搜索算法的介绍可知这两种搜索算法更能够满足要求。另外也阐述了 RANSAC 算法剔除误匹配点的原理，具有较好的鲁棒性。
22页
信息工程大学硕士学位论文
第三章 变换矩阵的解 算与求精
在图像 间相互对应的特征 换模型 就可以 根据 关系估计 出来。这里的 何变换模型 的参数 工作有：一、解算
影像之间的变换关系； 单应矩阵， 得到
点完成匹配之后 ，它们之间的几何变对应
几何变换模型 其实就是 单应矩阵。解算几的主要
相对单应矩阵， 得到的是相邻两幅二、解算 绝对
一幅影像在一个统一坐标系中的变换关系[27] [35]。
3.1 成像原理
摄像机将三维世界映射到二维图像上，二维图像上物体的位置和大小与三维空间中物 体的位置相对应，而摄像机的成像模型 决定了它们之间的对应关系。 由于 针孔相机的成像 模型 可以方便的表示 影像的平移、旋转等，在研究中通常将其用来模拟无人机影像的成像 模型，既 简化 了成像过程的描述 又能满足要求 ，奠定了影像配准和拼接 的理论基础。
首先 建立 相机坐标 系 ，如图 3-1 所示，其中 为主光轴，主光轴 与像平 面的交 于一 点 ， 为相机的投影中心，为相机的焦距。
图3-1 相机坐标系示意图
在图 3-1所示相机坐标系中 ，设 空间 物体上 某点 的坐标 记为,经过针孔相 机成像 至二维图像 中，其像点 坐标为 ,可推出这 两个 坐标的关系 满足 式（ 3-1）：
(3-1)
也就是
(3-2)
23页
信息工程大学硕士学位论文
欧氏坐标 系直观的用二维向量表示 平面点 ，用三维向量表示三维空间点 ，因此 欧氏坐 标才被如此 广泛的应用 。齐次坐标的 引入，使得透视投影公式和统一的 平移、旋转等运动
模型 得以更加直观的表示出来[36][37]。齐次坐标 的概念中有一个缩放因子 ，当已知 目标 点
对应平面上的二维 欧氏坐标为 ，则齐次坐标 相对应的记作，由此可得齐次
坐标系下的透视投影公式 ：
(3-3)
经过严格 的数学推导，针孔相机 的成像 模型可表示为：
(3-4)
jjjjjjjjjjjjjjjjjjj.
，，。
3.2 图像变换模型
相邻影像之间的空间位置关系可以通过几何变换模型描述描述出来，而它们的空间位 置关系正是后续 的影像 配准 的基础 。为了便于 计算 ，一般将 相邻两幅影像其中 一幅变换 至 另一幅影像的坐标系中 ，这样两幅 影像就变换至 同一个坐标系下 ，然后可以 继续进行 影像 拼接。 目前
换、仿射变换和投影变换等 模型 ，变换关系 记作：
的影像处理中主要将刚性变变换模型作为 图像变换
(3-5)
用 8个参数 分别对应表示 此来构造变换矩阵 ，表 3-1 中为这 个参数的具体含义 ：
相机 8
的不同运动状态，以
24页
信息工程大学硕士学位论文
表 3-1 变换矩阵 中各参数的含义 参数
对应含义 尺度变换和旋转变量
水平位移量
垂
直
位
移
量
水平和垂直变形量
根据 表中各参数的含义 来构造变换 矩阵 ，就可以表示出 前面所说的几种图像变换 模型各自对应的变换矩阵 。如刚性变换，其定义为将一幅影像变换至另一幅影像后，其中 任意两点的距离保持不变，且任意两条直线的平行性和垂直性都不改变 [36] 。可知刚性变 换由旋转和平移变换构成，变换矩阵记为 ：
(3-6)
jjjjjjjjjjjjjjjjjjj. 为变换时图像逆时针旋转的角度。 由于 常见的 图像获取过程 和相机运动 都能用 投影变换模型 表示出来 ，比如相机的平 移、旋转、镜头缩放等， 所以 图像拼接和配准算法 中经常采用投影变换， 无人机影像的拼 接也比较适合，因此 我们相应的探讨投影变换。投影变换的定 义为： 将一幅影 像上的直线 变换到另一幅影 像上 ，仍然是 一条直线，但 不能够保持两条直线的相对关系 ，投影变换的
变换矩阵 可以写成如下的规范化形式 ：
(3-7)
变换
至点
根据投影变换，将 像平面上的 某点 次坐标
表达式 表示：
，变换过程 可以用以下齐
(3-8)
通过矩阵 变换
，得到：
(3-9)
可知投影变换的变换矩阵 包含 8 个未知参数，所以 只要有四对不共线的 正确 匹配
点，就能 通过直接线性变换解算出所有未知参数 ，也就解算出一个单应矩阵 。
目前， 解算矩阵
的方法主要分为三类： 直接像素亮度差优化方法 、基于特征的方
25页
信息工程大学硕士学位论文
法和基于频域的方法 [36]
。直接亮度差优化 方法 解算 变换矩阵 是由对 像素的亮度差 进行
最小化处理来实现的 ，该方法 适用 性广 ，精度较高， 但是存在以下缺点 ：如 计算 复杂 ，速 度慢，对光照不均 、存在 遮挡等情况处理 效果差，且需要首先给定初始 参数值 。基于频域 的方法 ，是首先对图像进行变换，在频域上解 算未知参数 ，该方法虽然相对于直接亮度差
优化法 解算速度快， 但是 适用范围小 ，精度 也不高。基于特征的方法，就是先 对影像进行 特征点 提取 与匹配， 通过 匹配的 特征点对 的对应关系来解算变换 矩阵 ，该方法解算速 度较快， 适用 性广 ，还可以利用 诸如 RANSAC 算法的估计算法剔 除误匹配点 对，因此 鲁 棒性 较好。
3.3 单应矩阵的解算
接下来要解决的问题就是如何根据已得到的匹配点对来解算两幅影像之间的变换矩 阵。 影像 之间 的相互变换关系 由相对 单应矩阵 来表示 。根据（ 3-8 ）式的变换关系， 只要 有四对匹配点 ，就可以 建立方程组，解出 式中的8个未知参数，变换矩阵也就解算出来了。
但是如果只用四对匹配点对进行计算，由于存在误匹配点，无法保证计算结果的精度，因 此采用 RANSAC 算法先估 计出初始的单应矩阵，再使用L-M算法迭代求出最优解。
3.3.1 RANSAC 确定初始变换矩阵
第二章中已经介绍过内点的概念，在解算变换矩阵的过程中，如果一对匹配点在误差 范围内满足变换矩阵模型，那么这对匹配点就是变换矩阵模型的内点。 RANSAC 算法拟 合数据的原理为，假设
一组样本数据正确，计算这组数据所确定的模型参数，统计出满足
该
模
型
参
数
的
内
点
数
量
，
内
点
数
量
越
多
，
说
明
该
模
型
参
数
越
好
，
经
过
若
干
次
假
设
和
验
证
，
将得到的最好的模型参数作为最优解 [24]。流程图如图 3-2 所示。令相邻 两幅影像 上的同名点对 的坐标分别为于 的单应矩阵为 H， 则有
两幅影像之间的重投影误差函数为
，相对
(3-10)
(3-11)
、
jjjjjjjjjjjjjjjjjjj.
应的匹配点对， 计值，对（ 3-11
估计出正确的匹配点对，使得式（ 和为两幅影像上提取出的对是 的估计值， 是 的估
）式进行最小化处理，3-12）成立
(3-12)
通过这种方法估计出 最优单应矩阵 ，就是相对单应矩阵。
26页
信息工程大学硕士学位论文
图3-2 RANSAC确定变换矩阵 流程图
3.3.2 L-M 算法
在影像拼接 的过程中，由于存在着一定的影像噪声，以及单应矩阵的累积误差，如果 直接进行拼接容易导致拼接的错位与模糊，而使用非线性最小二乘法 L-M （ Levenberg-Marquardt）算法，在初始变换矩阵的基础上求解高精度的变换矩阵，可以减 小累积误差和噪声的影响，提高拼接质量。
最小二乘法就是寻找一个使函数 F(x) 取最小值的x 值，F(x) 表示为：
(3-13)
当 x 与 F( x)不满足线性关系时，就是非线性最小二乘法，最小二乘法 属于最优化问题，通 过迭代来解决，得到最优解。
L-M 算法是一种由高斯牛顿法改进而来的迭代策略。高斯牛顿法和 L-M 算法的迭代 公式分别为式（ 3-14）、式（3-15）：
27页
信息工程大学硕士学位论文
(3-14)
（ ，I 为单位阵） (3-15)
jjjjjjjjjjjjjjjjjjj. J(x )是 f 对 x 的雅克比行列式。 L-M 算法在高斯牛顿法迭代公式中加了一项 ， 从而保证 正定、可逆。
根据最小二乘法，要求单应矩阵 H 的参数最优解，令 F(h)取最小值，这个函数 F(h) 就设为所有匹配的特征点对之间距离和：
(3-16)
令
(3-17)
RANSAC求得的初始单应矩阵和n对匹配特征点代入，算法解算高精度的
将 用 L-M
单应矩阵。其计算流程如下：
28页
信息工程大学硕士学位论文
图3-3 L-M算法计算流程 图
jjjjjjjjjjjjjjjjjjj.为式（3-18）的形式
(3-18)
3.4 影像插值
在变换坐标时，会出现原来坐标系中 x、 y 坐标都是整数 的点，变换至新坐标系中没
有落在整数点上 的情况，如图 3-4 所示。
图3-4坐标变换后可能出现的情况
由于数字图像 离散 的特点 ，以上情况的信息将无法输出，因此需要进行影像插值 ，影 像插值按映射的方向可以分为前向插值和后向插值 [49]。前向插值就是把像素点从输入图 像向 输出图像变换，然后把该像素点的灰度值按一定条件分配到其相邻的四个像素点上。 后向插值是将像素点从输出图像向输入图像变换，由其相邻的四个像素点的值来计算输出 图像上的像素值 。由于后向插值运算量少，每个像素点只运算一次，而前向插值需要多次 运算，所以采用后向插值的情况比较多。
图像处理中 常用的插值方法主要有最邻近插值、双线性插值和双三次插值。最邻近插 值法最为简单，输出图像中需要插值的点的像素值取离该点距离最近的像素点值，由于计 算简单，因此速度快，但是对插值效果要求较高的时候无法满足要求，需要考虑其他的插 值方法。
双线 性插值法 效果比最邻近插值法好，其原理如图3-5所示：
图3-5双线性插值
29页
信息工程大学硕士学位论文
YYYYYYYY.
（ 1,1），则按式（ 值。
A的四个相邻点为（ 3-19）计算 A 的输出
0,0）、（ 1,0）、（0,1）、
(3-19)
而双三次插值法是与 个相邻像素点做运算得出插值结果， 效果比双线性插值更 好，但相应的计算量相对大。本文试验采用双线性插值法。
3.5 累计误差对 影像 拼接的影响
对待 拼接的无人机影像进行了配准并解算出其几何参数，得到单应矩阵之后，就可以 进行影像的融合和拼接了。由于一些非线性几何误差和镜头
畸变差的存在，无人机影像相 对单应矩阵的计算难以避免会有一定误差，即使每个单
应矩阵的误差很小，但是多幅影像 拼接时这些误差会逐渐累积，累积误差最终会影响
整体影像拼接的效果，导致一定的拼接
错位。 前面 已经对 相邻两幅 影像之间的局部配准进行了介绍，而对于一组无人机影像来说，
需要将多幅影像拼接成为一幅全景影像图 ，那么就不仅仅 需要 完成 局部配准 ，还要在其 基 础上 进行 全局配准 。因此，要实现一组无人机影像的整体 拼接，还需要进行以下处理：影
像的全局配准，几何坐标变换，影像融合，如果有需要还要进行一些后续处理。
在进行影 像拼接 时，首先 将其中一幅影像确定为基准影像，然后将其余影像向基准影
像的坐标系变换，使所有待拼接影像处于同一个空间坐标系中，才能进行接下来的拼接处 理。 但是，对于多幅图像的拼接过程，对基准图像的选择很重要，因为如果只是简单的随 机选取其中一幅图像作为基准图像，则会因为累积误差的存在，而造成最终拼接结果的失 真与变形 [38]。因此，在无人机影像拼接中，仅仅完成局部配准还不能进入拼接步骤，还 需要对所有影像进行全局配 准和平差，以避免局部配准中的累积误差对拼接结果产生过大 影响，从而更有效的实现影像拼接，得到满意的拼接效果。 1 ．对称误差导致的累积误差
如果要拼接 n 幅影像， 将第一幅影像作为基准 影像，那么就要将 幅影 像按顺序变换 至基准 影像的坐标系中进行拼接， 依次拼接到第n幅影像。根据概率统计理论，相邻影像
间的拼接误差 可以 看作一组随机变量， 记作 ，它们有相同的 分布 函数， 且相互，并以 为对称点呈对称分布，因此可以将这个误差看作对称误差。经过 计算得到的 最后一幅 影像在坐标系中的 位置与已知的结束点之间的误差 就是累积误差 ，可以用下式来表达：
(3-20)
这就是对称误差导致的累积误差。 误差
30页
在多幅影像的拼接中，累积
的存在是不可避免
信息工程大学硕士学位论文
的，而且影像数量越多，累积误差也越增大。 2 ．非对称误差导致的累积误差
由于影像拼接中产生的误差实际上并不是在原点两侧对称分布的，非对称误差对拼接 的影像比 由对 称误差导致的累积误差对多幅影像的拼接造成的影响 大得多，对非对称误差 造成的累积误差更需要研究解决 。非对称误差以这些形式存在 ，比如由于相机的装配误差，
会导致图像都向一个方向旋转；对相机的比例系数标定得不够准确，会使得变换到拼接面 上的图像或大或小，这些 均为非对称误差 [36] ，非对称误差才是累积误差的决定性因素。
YYYYYYYY. 取值范围为，且均匀分布，那么就可以表示出来 累积误差绝对值的期望：
(3-21)
由计算公式可知 ，待拼接影像数 越大 ，拼接后 的累积误差的期望值越大，即使单个的误差
都很小，也会造成非常大的累积误差 ，不能保证拼接得到满意的效果。
通过分别对对称误差和非对称误差导致的累积误差进行的分析，可以总结出以下结 论：第一， 即使 在前面的 相邻 影像的局部配准中精度都很高，配准很 准确， 也无法避免全 局配准时累积 误差 的影响 ；第二，相对而言，由非对称误差导致的累积 误差 对影像拼接 的 aaaaaaa. 更大，所以研究重点应放在如何尽量避免非对称误差导致的累积误差上。 如果有一种 方法可以有效地将累积误差分摊给 每幅影像，就可以解决累积误差的问题，从而消除累积 误差对多幅影像拼接效果的影响。
3.6 全局配准
在对多幅影像进行拼接时，在使用尺度不变特征提取算子提取出影像上的特征点后， 要首先将其中一幅影像确定为基准影像， 然后根据影像间匹配的同名特征点之间的关系， 将其余影像向基准影像的坐标系变换，使所有待拼接影像处于同一个空间坐标系中，才能 进行接下来的拼接处理。 上一节中已经讨论了累积误差对于拼接结果的影响，为了削弱其 影响， 在无人机影像拼接中，仅仅完成局部配准还不能进入拼接步骤，还需要对所有影像 进行全局配准和平差，从而更有效 的实现影像拼接，得到满意的拼接效果，以下是几种常 见的全局配准方法。 1 ．多帧调整配准[39]
YYYYYYYY. 影像相对于 参考 影像的变换矩阵依次为，通过一些方法调整
它们的变换矩阵，使累积误差最小化，从而达到全局配准的目的。调整公式 如下：
(3-22)
式（ 3-22）中， 点在这些
上取值 的平均值。 换进行配
表示 在 点重叠的所有影像 的数量 ， 表示重叠影 像
多帧调整配准方法几乎适用于所有的变换模型，能够对所有变
31页
信息工程大学硕士学位论文
准优化，在待拼接影像数量很少时效果比较好，但是由于 计算量 大，当待拼接影像数量过
多，效率就会降低 。
从重叠影像中提取一组对应点，将其投影到参考影像 上时，应该重合在一点上，然 而实际上由于误差的累积，这两点在参考影像上往往不 能重合。如果参考 影像上存在 一点
A，与其他点的角度或者距离值最小，则将点A标记为新的对应点，然后利用一组新点实现 变换矩阵的参数调整 [52]，通过这种方式可以减少多幅影像拼接中的误差累积，削弱其对拼 接效果的影响 ，这种方法也称为基于对应点的多帧调整配准 技术。 2 ．线性方程系数求解
YYYYYYYY. 阵 为
任意两幅相邻影像之间的 ，且为已知 ，将参考影像记为 变换矩，那
么其他的 所有待拼接影像都可以通过以下方式变换到参考影像坐标系中：
(3-23)
，先把 影像 影像
向
变换
，再 通过 把
变换到
或者通过另一种变换方式 参考
，求解可以通过联立所有变换 方程式来进行 ，方程的联立形成一个大 型
稀疏线性方程组，然后通过 最小二乘方法 可以解算出来。
3 ．逐步扩大拼接方法
逐步扩大拼接法 [40]的基本思路是，首先从待拼接影像中选取一幅影像，这幅影像在几 何意义上位于中间部分，将其作为参考影像，然后在其余待拼接影像中搜索与参考影像重 叠部分最多的影像与之进行拼接，得到拼接影像 ，然后以同样标准搜索下一幅影像， 与 拼接生成拼接影像，直到所有影像的拼接完成。 该方法就是通过这种方法来实现 多幅影像的有序拼接的 ，配准质量较高，但是搜索最大重叠影像的步骤运算量很大，而且 最初的参考影像的拼接效果会直接影响全局拼接效果。 4 ．特征点整体优化方法
基于特征点的整体优化方法 36 的基本思路是，在前面所介绍的 的基于对应点的多 帧调 整拼接 技术中，参考点的选取很重要，因为它的准确性对全局配准有一定影响，而基于特 征点的影像配准技术可以通过影像局部配准的对应点的确定，来进行所有影像的全局配 准。该方法的实现主要有以下步骤：
1 ）确定参考平面 要将多幅影像 拼接 成为一幅影像，前提就是它们处在同一个坐标系下 ，因此将其中一 幅影像所在的坐标面确定为参考平面，然后将其他待拼接影像经过坐标变换变换到参考平 面中。参考平面的确定对拼接生成影像的效果和质量有直接影响，因此要注意如何选择 参 考平面。 文献 [41]中确定参考平面的方法是以式（3-24）为准则，将影像 所在的平面定位 参考平面 ：
32页
信息工程大学硕士学位论文
(3-24)
其中， 表示 与影 像 有重叠 区域 的影像集合， 表示 影像和 之间的 匹配 特征 点对
的数量， 是调节参数， 的确定以影像的特征分布情况为依据， 如果 影像中提取出的特 征量较少 ， 值就较小，如果 影像中包含 大量特征信息， 则 也应 取较大的值。可以看
作是一个衡量影像 在全部待拼接影像中所起的作用，也就是影响力大小的指标，参考影 像就要选取 值最大的一幅影像。
2 ）整体优化调整
当参考平面 确定下来之后，就 可以 将所有待配准影像向参考平面上变换，好继续进行
下一步的 拼接。如果待配准影像距离参考平面较远，则要通过更多的变换矩阵来变换至参 考平面，这个过程中， 随着变换矩阵的增多，累积误差也随之增加，会影响最后的拼接效 果，导致拼接影像出现模糊和重影。而采用整体优化的方法，就是针对上述出现累积误差 的问题，来调整每一幅影像相对于参考平面的变换矩阵。整体优化调整的具体方法是 ：首 先按一定 顺序 读取待拼接 影像，存入 调整器 中，每次读入的 影像都是当前最佳配准 影像， 即该影像中 匹配的特征点是当前最多 的，然后 将调整器中 的每幅影像变换至 参考平面的变 换矩阵 做优化 处理 ，以所有 影像到参考平面的误差和最小为标准 [41]
。
设一组 影像中的 对应点 ，其中 表示 影像 中第个特征点 ，表示 影像 中 第个特征点 ，那么这 组对应点 对参考平面的误差计算公式为：
(3-25)
式中的 为 的对应点 从影像 到影像 的匹配点 ，相邻 影像 、 上的匹配点对变 vvvvvvvvvvvvvvv. 参考平面后的距离值 就可以由（3-25 ）式计算出来 ，用文献 [41]中介绍的方法将这个 距离值最小化，这样就可以实现 相邻 影像间 变换矩阵 的调整，在此基础上再调整 变换矩阵 。
5 ．基于二次多项式线性方程的影像拼接
实际上，多幅影像的拼接 其实就是在两幅影像拼接的基础上，再与相邻影像一幅幅进
行特征点匹配，然后根据同名点解算变换模型的参数，从而实现多幅影像的拼接。基于二 次多项式线性方程的影像拼接方法在解算变换模型参数时，计算的速度和精度较好 。
假设相邻影像 A 和 B，存在部分重叠区域，将影像 A 确定 为基准 影像，就要 将影像
B 变换至基准影像 A 上，然后拼接生成 A 和 B 的合成影像。 假设 影像 A 与影像B上有同 名点（ x， y）和（ u， v），那么影像 B上的点
变换到影像 A 上的变换关系可以用表达式 y)=F(u, v) 来表示 ， F 次多项式线性方程的 影像
接可以用以下形式来表示， 式（ 3-26）中 项式的待定系数 a b
ij。
(x,
就是连接影像的变换模型函数。 基于二拼
n=2，用最小二乘法求解多
ij、
33页
信息工程大学硕士学位论文
(3-26)
随着待拼接影像的增大，相邻影像 的重叠 区域越大 ，重叠区域内的相同地物越多， 利
用尺度不变特征提取算子提取的同名点的数量也越多 ，同名点存在误差的问题也难免会出 现。当使用 最小二乘法 对变换模型参数进行解算时，同名点的误差 是一个不利因素，对参
数的解算精度有一定 影响，也就会导致对最终拼接结果的影响。下面介绍一种在影像拼接 中对同名点进行 优选排序的方法，该方法对提取出的同名点进行选择，择优进行排序，确 定一部分参加变换模型参数解算的同名点，这样既保证了参加解算的同名点的精度，也由 于弃置了一部分同名点，而节省了计算时间，提高了解算的效率。该方法的实现过程主要 有：
1 ）通过坐标重心化
确定参加变换模型
参数解算的初始同名点；
2 ）将第一次解算出来的参数代入，反算出同名点误差； 3 ）按照误差的从大到小的顺序 对同名点误差进行排序； 4 ）对参加变换模型参数解算的同名点中的最大误差进行判断， 如果 个像
误差大于2
素，则在上一步所排序的误差中取 后 90%的同名点，返回至第（ 2）步，进行循环答解。
在这个方法中 ，对变换模型参数的循环答解是通过两个条件的限定来实现的。 条件一， 当参加变换模型参数解算的同名点误差 小于 2 个像素 名点参
加变换模型参数解算 时。循环解算直至 满足条件 则结束循环，接下来可以利用解 算
得到的变换模型参数进入下一步影像拼接； 当循环 算无效， 无法进行影像拼接，退出循
时；条件 二，当少于10个同
一时，
至满足条件二时，判断此次解
环，返回至选择待拼接影像的步骤。这种方法对同名点根据误 差大小进行了排序，可
以有效地剔除误差过大的同名点，保证了参与解算变换模型参数的 同名点质量，有利
于提高最终影像拼接的质量，并减少了解算变换模型参数的计算量，节 省了一定的计
算时间。
3.7 实验与分析
实验选取了 两组无人机彩色影像，数据 1 为一组 两条航带 20 幅无人机彩色
影像 ，像
幅大小为 1944 1296 ，数据 2 为一组三条航带 28 幅像幅大小为 28081872的某城郊无人 机彩色 影像 ，采用 SURF 算子和扩展的 SURF 描述符 进行特征提取， BBF 搜索 策略 ，
RANSAC 算法剔除误匹配点，以及采用 加权融合 法进行了图像融合。
34页
信息工程大学硕士学位论文
（a）数据 1全局配准前后对比图
（b）数据2全局配准前后对比图 图3-6 全局配准 前后拼接对比图
图 3-6为对两组数据 进行 拼接时全局配准前后的对比图， 左列是未经全局配准的拼接
图，右列是全局配准后拼接图，其中数据 1由于地物特征重复性较高，给匹配带来了难度， 所以很容易拼接失败，数据 2 中差别较 大的区域已用白色矩形框标出， 由于 多幅影像拼接 中误差的累积 ，如果 直接拼接，就会出现左图中 的拼接错位 现象 ，而在右图中经过 全局配
准的步骤，有效的解决了拼接错位的问题， 减小了累积误差的影响。
35页
信息工程大学硕士学位论文
3.8 本章小结
本章 总结分析了相机的成像原理，介绍了相机坐标系和图像坐标系的概念，并说明了 两者之间的变换关系，在此基础上，介绍了无人机影像间的变换模型，因为无人机影像适 用投影变换，因此详细说明了投影变换的内容，然后介绍了单应矩阵 的解算方法。 由于数 字图像 离散 的特点，变换后没落在整数点上的像素点信息将无法输出，因此还需要进行影
像插 值，简单介绍了影像插值的几种方法。解算影像变换模型参数是影像配准和拼接的基 础。
对影像 拼接中的误差累计问题进行深入讨论的基础上，通过对累计误差中起决定性作 用的非对称误差的 分析， 研究并实现了 基于特征的整体优化调整方案 ，即首先进行同名点 的优选排序，进而有选择性地确定进行连接模型系数答解
的同名点，在保证答解精度的前
提
下
，
有
效
地
减
少
了
答
解
时
间
。
由
于
进
行
了
同
名
点
的
优
化
排
序
，
这
种
方
法
可
有
效
地
控
制
大
幅影像的拼接效果，并节省连接模型系数的答解时间。采用上述方法全
局配准，进而消除累计误差对最终 影像拼接的影响。
了多幅影像的
实现
36页
信息工程大学硕士学位论文
第四章 影像合 成
4.1 影像合 成
图像拼接的核心技术 是图像配准，而最终实现图像拼接的 另一个 重要步骤是图像
合 成
[30]。为了消除模糊、“鬼影”等现象，选择合适的融合方法是很重要的，融合方法从本质 上讲就是像素的选择和赋权。也就是解决如何寻找合适的拼接线，以及如何通过对像素的 赋权来使拼接影像色调平滑过渡，消除模糊现象和拼接缝的问题。 图像的拼接缝可以分为
两种，一是配准接缝，一是融合接缝，配准接缝 指的是 由于图像配准 时存在的 误差 导致 在 后续的 拼接 中生成的合成影像上存在肉 眼可分辨的未对齐痕迹；融合接缝是指由于待 拼接
影像之间存在色度和亮度不一致，使得在拼接后的图像的不同区域产生人眼视觉感知的明 显差异 [42]。配准接缝可以通过 全局配准算法 来消除， 融合接缝则通过 无缝融合算法 来消 除。
图像融合属于数据融合的一部分，其目的是为最终的决策和估计提供参考和基础，通 过分析与整合所 获取的 所有图像信息 ，提取出其中 有用 的信息并将它们综合 在一起。 图像
融合一方面是解决图像的最终画出问题，另一方面是消除拼接缝以及光度和色度的影响 [43] 。多幅影像经过几何拼接后，可以基本保证地物的几何位置相互一一对应，但是由于 影像获取时的条件 必然 存在一定的差异，难免同一地物在不同影像上存在色调或色彩的区 别。 很多因素都会影响到 影像的辐射信息， 如曝光变化、伽马校正、白平衡以及数字转换
器参数 [44]。由于 每幅无人机影像 的成像环境都是互相的 ，因此以上 因素很难保持一 致，另外，前面所解算出的 几何变换参数 也并不能保证影像之间没有误差的完全配准，如 果直接 通过 简单的拼接和叠加 对影像 进行融合 ，容易导致拼接图像 上的 拼接缝 和模糊 现象 非常 明显 ，因此采用合适的 影像融合算法对于消除影像拼接缝和模糊现象是非常 重要的。
根据融合过程中对图像数据的抽象程度，可把现有的图像融合技术分为 3 个大的层 次，即：像素 级、特征级和决策级[36]，图4-1所显示的就是这三个层次的关系。在无人机 影像拼接
技术中，图像融合技术主要针对拼接后的影像重叠区域的拼接缝消除问题，从而
实
现
平
滑
过
渡
，
因
此
通
常
在
像
素
级
进
行
图
像
融
合
，
不
需
要
进
行
太
高
层
次
的
融
合
。
目
前
像
素
级融合的应用非常广泛，图像拼接领域经常采用的融合方法主要有： 均融合法 、加
直接平
权平均融合法、基于小波变换的融合方法，以及多频带融合法等。下面将简要的说明这些 图像融合方法的思想与原理。
37页
信息工程大学硕士学位论文
图 4-1 影像融合层次
4.1.1 直接平均融合法
直接平均融合 法的 基本原理 是，在经过图像 配准的重叠区域 内，将
像素点的灰度值 直 接进行 叠加然后取平均 值 [53]。由于 存在着辐射信息的差异， 影像 经过 这种 方法处理 后往
往拼接痕迹 较为明显 ，还会出现色调不均的现象 。对于两幅影像的融合， 直接平均融合 法 的具体实现公式 为：
(4-1)
待拼接的两幅 的融合 图像。
是相同的 。
影像，
(4-1)式中， 和 表示 算法 处理 后生成
表示 经过融合
重叠区
对多幅 影像进行 融合时，基本 思路
域 的表示方法 ：
，其中，
，区别仅在于
4.1.2 线性
加权融合法
与直接平均法 而加权平均法
值，该方法
相似，但是在计算
是先
重叠区
线性 加权 融合 法的原理 域像素值 的过程中 ，直 接平均法是直接进行 叠加， 赋权然后 再取平均
分别对像素值
的计算公式为 ：
38页
信息工程大学硕士学位论文
(4-2)
其中， 和 表示分别对两 幅图像 各自在 重叠区域 内的部分所 施加的权值， 并且这 两个权值 满足 的条件。经过对确定权值的方法的研究，进行一定的 改进，又 有以下 两种权值确定方法不同的加权平均法： 1 ．帽状函数加权平均法 [11]
这种方法的基本原理是： 将较高的权值赋予影像中心的像素，而将较小的权值赋予影
像边缘区域的像素 ，则在影像中心的像素权重大，边缘附近的像素权重小，权重的分布呈 三角形，因此叫做帽状函数， 一般可以通过式（ 4-3）中的函数来确定具体的权值：
(4-3)
式中的 和 分别表示第 幅影像的宽和高。 因为权值要 满足 的条 件，所以可以对式（ 4-2）进行归一化处理 ，处理之 后的像素权值 通过下式来确定 ：
(4-4)
2 ．渐入渐出法
文献 [11]还提出了一种确定权值的 方法 拼接的两幅 影像 进行融合， 融合 处理 后的图像
，就是渐入渐出法
和
可以用下式来描述：
，将待
(4-5)
式中， 和 表示权值 ，这两个权值满足 。由此看出 ，
GGGGGGGGGGGGGGGGGGGGGGGGG. 渐变 至 1，这 就保证 了拼接影像的 重叠区域 像 过渡到影像 。下面是权值 和 的计算公式：
这样的
从1 渐变 可以平滑的
关系：至0，从0从影
(4-6)
其中， 是当前像素的横坐标， 和 分别 对应 两幅影像 重叠区域左右边界处的横坐标。 由此可知，使 用公式 (4-5)来进行 融合 处理，可以实现影像重叠区域在 x 方向上的平滑过渡。
文献 [45]对此方法还做了改进 ，进一步向其他方向扩展，即根据影像中每个像素到影
像边缘的距离来确定赋予该 像素的权值 大小，令权值与这个距离成正比。这样的设定使
得
进行拼接时， 边缘附近的像素点的光强贡献得以 就减小了边缘像素点对拼接的影响 。 这样进行 改进后 的融合 处理公式如下：
减少，
39页
信息工程大学硕士学位论文
(4-7)
其中， 为单调函数， 通常 选取 ， 是第 幅图像在点处的像素 灰度值 ， 取该点离 影像四 边最 短的距离值。
线性 加权融合法 给像素赋权 的过程相对比较简单 ，并且所赋的权值是可以 进行适当 调
整的，当待拼接影像数量较少，且 影像 之间的 辐射信息差异不大 时，此方法具有一定 优势 ， 然而 采用加权融合法效果 往往也不是很好 ，合成影像上仍有明显的拼接缝， 辐射信息的差 异并没有消除，不能很好的实现平滑过渡 。
4.1.3 多频带融合法
当影像 配准精度较高 时，对于曝光差异较大的影像使用线性
融合法来平滑影像重叠区
域效果非常 好，但线性融合法存在以下缺点：第一，因为该方法成功的前提就是进行加权 叠加的同名点配准正确，因此， 当存在一定配准 误差和几何错位，或者重叠区域内 有运动
目标时， 会导致融合影像模糊 [46]；第二，即使配准精度满足要求，当重叠区域过宽时， 影像的高频细节也会有 所损失 [47]。
1983 年， Burt 和 Adelson 提出了 一种融合方法，称为多频带融合 法 (multi-band blending)[48] ，该方法 的基本 原理是将要融合的影像的重叠部分 分解成 频带不同 的一组图 像， 也就是 构建 出 Laplacian 金字塔，然后在不同频带的影像上 ，即 金字塔的 各层上选择 合适的拼接策略分别对影像 进行拼接， 最后把所有频带的影像进行合成从而重构出影 像， 得到融合后的重叠区域影像 。使用 多频带 融合算法 对具有亮度差异的影像 进行融合处理 可 以得到 更好的平滑 效果。下面对多频带融合算法的实现过程进行说明：
图
（ 1）首先 分别 将影 部分取出来， 分别记作 A
40页
4-2 从重叠区域取出 A和B
像 和 之间 重叠区域的 影像和 B，如
信息工程大学硕士学位论文
图
4-2所示； （ 2）对 A 和 B 分别进行 过高斯滤波 构建高斯金字塔。 为方便说明， 这里仅构建 两层 金字塔 ，那么由 A 和 塔 的第一层 和 其实 就是 A 和 B，对其进行 2 倍降采样， 再进行 到了 金字塔的第二层 和 ，可 以用式（ 4-8）来表示；
降采样处理，通B
所生成得 金字高斯滤波，就得
(4-8)
（ 3）利用高斯金字塔 构建 Laplacian 金字塔。 和就是 和 ，再对 和 进行 2 倍升采样， 实际上 这里 是通过空隙插“ 0”的方法来实现对影像的升采样 的， 将影像 扩大后再 对其 进行高斯 滤波 ，这样 和 计算过程可以表示为 式（ 4-9）；
(4-9)
（ 4）利用 和
的 尺寸都 与 和 中与 之对应的层相等， 的左半部分构成 分，如图 4-3 所示。
金字塔 的左半部分，
构建金字塔 。 的右半部分构成
中每一层
的右半部
（ 5）利用 其 进行高斯滤波， 最后 将 与 叠加 起来
从后面的实验结果可以看出， 信息和色
彩差异的平滑过渡，其 是计算量 也比线性融合方法大 在实际处理中 可以根据 具体
图 4-3 利用 LA 和LB 构建LS
将重叠区域影 像重建。对 进行 2倍升采样，然后对
，这样就生成了融合影像。
多频带融合法效果很好，能够实现拼接处辐射融合效果比线性融合方法好得多，但， 情况 来决定选取哪种融合方法更为合适。
4. 2实验与分析
本章的 实验 数据为
三条航带 30 两组无人机彩色影像，数据
幅无人机 彩色 1 为一组
影
像，像幅大小为 1944 1296 ，数据 2 为一组三条航带 28 幅像幅大小为 28081872的某城 郊无人机彩色 影像 ，为了验证融合算法的有效性，对数据2其中两幅影像 分别 采用直接平 均融合 法、线性 加权 融合法、 多频带融合 法进行了影像 融合实验对比。为了 更清楚的比较
几种融合方法 ，选取拼接 影像重叠区域中的 一小部分 进行对比，选中的部分为 图 4-4 中白
41页
信息工程大学硕士学位论文
色矩形框 内的区域。
图4-4 相邻两 幅影像融合图
(a) 直接平均融合法
(b) 线性加权融合算法
42页
信息工程大学硕士学位论文
(c) 多频带 融合算法 图 4-5 融合算法细节对比示意图
其中线性融合法中的赋权采用了距离变换法。从对比图中可以看出直接平均融合法无 法消除影像拼接缝，并且拼接影像很模糊；线性加权融合法
虽然能够消除拼接缝，但是重
叠
区
域
的
模
糊
现
象
仍
然
很
严
重
，
因
为
配
准
误
差
的
存
在
，
线
性
加
权
融
合
法
无
法
解
决
这
个
问
题
；
多频带融合法既能消除拼 接缝，也能很好的避免模糊的出现，对影像的辐射信息差异能够 很好的过渡，合成影像清晰且色调均衡。图 4-6 为两组数据的三条航带影像拼接效果图。
（a）数据 1拼接效果图
43页
信息工程大学硕士学位论文
（b）数据 2拼接效果图 图 4-6两组数据影像拼接效果图
本章的三条航带影像的拼接采用的算子和方法有 SURF 特征提取算子， BBF 搜索方 法， RANSAC 算法剔除误匹配点 ， L-M 算法和多频带融合算法，将这些算法应用于无人 机影像拼接中，由此形成了一个整体的无人机影像拼接方法。 由以上实验可以 得到以下结
论： SURF 特征提取算子的运算速度明显高于 SIFT 算子，同时精度满足无人机影像拼接 的要求； BBF 搜索算法是基于 SURF 算子的亮度对比标识符的一种搜索算法，在减少了 搜索的运算量的同时提高了匹配的精度；通过 RANSAC 算法将误匹配点剔除，从而为影 像的配准打下基础； L-M 算法 的引 入解算出高精度的变换矩阵参数，消除了多幅影像拼 接时累积误差对拼接效果的影响，消除了拼接错位；多频带融合算法消除了拼接影像重叠 区域的模糊现象，使影像拼接缝处的色彩差异平滑过渡，达到了消除拼接缝的目的，得到 清晰的拼接影像。由实验结果可知，本文的无人机影像拼接方法能够有效地提高影像拼接 速度，得 到无明显拼接痕迹的全景影像图，并有效地避免了重叠区域处的模糊现象，保持
了图像的分辨率，能够获得较好的拼接效果。
44页
信息工程大学硕士学位论文
4. 3本章小结
本章介绍了影像合成的基本内容，主要探讨了如何解决无人机影像拼接辐射信息一致 性的问题，由于无人机影像之间的辐射信息具有较大差异，且没有对影像变形
进行纠正，
如
果
采
用
以
往
的
融
合
方
法
，
在
合
成
影
像
上
会
出
现
拼
接
缝
和
模
糊
现
象
，
文
中
总
结
了
影
像
融
合
技
术
的
几
种
方
法
，
实
现
并
分
析
对
比
了
直
接
平
均
法
，
线
性
融
合
法
和
多
频
带
融
合
法
三
种
影
像
融
合方法，多频带融合法的效果比较好，能够很好的解决影像的模糊和错位问题，消除拼接 缝。将基于 SURF 的影像匹配方法和多频带融合法应用于无人机影像拼接，并实现了两组 无人机影像三条航带的拼接。
45页
信息工程大学硕士学位论文
第五章 总结与展望
5.1 总结
无人机遥感在摄影测量与遥感领域有非常广泛的应用，而影像拼接是无人机影像处理 不可或缺的技 术。 影像拼接技术可以实现将小幅面的影像拼接起来得以覆盖更大的区域，
研究如何快速的进行拼接，对应急响应等无人机遥感的应用具有重要意义。基于尺度不变 特征的影像匹配算法对重合度较低的影像的匹配处理效果较好，也适用于运动场景影像和 存在部分遮盖的影像匹配，因此可以用于无人机影像的拼接。本文主要以基于尺度不变特 征的影像匹配算法为主线， 对无人机影像快速拼接的关键技术进行了深入的研究， 通过对 拼接过程中各个步骤的关键技术的原理和实验结果的分析，可以总结出论文主要的研究内 容如下 ：
1.总结了无人机影像拼接技术的研究意义和国内外发展现状，分析了无人机影像拼接 的技术流程，对无人机影像拼接的过程和其中的关键技术有了整体上的把握。
2.研究了无人机影像特征匹配技术，针对无人机影像的特点，基于尺度不变特征的特 征提取算子比较适用于无人机影像的匹配处理， 系统的介绍了 SIFT、SURF 特征提取算 子的原理与特点，这两种算子的定位精度都可以达到子像素级，通过这两种解算出的配准 参数都能够达到无人机影像拼接的精度要
求。由于尺度不变特征描述符都是高维向量，而
且
无
人
机
影
像
分
辨
率
较
高
，
提
取
的
特
征
点
数
量
很
大
，
以
往
采
用
的
线
性
搜
索
方
法
已
经
无
法
满
足无人机影像快速拼接的速度要求，通过对 随机 KD 树搜索和 BBF 搜索算法 的介绍可知 这两种搜索算法更能够满足要求。另外也 阐述了 RANSAC 算法剔除误匹配点的原理，具 有较好的鲁棒性。 通过实验验证了 SURF 算子提取特征的速度比 SIFT 算子快，并且 SURF 算子使用亮度对比标识符进行计算时速度更快。 根据这些研究，本文设计了一种影像匹配 方法，将 带有亮度对比标识符的 SURF 特征提取算子， BBF 搜索算法和RANSAC 算法组
合在一起 ，通过这几种方法来实现影像匹配。
3. 总结分析 了相机的成像原理 ，在此基础上，介绍了 无人机影像间的变换模型， 因为
无人机影像适用投影变换，因此详细说明了投影变换的内容，在此基础上，介绍了无人机 影像间的变换模型， 然后 介绍了单应矩阵的概念，并研究了其答解方法。 针对多幅影像拼 接时累积误差 对拼接效果的影响，介绍了基于特征的 整体优化调整方法，首先 对匹配的同 名点进行 排序， 选择那些参加影像变换 模型参数答解的同名点，这样既能加快解算速度，
又能 保证 解算参数的 精度。 全局配准 可以解决多幅影像拼接中存在累积误差的问题 ，这个 问题解决之后，才能够实现处于不同航带上的无人机影像的无缝拼接 。采用上述方法 实现 了多幅 影像 的全局配准，进而消除累计误差对最终影像 拼接的影响。
46页
信息工程大学硕士学位论文
4.影像拼接的最后一步是影像合成，由于无人机影像之间的辐射信息具有较大差异， 且没有对影像变形进行纠正，如果采用以往的融合方法，在合成影像上会出现拼接缝和模 糊现象，文中 总结了影像融合技术的几种方法，实现并分析对比了 直接平均法，线性融合 法和多频带融合法 三种影像融合方法， 验证了多频带融合法的效果比较好。本文 设计了一 种无人机影像拼接方法，将前面所述 基于 SURF 的影像匹配方法 和多频带融合法 应用于无
人机影像拼接中 ，用此方法实现了两组无人机影像三条航带的拼接。
至此，一个完整的无人机影像快速拼接的方法已经基本成型，可以总结出这一影像拼 接方法的基本步骤 ，技术流程图如下。
图5-1 基于SURF特征的无人机影像快速拼接流程图
图
的主要 5-1中只列出了 基于 步骤， 在实际应用中还应
SURF 特征的无人机影像拼接
47页
信息工程大学硕士学位论文
根据具体情况来进行必要的 循环和迭代。
5.2 展望
关于影像处理的技术发展非常迅速 ，无人机影像的自动快速拼接的有关算法也在不断 更新，本文 主要 研究了无人机影像 处理的关键技术，系统的总结了 拼接的流程，仍然存在 很多 值得 进一步研究与改进的地方：
1 ．无人机影像的分辨率本来就高，随着技术的发展，影像的分辨率会更高，信息量 更大，提取的特征点数量 也会大大增加， 因此， 需要研究提高影像处理 速度的方法，以解
决获取的影像的质量越来越高与影像处理的速度跟不上的矛盾 。
2 ．由于无人机的航速、航高和影像的地面覆盖范围在获取影像的同时都可以得知， 因此如果在拼接前 能够 计算出相邻影像的重叠度，在特征提取 和匹配 时只在重叠区域搜 索，便可减少运算量，同时减小了误匹配出现的概率， 有助于 提高影像匹配的精度， 拼接 结果的质量也必然会提高， 在保证拼接速度的同时提高拼接的质量，对应急保障具有一定 意义 。另外，对于 重叠区域小的影像，如何将它们配准和拼接的成功率提高，也是值得进
一步研究的问题。
3 ．本文在拼接时按 照输入影像 的顺序进行拼接，如果设计一个拼接基准影像选择的
方案，比如选择几何位置位于中心附近的影像作为基准影像，考虑累积误差和配准精度， 寻找一个最佳的搜索方法，搜索最佳拼接路径，按照该路径进行拼接，这样可以进一步提 高影像拼接的质量，在下一阶段的工作中可以针对这个问题进行研究。
4 ．目前来看，国内外对无人机影像的融合方面还没有系统性的研究，理论体系也并 不完整，因此还需要 进行 更具体 深入的研究。 同时 ，如何对影像配准和 融合的 质量进行 评
价也是需要解决的问题 ，现有的评价方法一般是通过几个评价参数来衡量，也没有统一的 标准，在这方面还需要做大量工作。
影像拼接技术 自出现以来，已经过了一段时间的研究与 发展，研究成果上也称得上是
硕果累累 ，但是随着技术发展，对于拼接效果和速度的要求也不断在提高，想要达到十分 理想的拼接效果还需要进一步的研究。无人机影像拼接还是一项很年轻的技术，目前情况 来看还很难 满足应急保障的基本需求，仍然在不断地摸索中向前发展，但是随着各种硬件 和软件技术的进步， 无人机影像拼接技术会越来越成熟， 越来越贴近实际应用 。
48页
信息工程大学硕士学位论文
参考文献
[1] Evearetrs J. The use of Unmanned Aerial Vehicles （ UAV） for remote sensing and mapping[C]//the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science，Beijing, 2008. 1187-1192.
[2] 李明，曹瀚，刘良明，刘欢 . 面向应急的无人机影像拼接方法研究 [C]//第一届全国高分辨率遥感数 据处理与 应用研讨会，西安，2011:214-220. [3] 朱述龙，朱宝山，王红卫 . 遥感图像处理与应用 [M]. 北京：科学出版社， 2006： 108.
[4] Zhang Yongjun. Photogrammetric processing of low altitude image sequences by unmanned airship[C]. the International Archives of the Photogrammetry ，Remote Sensing and Spatial Information Science， Beijing， 2008 ：751-757. [5] 王聪华 .无人飞行器低空遥感影像数据处理方法[D].山东：山东科技大学 ， 2006 ： 1-8. [6] Marzotto R., Fusiello A., Murino V. High resolution video mosaicing with global alignment[C].
Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
2004. (1):692-698.
[7] Kim Dae-Wooing, Hong Ki-Sang. Real-time mosaic using sequential graph[J]. Journal of Electronic Imaging, 2006, 15(2):023005-1.
[8] Healy D. M., Rohde G. K. Fast global image registration using random projections[C]. Biomedical Imaging, 4th IEEE International Symposium, 2007, (4):476-479.
[9] Jun Wu, Dong Zhongkui, Liu Zhigang. Geo-registration and mosaic of UAV video for quick-response to forest fire disaster[C]. Proc. Of SPIE, 2007, (6788):678810.
[10] Heinze N., Esswein M., Kruger W. Automatic image exploitation system for small UAVs[C]. Airborne Intelligence, Surveillance, Reconnaissance (ISR) Systems and Applications V. Proc. Of SPIE., 2008, (6946):69460G1-10.
[11] Szeliski R. Video mosaics for virtual envirotunents[J]. IEEE Computer Graphics and Applications, 1996.16(2):22-30.
[12] Pe1eg S., Rousso B. Mosaicing on adaptive manifolds. IEEE Trans. On Pattern Analysis and Machine Intelligence, 2000. 22(10):1144-1154.
[13] Brown M., Lowe D. Recognising Panoramas[C]. Proceedings of IEEE International Conference on Computer Vision. 2003.1218-1225.
[14] Caballero F, Merino L, Ferruz J, Ollero A. Homography Based Kalman Filter for Mosaic Building. Applications to UAV position estimation[A]. In IEEE International Conference on Robotics and Automation[C], Roma, Italy, 2007, pp.10-14.
[15] Min C, Yu Q, Medioni G. Multi-layer Mosaics in the Presence of Motion and Depth Effects[A]. In:
Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06)[C], 2006, 1, pp.992-995. [16] Turkbeyler E, Harris C, Evans R. Building Aerial Mosaics for Visual MTI[A]. In:5th EMRS DTC Technical Conference[C], Edinburgh, 2008.
49页
信息工程大学硕士学位论文
[17] Yuping L, Medioni G. Map-Enhanced UAV Image Sequence Registration and Synchronization of
Multiple Image Sequences[A]. In:IEEE Conference on Computer Vision and Pattern Recognition[C], 2008, pp.1-7.
[18] 罗小波 .航拍图像自动拼接方法研究 [D].长沙：国防科学技术大学， 2008： 1-9. [19] 王悦 . 无人机影像像方自动镶嵌关键技术的研究[D]. 郑州：测绘学院 ， 2008： 1-18. [20] 潘书放 .基于 IDL 的无人机遥感影像拼接研究与实现 [D].北京：中国地质大学， 2009： 20-28. [21] 宋丽华 .基于无人飞行器序列影像的定位技术研究[D].郑州：信息工程大学， 2010： 33-36. [22] 陈裕，刘庆元 . 基于 SIFT 算法和马氏距离的无人机遥感图像配准 [J]. 测绘信息与空间地理信息， 2009， 32(6):50-53. [23] 张春美 .特征点提取及其在影像匹配中的应用研究[D].郑州：测绘学院， 2008. [24] 曹红杏 .基于特征的图像拼接技术研究[D].中国科学院研究生院， 2008. [25] Lindeberg T. Scale-space theory: A basic tool for analysing structures at different scales[J]. Journal of Applied Statistics, 1994, 21(2):224-270.
[26] Koenderink J. The structure of images[J].Biological Cybernetics, 1984, 50:363– 370. [27] 王勃 . 基于特征的无人机影像自动拼接技术研究[D].郑州：测绘学院， 2011. [28] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal
of Computer Vision.2004, 60(2): 91-110. [29] Bay H， Tuytelaars T，Van Gool L. SURF:Speeded up robust features[A]. In:European Conference on
Computer Vision[C], 2006, 1:404-417. [30] 卜珂 . 基于 SURF 的图像配准与拼接技术研究[D].大连理工大学，2009. [31] Lindeberg T. Scale-space for discrete signal.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(3):234-254. [32] 张祖勋，张剑清 . 数字摄影测量学 [M]. 武汉测绘科技大学出版社， 2007： 163-170. [33] Philbin J， Chum O，Isard M，etc.Object retrieval with large vocabularies and fast spatial maeching[A].In:
IEEE Conference on Computer Vision and Pattern Recognition [C], 2007, pp.1-8.
[34] Friedman.J.H, Bentley.J.L, Finkel.R.A. An algorithm for finding best matches in logarithmic expected time[J]. ACM Transactions on Mathematical Software, 1977, 3(3):209-226.
[35] Turbeyler E, Harris C. Building Aerial Mosaic Ⅱ: Metadata,Featrue Matching,Loop Closure[A]. In: 6th EMRS DTC Technical Conference [C], Edinburgh, 2009. [36] 王含宇 ．基于特征点的可见光遥感影 像拼接技术研究[D]. 郑州：测绘学院 ， 2011. [37] Hartley R, Zisserman A ． Mutliple View Geometry[R] ． Computer Vision and Pattern Recognition, 1999 ． [38] Szeliski R. Image Alignment and Stitching:A Tutoriall,Preliminary dreft[J]. Technical Report MSR– TR-2004-92,January 26, 2005.
[39] Sawhney H.S. and Kumar R..True multi-image alignment and its application to mosaicing and lens distortion correction[C]. IEEE Transactions on Pattern Analysis and Machine Inelligence, 1999 ， 21(3): 235~243.
[40] Savheney H.S, Kunnar Retal. Video brush: experience with consumer video mosaicing[C]. IEEE 4 th Workshop on Application of Computer Vision. Sarasota Florida, 1998: 418~423.
50页
信息工程大学硕士学位论文
[41] 方贤勇 .图像拼接技术研究[D]. 浙江大学， 2005 [42] 余宏生，金伟其．基于视频序列的数字图像拼接技术研究进展 [J]. 激光与红外， 2009,39（ 10）： 1040-1045.
[43] 杨占龙．基于特征点的图像配准与拼接技术研究[D]．西安：西安电子科技大学机电工程学 . 2008． [44] Sadeghi M A, Hejrati S M M, Gheissari N. Poisson local color correction for image stitching[A]. In: International Conference on Computer Vision Theory and Applications[C], 2008, pp:275-282.
[45] Shum H. and Szeliski R. Construction of Panoramic Mosaics with Global and Local Alignment[J]. International Journal of Computer Vision, 2000, 36(2):101~130.
[46] Brown M., Lowe D. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1):59-73.
[47] 赵辉，陈辉，于泓．一种改进的全景图自动拼接算法 2007， 12(2)： Transactions on Graphics, 2(4): 217-236. [49] 申利平 . 学自动化学院 [50] 文婷 [D]. 北京邮电大学 [51] 李磊等
[52] 龚志辉等 . 改进 SIFT 测绘科学技术学报 , 2008,6. [53] 杨艳伟 .基于
西安电子科技大学 ,2009.
[J]．中国图象图形学报，336-342.
[48] Burt P., Adelson E. A multiresolution spline with application to image mosaics[J]. ACM
基于插值的数字图像处理技术研究[D]．南京航空航天大,2008.
.超宽带信号对无人机系统的电磁干扰仿真分析,2007.
.浅论无人机应用领域及前景[J].地理空间信息, 2010,5.
特征描述符在影像匹配中的应用研究 [J].
SIFT
特征点的图像拼接技术研究[D].
51页
信息工程大学硕士学位论文
附录
附本论文实验部分所用的 两组无人机彩色影像，其中数据 1 包括 30 张，数据 2 包括 28 张。
52页
信息工程大学硕士学位论文
53页
信息工程大学硕士学位论文
54页
信息工程大学硕士学位论文
55页
信息工程大学硕士学位论文
56页
信息工程大学硕士学位论文
57页
信息工程大学硕士学位论文
58页
信息工程大学硕士学位论文
59页
信息工程大学硕士学位论文
60页
因篇幅问题不能全部显示，请点此查看更多更全内容