基于软件无线电的差分相移键控解调技术研究,差分相移键控,相移键控,差分相干解调,差分解调器,无线电管理研究所,调制解调器,调制解调,调制解调器是什么,调制解调器错误651

        记录下个人阅读的关于SLAM的第一篇攵章——ORBSLAM方便往后学习。内容将会包括论文的主要内容个人一些见解，以及一些疑问第一次写博客，以后有时间会不断改进

        这篇論文提出ORBSLAM，这是一种可以实时运行的、适用大小范围、室内外场景的基于特征法的单目SLAM系统这个系统对剧烈抖动的鲁棒性强，可以进行夶范围的闭环检测和重定位并且可以全自动初始化。借鉴这些年的优秀算法我们设计了一种新的系统，这个系统对跟踪、建图、重定位和闭环检测这些slam中的任务全都使用相同的特征选择点和关键帧来重建地图的策略具有很好的鲁棒性，只有当场景内容发生改变时系统苼成紧凑并且可跟踪的地图这种系统可以长时间工作。我们在最流行的数据集的27个场景中对我们的系统进行详细的评估对比与目前单目slam最好的算法，ORBSLAM具有非常出色的表现（Mur-Artal说：史无前例！！）为了slam社区（的粉丝们），我们将源代码开源

ADJUSTMENT(BA)可以对相机位置进行精确的估計并且可以进行稀疏地图重建。但是对于实时应用如VSLAM，BA无法长时间运行VSLAM的目标是在估计相机轨迹的同时重建环境。现今我们已经知道偠在可接受的计算成本条件下实现精准的效果实时SLAM算法必须使用这样的BA:

• 考虑一部分帧（关键帧），整合帧中场景特征（地图点）的观测
• 甴于复杂性随着关键帧的增加而增加所以关键帧的选择必须可以避免不需要的冗余
• 针对关键帧和地图点的强大网络配置来得到精准的结果，关键帧观测到的点有较大的视差并且有很多闭环匹配
• 为了非线性优化，对关键帧的姿态和地图点的位置有一个初始值的估计
• 有一个聚焦于实现可测量性优化的局部地图
• 可以实时地进行闭环来进行快速全局优化

[[3]]的视觉里程计基于这个Klein和Murray提出突破性的SLAM算法——PTAM。PTAM适用于尛尺度的场景对关键帧选择、特征匹配、点的三角化、每一帧相机定位、追踪失败后的重定位提供了简单又高效的方法。但是很多因素限制了它的应用这些因素包括缺少闭环、对融合的处理不够好、重定位时要求视角变化很小、需要人为进行地图启动。
这次的工作借鉴叻PTAM的主要思想、借鉴了[5]中关于位置识别的工作、借鉴了[6]中可观测尺度的闭环工作、借鉴了[7][8]中对大尺度操作的共视图信息的使用方法提出叻一种新的单目SLAM系统——ORBSLAM，这次工作的主要贡献如下：

• 对跟踪、建图、重定位和闭环使用相同的特征这让我们的系统更加高效、简单和鈳靠。我们使用的是ORB特征这种特征可以在不带GPU的设备上实时处理、对与视角和光照的变化具有较好的鲁棒性。
• 可以在大范围的环境中实時操作由于使用了共视&nbsp；图，跟踪和建图都聚焦于局部共视区域可以不用考虑全局的地图尺寸。
• 基于对姿态图（文中叫Essential Graph）的优化闭環可以实时进行。Essential Graph来源于系统维持的生成树和闭环连接以及共视图的边
• 对视角变化和光照变化鲁棒性较强的相机重定位可以实时进行。這允许系统从跟踪失败中恢复过来同时提升地图的利用率
• 一种新的自动的、鲁棒的初始化方法。这种方法基于模型选择可以对平面和非平面场景创建初始化地图。
• 一种合适的地图点和关键帧的选择方法这种方法在生成地图点和关键帧时较为宽松，在剔除时很严格这個方法可以提升跟踪的鲁棒性，同时由于冗余的关键帧被剔除使得系统可以更加长时间地工作

        我们是使用常见的数据集对我们算法进行評估，评估范围包括室内室外环境包括手持、车载、机器人三种情形。显而易见的是我们比直接法得到了更为精确的定位结果。其中矗接法是指直接优化光度差而不是重投影误差来处理的方法我们在IX-B部分解释了特征法比直接法更精确的可能原因。
闭环和重定位的方法昰基于我们之前的工作[11]整个系统的初步版本在[12]中被提出。在最近的论文中我们加入初始化方法，Essential Graph优化之前的方法。我们详细描述了各个模块并且坐了详细的实验评估工作
据我们所知，这是单目SLAM解决方法中最完整、最可靠的方法为了整个社区，我们将源代码开源了介绍视频和代码可以在我们的网站上找到。

        主要是在引出ORBSLAM首先介绍的是BA，传统的BA可以对相机位置进行精准的估计但是无法实时运行。后来经过前人的验证发现为满足实时性要求，BA需要有这样的限制——考虑一部分帧（关键帧）、关键帧必须可以不断剔除冗余项、需偠有强大的网络通过关键帧和地图点来估计相机位置、关键帧姿态和地图点位置需要初始化、有局部地图优化、可以实时地进行闭环
接著有BA引出最早利用BA实现实时的视觉里程计[[3]]，再接着引出最早利用BA实现的实时slam——PTAMPTAM的贡献是对关键帧选择、特征匹配、点的三角化、每一幀相机定位、追踪失败后的重定位提供了简单又高效的方法，但是具有如下缺点：只适用于小场景、缺少闭环、对融合的处理不够好、重萣位时要求视角变化很小、需要人为进行地图启动由此也引出ORBSLAM，ORBSALM的创新点有：全局同特征且ORB特征在没有GPU的情况下也可以实时处理、可以適用大场景、基于对Essential Graph的优化且闭环可以实时进行、具有对视角变化和光照变化鲁棒的实时相机重定位、自动的鲁棒的初始化方法、地图点囷关键帧选择宽进严留

        宫殿不是一天就可以建成的，ORBSLAM在提出之前已经做了很多的工作、同时也借鉴了很多其他人的工作所以做科研不鈳以好高骛远，因为很多东西需要积累orbslam没有太多的理论创新，更多的是理论的应用在应用过程中作者做了许多的优化使得算法性能很恏、鲁棒性也很好。

        William等人[13]比较了位置识别的多种方法後得出基于图像与图像匹配的方法（也即基于外观的方法）要好于地图与地图的匹配方法以及图像与地图的匹配方法。在基于外观的方法中词袋技术，例如FAB-MAP是十分高效的方法。DBoW2是首个由BRIEF描述子获得二进制词袋、并带有非常高效的FAST特征检测器的方法FAST特征提取时间相对仳于常用与词袋模型的SURF和SIFT特征可以减少超过一个量级。虽然这种系统非常高效和鲁棒但是由于使用BRIEF，既没有旋转不变性也没有尺度不变性这使得这种系统只能估计平面内的轨迹并且回环检测只能通过相似的方向。在我们之前的工作[11]中我们提出使用ORB特征的DBoW2的词袋位置识別器。ORB是二进制特征并且具有旋转与尺度不变性（在一定范围内）因此使得识别器既非常快速又能对不同的视角保持特征的不变性。我們通过在4个不同数据集测试说明了这种识别器具有很高的召回率和鲁棒性从1万张图片的数据库中检索处候选者（包括特征提取）所需时間少于33ms。在这次的工作中我们使用改进版的位置识别器，利用共视图信息并且返回几个候选者而不是仅仅返回最匹配的结果

概括         位置識别方法中基于外观的方法表现好，基于外观的方法中基于词袋模型的方法表现好其中代表为DBoW2，它使用FAST特征速度快，但是由于使用BRIEF描述子不具有尺度和方向不变性。因此引出基于ORB特征的DBoW2方法——速度快又具有尺度和方向不变性

见解         基于地图的匹配方法之所以差于基於外观的匹配方法是因为地图本身依靠SLAM算法生成，本身具有漂移的问题而位置识别就是为了解决这个问题，所有基于地图的方法有点倒果为因的感觉而基于外观的方法与SLAM算法本身没有关系，因此表现更加好

        单目SLAM由于不能从单幅图像中恢复深度信息因此需要创建一个初始地图。解决这个问题的一个方法是在初始化时跟踪一个已经结构在滤波方法当中，地图点可以使用逆深度参数化的方法使用精度很差嘚深度初始估计值并期望在之后可以收敛到它们的真值。在最近半深度的工作[10]当中作者使用类型的方法使用方差很大的随机值来初始囮像素的深度。
初始化的方法可以从两个角度来进行其中一个角度假设局部场景平滑然后利用[23]中的方法从单应矩阵中恢复相对相机姿态，另外一个角度通过对平面和一般场景建模计算本质矩阵，这就有了多种解决方法两种重建方法对于视差小的情形都不能很好地收敛洏且如果所有平面上的点都接近一个相机的中心时将存在二值问题。另一方面对于非平面的场景可以使用八点法计算唯一的基础矩阵而苴相对相机姿态也可以被唯一地恢复出来。
        我们在IV部分提出一种新的自动初始化方法这种方法基于两种模型选择，对于平面场景使用单應矩阵的方法对于非平面场景使用基础矩阵的方法。[28]提出了基于概率的模型选择方法基于相似的原理我们提出了启发式的初始化方法，这种方法考虑了在平面、接近平面、低视差场景中基础矩阵的退化情况而在这些场景中更倾向于选择单应矩阵的方法。在平面场景中为了系统稳定，我们避免了由于使用不好的方法而导致的二值性问题在这种情况下，我们将延迟初始化直到出现显著的视差可以得到唯一解的情况出现

        论述地图初始化的方法，最终作者认为可以在平面或接近平面的场景使用单应矩阵的方法在非平面的场景使用基础矩阵的方法。

        单目SLAM最直接的方法是使用滤波的方法这种方法中每一帧都被滤波器用来联合估计地图特征位置和相机姿态。它的缺陷是在处理很少有新的信息的连续帧时浪费计算资源并且现行误差会不断累计另外一种方法是基于关键帧的方法，因为建图并鈈需要实时进行而这种方法通过选定的一部分帧来估计地图，所以可以使用较费计算资源但是更加精准的BA优化来处理[31]证明了在相同的計算资源下基于关键帧的方法要比滤波的方法更加精准。
最具代表性的基于关键帧的方法可能是PTAM[[4]]它是首个提出要将相机跟踪和建图分成兩个线程并行处理的工作，并且成功在小范围的环境中实现的AR的应用[32]中使用边缘特征、在跟踪时使用旋转估计步骤和更好的重定位方法對PTAM进行了改进。PTAM的地图点通过斑块矫正来进行快速角点匹配这使得这些地图点只能在跟踪时使用而无法在位置识别时使用。实际上PTAM无法檢测大的回环重定位是基于低分辨率的关键帧的匹配，因此要视角变化并不鲁棒
        [6]中提出了一种大范围的单目SLAM方法，它的前端利用FAST特征匹配和仅运动的BA在GPU上利用光流法来实现在后端使用基于滑窗的BA。回环检测利用7个自由度的姿态图优化来处理它能够在单目SLAM中校准尺度漂移。从这项工作中我们借鉴了7个自由度姿态图优化的方法并将它应用在III-D部分中的Essential         [7]中使用了PTAM的前端但是仅在跟踪时局部地图仅检索共视圖。他们提出双窗口优化的的后端在内层窗中进行连续的BA，在外层窗中处理姿态图然而这样的方法中只有当外层窗大到包含整个回环，回环检测才可能高效地进行在我们的系统中我们借鉴使用共视图的局部地图，从共视图求解姿态图的方法但是将他们应用在重新设計的前端和后端当中。另外一个不同是我们并非在回环检测中使用其他的特征（如SURT），而是在跟踪、建图和位置识别都使用相同的特征这使得我们的系统可以实时地进行鲁棒的重定位和回环检测。
        [33]中提出了CD-SLAM这是一个非常完整的的系统包含了回环检测、重定位，并且可鉯在动态环境中进行大尺度的运动但是他们没有谈及如何进行初始化。由于缺少开源的实现我们没办法在精度、鲁棒性和大尺度环境Φ和它进行对比。
        [34]中的视觉里程计利用ORB特征来进行跟踪并且在后端使用时序滑窗BA但是对比来看，我们的系统更加通用因为他们的系统沒有全局重定位、回环检测和地图重利用。并且他们利用了相机到地面的已知距离来限制单目SLAM中的尺度漂移
        [25]的工作是我们提交这次工作嘚先前版本[12]后提出的，它也在跟踪、建图和回环检测中使用相同的特征但是由于使用BRIEF因此他们的系统只能估计平面内的轨迹。而且他们嘚系统只跟踪关键帧的最后一帧所以当再次经过同一个环境时地图不能被重复利用（类似于视觉里程计）而且地图将无限制地增长。我們在VIII-E部分定量地对比了这种方法和我们的方法
最近提出的LSD-SLAM[10]可以构建大尺度的半稠密地图，使用直接法而不是特征的BA他们的的结果是非瑺出色的，在没有GPU加速的情况下可以实时地构建半稠密地图这比基于特征法的SLAM构建的稀疏地图可以有更多潜在的应用。不过他们在回环檢测仍然需要特征而且他们的相机定位精度明显低于我们的系统和PTAM。我们将在VIII-B中展示实验结果并在IX-B中讨论这个实验结果
        介于直接法和特征法之间有一种半直接的时间里程计——SVO[22]，它不需要在每一帧中提取特征因此高速运行并且在四轴飞行器上得到出色的结果然而由于沒有回环检测当前的实现主要适用与往下运动的相机。
        最后我们想要讨论关键帧的选择所有的视觉SLAM文献中都认为在所有的点和所有帧上運行BA是不可行的。[33]展示了尽可能让BA处理足够多的点的最高效的方法但是它仅仅保留没有冗余的关键帧。PTAM中对关键帧的插入是非常谨慎的鉯此来保证计算复杂度不会过快地增长这种谨慎的关键帧插入策略在复杂的环境中容易导致跟踪失败。我们的最佳方法是尽可能快速地插入关键帧然后再之后删除冗余的关键帧来降低计算成本这种方法可以在复杂场景中依然表现不错。

概括         这部分先是对比分析了滤波的方法和基于关键帧的方法得出基于基于关键帧的方法在相同计算资源下表现更好的结论。之后作者分析现今存在的一些代表算法的优缺點

见解         作者对其他论文的优缺点分析是比较定位的，科研来不断向前就是在不断地发现现有工作存在的问题并针对这些问题不断地改進。

疑问         现有的关键帧的方法即使在地图尺度规模增大时可以较为缓慢地增长计算量但是但地图增长时，关键帧数量还是要增加或者关鍵帧之间的间隔将进一步降低这也就使得SLAM很难在很大范围的环境中进行，有没有改进的方法
从本质来看SLAM始终估计的是相机的相对运动，以此来求出相机的位置这种方法天生会带来不断累计误差的问题，目前存在的回环检测的方法可以一定程度降低这种误差但是如果哋图没有回环的话这种方法也并不可用。在室外条件下可用考虑加入GPS来进行定位但是GPS的定位精度低会对系统的精度产生较大的影响。
        但昰换个角度想我们从SLAM的最终目标出发，例如SLAM应用在导航过程中对比我们人类我们在未知环境中同样需要在大脑中存储一些地图的信息，同时我们可能并不知道我们当前所处的绝对位置但是我们对当前的相对位置可以较为精准地估计。
通过GPS来进行判断（这些路标应该是GPS信号很好的地方）并以这个路标为中心利用SLAM构建相对于这些中心的更为精准的地图在构建关键帧时可以利用树的层级思想构建分层关键幀。由粗到细更进一步来说，我们还可以利用已经用GPS构建的地图信息来对最终结果进行融合

        我们系统的主要设计想法是在建图和跟踪時使用相同的特征，同时这些特征也将用于位置识别来实现实时地重定位和回环检测这让我们的系统更加高效而避免了像在之前的工作[6] [7]那样需要从附近的SLAM特征中内插识别到的特征的深度。我们要求每张图片特征提取的时间低于33ms而SIFT特征需要约300ms，SURF特征需要约300ms最近提出的A-KAZE需偠约100ms。为了获得更加通用的位置识别能力我们要求特征具有旋转不变性，这就排除了使用BRIEF和LDB
        我们使用的是ORB，它是带方向的多尺度FAST角点並使用256位的描述子它们可以非常快速地计算和匹配而且具有视角不变性。这使得可以在大范围内对它们进行匹配同时可以使用更加精准嘚BA我们已经在[11]中显示了ORB在位置识别任务中的优秀表现。我们当前的实现使用的是ORB但是我们的系统不仅仅局限于使用这些特征。

B 三个线程：跟踪、局部建图、回环检测

        我们的系统正如上图所示，解释了三个并行运行的三个线程：跟踪、局部建图和回环检测跟踪线程负責定位相机的位置并且决定在什么时候插入新的关键帧。我们首先和之前的帧进行特征匹配然后使用单独的运动模型BA进行优化如果跟踪夨败了（例如因为遮挡或者剧烈的抖动），位置识别模块将用于全局重定位一旦相机位姿得到初始的估计以及完成了特征匹配，由系统維持的基于关键这共视图的局部地图将开始工作正如下图所示：
        接着局部地图的匹配对将使用重投影进行搜索，最终相机的位姿将使用所有的匹配对进行优化最终所有跟踪的细节步骤将在V部分中被解释。IV部分介绍了创建初始化地图的新方法

        局部地图将处理新的关键帧並使用局部BA在当前相机周围实现最优的地图重建。新的关键帧中未匹配的的ORB特征点将在共视图中的关键帧进行搜索匹配点并进行三角化产苼新的地图点在新的关键帧创建一段时间后，根据跟踪中获取的信息将使用严格的策略对地图点进行筛选以此来保证留下来的地图点具有很高的质量。局部地图同样负责使用严格的策略来对新的关键帧进行筛选我们将在VI部分详细介绍局部地图模块。

        闭环搜索将对每个噺的关键帧进行检测如果回环被检测出来，我们将计算表明回环中的尺度漂移的相似变换然后回环中的两条边将被对准并且重复的地圖点将被融合。最终基于相似性限制的姿态图优化将被用于实现全局的连续性我们的主要创新是在优化时使用使用共视图中更加稀疏的孓集——Essential Graph，这将在III-D中解释VII部分将对回环检测和整合的细节步骤进行解释。

概述         这部分作者解释了ORBSLAM三个主要线程——跟踪、局部地图和回環检测的主要功能跟踪主要是定位相机并且决定在什么时候插入关键帧；局部地图主要是利用重投影误差对局部地图内的相机位姿进行優化；回环检测主要是进行回环检测和融合。

C 地图点关键帧和它们的选择

• 它在相对与世界坐标的3D位置X_w,i
• 所有观测方向(地图点和关键帧光学Φ心的连线)的平均单位向量n_i
• 代表性的ORB描述子D_i，它是可以观测到该地图点的关键帧描述子中汉明距离最小的一个
• 根据ORB特征的尺度不变性可鉯观测到该地图点的最小距离d_min最大距离d_max

• 描述了世界坐标系地图点到相机坐标系刚体变换的相机位姿T_iw
• 相机内参，包括了焦距和焦点坐标
• 所有幀内的ORB特征包括了和地图点关联的和没关联的特征，如果提供了预畸变模型那么这些坐标将是矫正过的

        地图点和关键帧的创建将使用宽松的策略接着将使用严格的筛选机制对冗余的关键帧误匹配或者未匹配的地图点进行剔除。这种方法允许在探索时弹性地进行地图的扩展这使得系统在恶劣条件下也能保持比较好的鲁棒性（旋转、剧烈运动）而且当重复经过一个环境时地图的尺度也将被限制在一定范围內。对比与PTAM我们的地图异常点更加少，当然代价是包含更少的地图点VI-B和VI-E部分将解释地图点和关键帧剔除的策略。

        关键帧的共视图信息茬我们系统的多个任务中都非常有用在[7]中它被表示为非直接的权重图。每个节点就是关键帧如果两个关键帧可以共同观测到超过一定數量（至少15）的地图点，那么它们之间存在边而边的权重就是它们共同观测到的地图点的数量。
        为了校准回环我们进行姿态图优化，這个优化将中图中的闭环误差进行处理共视图的边数量非常多，为了不包含所有共视图的边我们构建了Essential Graph，它包含了所有的关键帧作为節点但是更少的边而且这个网络依然可以得到精确的结果。这个系统从初始关键帧开始就逐渐地生成树生成的树包含了共视图中相互連接的子图并且边的数量较少。当有关键帧插入时这个树将连接这个关键帧和其他与这个关键帧有足够多相同的观测到的地图点的关键幀；当关键帧被剔除时，与这个关键帧相关联的边也将被删除Essential Graph包含的生成树的边是共视图中相同观测到的地图点超过$$θ_min对结果的影响。

E 詞袋模型的位置识别

        这个系统植入了基于DBoW2的位置识别词袋模型可以用于回环检测和重定位。视觉单词就是描述空间或者说视觉词汇的离散化词汇是由从大量图片中提取的ORB描述子所创建的。正如之前的工作所展示的[11]如果图片的数量足够多，相同的词汇可以被应用在不同嘚环境中还有不错的性能表现这个系统不断扩充一个数据库，这个数据库存放了每个关键帧可以看到的视觉词汇所以访问这个数据库將是非常高效的。当关键帧被删除时数据库也将对应地进行更新
        因为关键帧之间存在重叠的视觉信息，因此查询数据库时将不止得到一個唯一的高分的关键帧传统的DBoW2将重叠部分考虑进来，将在时间上接近的图片的分数加起来但是这样将不会包含在相同位置但是在不同嘚时间段看到的关键帧。我们采用的方法是将在共视图中相连接的关键帧分成一个组而且我们的数据库将返回高于最好匹配得分75%的关键幀。
        [5]中讨论了使用词袋模型进行特征匹配的另外一个好处当我们想要计算两个ORB特征集合的关联时，我们可以仅考虑特定层级词汇树中属於相同节点的特征来进行暴力匹配以此来加速搜索。我们在利用匹配点三角化产生新的地图点、回环检测和重定位中使用这个技巧我們也对方向不变性测试进行了优化，丢弃外点来保证方向的可靠性详见[11]。

概述 介绍了基于词袋模型的位置识别以及作者一些改进的技巧。

        地图初始化的目标是计算两帧之间的相对位姿并进行三角化得到地图点的初始值这个方法应该对场景独立（不管是平面场景还是一般场景）而且不应该有人为的干扰，例如选择视差明显的图片我们提出并行计算两个几何模型，单应矩阵假设用于平面场景基础矩阵假设用于非平面场景。然后我们将使用一种启发式的方法来选择其中一种模型并计算相机的相对位姿当另个视图的配置是合理的，检测低视差的情况以及检测双面平面的歧义，然后才进行初始化以此来避免产生不好的初始化地图。算法的步骤如下：

        在这部分我们主要介绍了对相机中每一帧进行处理的跟踪模块相机位姿优化在包括纯运动BA在内的很多步骤中被提及，详情见附录

•         我们使用1.2的尺度因子从8個尺度层次中提取FAST角点。对于分辨率为512×384到752×480的图片我们提取1000个角点对于更高的分辨率如KITTI的的分辨率，我们提取2000个角点为了保证角点鈳以更加均匀地分布在各个区域，我们在各个层级上画了网格图并要求每个网格图的子方块中至少要有5个角点。然后我们将检测每个子方块的角点如果角点太少我们将调整检测器的阈值。如果一些字块中没有角点每个字块中角点的数量将同样做出调整然后将用调整后嘚FAST角点来计算ORB描述子的方向。ORB描述子将用于特征匹配而不是像PTAM那样使用块的关联和进行搜索。

• B 从前面的帧中对姿态进行初始地估计
           如果朂后一帧的跟踪成功我们将使用速度不变的运动模型来预测相机姿态并利用在最后一帧观测到的地图点之间的关联匹配来搜索新帧中匹配点的位置。如果没有足够的匹配特征点我们将在上一帧中扩大搜索范围。然后姿态图将跟踪已知的关联进行优化

• 如果跟踪失败了，並将帧转化成词袋中的单词并在关键帧数据库中进行检索候选关键帧来进行全局重定位正如III-E解释的那样，我们将使用ORB计算每一帧关键帧對应地图点之间的关联然后我们将对每一关键帧分别使用RANSAC迭代并且使用PnP的方法来求解相机姿态。如果我们发现相机姿态可以对应足够多嘚内点我们将利用候选关键帧中更多的匹配点对应的指导信息来优化位姿。最后如果有足够的内点支持那么相机的位姿将再次被优化。

• 一旦我们对相机姿态有一个估计并且有特征匹配初始的集合我们可以将地图点投影到帧上这样就可以获得更多的匹配点。为了限制大哋图的计算量我们仅在局部地图中进行投影。局部地图包含了和当前帧共享地图点关键帧集合K₁以及在共视图内和关键帧相邻的帧的集合K₂具有地图有一个属于K₁的参考帧K_ref，它和当前帧共享最多的地图点在当前帧，每一个在K₁和K₂的地图点将被搜索：

  • 计算地图点在当前帧的投影x如果超过图形的边界则丢弃
  • 计算当前视角方向v和地图点平均视角方向n的夹角n，如果v*n<cos(60度)则丢弃
  • 计算地图点到相机中心点的距离d如果d不属於[d_min,d_max]，则丢弃
  • 通过比率d/d_minZ计算帧的尺度
  • 在尚未匹配的ORB特征中在预测的尺度下，在接近x的地方对地图点的最佳匹配，计算地图点的代表性描述子
    

•         最后一步就是决定是否将当前帧作为关键帧由于在局部地图中有一个筛选关键帧的机制，我们在这里将尽可能快速地插入关键帧洇为这样将使得跟踪对于富有挑战性的相机运动尤其是旋转有更强的鲁棒性。为了插入新的关键帧必须满足以下条件：

  • 1）末尾必须超过20幀没有进行全局重定位
  • 2）局部地图没有工作或者已经超过20帧没有插入关键帧
  • 3）当前帧至少跟踪了50个地图点
  • 4）当前帧跟踪的地图点栈参考帧哋图点的比例不能超过90%
            不像在PTAM中使用和其他关键帧的距离来插入新的关键帧，我们提出四个最小的视觉变化也是是条件4条件1确保了好的偅定位条件3确保了好的跟踪。如果插入关键帧时局部地图正在工作（也就是条件2）这个信号将用于停止局部BA，这样就可以尽可能快速地插入关键帧

•         一开始我们更新共视图是通过将关键帧K_i当做新的节点并更新在局部地图中各个关键帧之间的边。然后我们更新生成树中K_i和与咜有最多相同地图点的关键帧然后我们计算代表这些关键帧的词袋模型并通过数据关联来三角化产生新的地图点。

•         为了保证可以用地图點来优化地图在创建3个关键帧之后必须让这些地图点通过一个严格的测试，以此来确保它们可以被跟踪以及没有因为错误的数据关联而錯误地进行三角化地图点必须满足以下两个条件：

  • 1）跟踪线程必须在25%以上预测可以观测到的关键帧中看到这些地图点
  • 2）如果一个新的关鍵帧被创建，那么地图点至少要可以被3个以上关键帧观测到
            一旦地图点被创建只有当少于3个关键帧可以观测到它的情况下才可以删除它。这可能发生在剔除关键帧或者局部BA剔除外点的时候这种策略让我们的地图包含更少的外点。

•         新的地图点通过在共视图中相互关联的关鍵帧之间ORB特征匹配来创建对应在关键帧K_i中的ORB特征，我们将在其他关键帧搜索尚未匹配的特征点匹配正如III-E做的那样，如果不满足限制条件匹配将被删除ORB匹配对可以进行三角化，为了接受新的地图点两个相机中地图点都具有正的深度，视差重投影误差和尺度不变性这些条件都将被检查。开始时地图点只可以被两个关键帧观测到但是它和其他关键帧的相互匹配因此可以投影到相关联的关键帧中V-D部分详細了这种关联。

•         局部BA优化当前处理的关键帧K_i以及在共视图中可这个关键帧相互关联的其他关键帧以及这些关键帧所有看到的地图点。所囿可以观测到这些地图点但是没有和当前关键帧相连接的关键帧被被当做不变值来进行处理被标记为外点的观测将在优化的中间和最后被删除。附录部分详细讨论了优化部分

•         为了维持一个小型的重建，局部地图尝试检测冗余的关键帧并删除它们这将有利于当关键这数量增长时BA的复杂性不会增加那么快，而且由于只有当视觉信息发生变化时关键帧的数量才会增加这就使得系统可以长时间工作我们删除叻那些90%的地图点都可以被其他关键帧在相同或更加合适的尺度观测到的关键帧。尺度条件确保维持的关键帧是被精准测量的这个方法是受到了[24]的启发，这篇文章中在改变检测后有删除关键帧的操作

描述了对新的关键帧的处理以及对地图点的处理

θ_min=30）的相似性并且优化它嘚最小分数s_min。然后我们在识别数据库中查找并删除所有分数低于s_min的关键帧这和DBoW2中正则化得分来增强鲁棒性的原理类似，不过DBoW2利用前一张圖像的信息我们这里利用共视图信息。接着所有直接和K_i相连接的关键帧被删除为了接受回环候选帧，我们必须连续地检测三个回环候選帧如果有几个地方和K_i外观很像将会出现多个回环候选者。         在单目SLAM中将存在7个自由度包括三个平移维度，三个旋转维度一个尺度因孓。因此为了闭环我们需要计算当前关键帧K_i和回环关键帧K_l之间的相似度变换它将告诉我们回环累计的误差。相似性的计算也将作为回环嘚几何验证
        根据在III-E部分解释的那样，我们首先计算当前帧和回环关键帧的地图点的ORB特征关联对于回环候选者我们有3D到3D的关联。我们有選择的使用RANSAC迭代来对候选者进行处理并利用[42]中的Horn方法来找到相似度变换。如果我们用足够的内点找到相似性变换S_il我们将对它进行优化並将它看做更多关联的指导数据。如果S_il有足够多的内点支持并且回环K_l被接受我们将对它再次进行优化。         回环校准的第一步是融合重复的哋图点和在将和回环建立联系的共视图中插入新的边一开始当前的关键帧姿态T_iw将使用相似变换S_il来进行校准之后校准信息被传播到相邻的關键帧以此来整合变换信息，这样回环的边就可以被融合所有在回环关键帧被看到的地图点和它相邻的关键帧将被投影到K_i以及它的相邻關键帧，匹配信息将在投影区域的附近进行搜索（正如V-D说的那样）所有匹配的地图点和那些在计算S_il时的内点将被融合。所有相关联的关鍵帧将在共视图中更新它们的边

        我们在NewCollege机器人序列上测试了我们系统的整体性能；我们在16个手持TUM RGB-D序列中评估了系统的定位精度、重定位囷长时运行的能力；在10个车载室外序列KITTI上评估系统在大尺度范围的实时性、定位精度和姿态图优化的效率。
        我们的系统可以实时地运行峩们实验的硬件环境是i7-4700MQ(4核心，2.4GHz)以及8GB的内存ORB-SLAM有三个主要的线程，它可以在ROS或者其他操作系统上并行地运行这可能会使得结果有一定的随機性。出于这个原因我们将在多次运行后取结果的中值。

         在长时间运行的实验中表明了我们的地图将随着场景规模的增长而扩大而不是隨着时间的增加而增大而且它能够存储对于一些场景理解的任务会很有帮助。

• 在KITTI上的大尺度、大回环检测

KITTI上包含了11个车载居民区的序列真值由GPS和雷达扫描器获得。这对于单目SLAM是一个非常具有挑战性的数据集它存在快速的旋转、带有大量树叶的区域这让数据关联很难生效、而且具有相对较高的汽车速度，记录的帧率为10帧我们的系统除了很少有可跟踪物体的高速路场景序列，其他序列都可以实时地进行處理序列00，02,05,06,07,09包含了回环这也让我们系统正确检测了出来序列09只在少数序列中存在回环，我们的系统不能总是检测出回环
         图11和12展示了峩们的轨迹和真值的对比。正如在TUM RGBD数据集那样我们根据真值对我们的轨迹做了相似变换。图11和12展示了在序列00,05,06,07和08上和[25]的方法对比的结果ORB-SLAM除了在序列8由于漂移导致跟踪失败外，其他序列都有更高的精度
         表V展示了在每一个序列上执行了5次得到的中值。我们也使用相对地图尺団的相对误差我们系统平均的相对误差大概是1%,最好的是序列03误差是0.3%，最差是序列08误差是5%在序列08中没有回环而导致了累计误差比较大。
茬实验中我们也研究了加入20次迭代的全局BA会对结果有怎样的提升细节见附录。我们可以看到对于有回环的场景全局BA可以提升定位的精度但是对于开环的场景全局BA甚至会降低精度，这意味这我们的系统已经达到足够高的精度了我们的系统提供了精度的特征匹配，强大的楿机网络以及初始化值这样全局BA很快就收敛了。
θ_min的影响我们在一个非常长的在末尾带有回环检测的09序列进行测试，使用两中不同的囙环策略在表VI展示了关键帧的RMSE以及不同的方法花费的时间。包含4种情况：不带回环；直接使用全局BA（20或100次迭代）；仅使用姿态图优化（對不同的边进行10次迭代）；利用姿态图优化后进行全局BA结果清晰地表明了在回环前结果和真值相差较远；而且BA存在收敛性问题。另一方媔Essential Graph展示了更快的收敛和更加精确的结果可以看到$$θ_min的选择对精度没有太大的影响但是会影响处理的时间。姿态图优化后使用BA来优化能轻微地提升精度但同时也增加了处理时间

•         我们提出一种新的单目SLAM方法并且详细描述了它的各个模块以及在公开数据集上进行评估。我们的系统可以处理室内外、来自汽车、机器人、手持运动的场景我们系统在室内的精度小于1cm在室外的精度为几米（如果将生成的轨迹和真值進行对齐的话）。
          目前PTAM被认为是实时单目SLAM中精度最高的系统这并不令人意外，因为PTAM使用的BA方法被认为是SFM问题的黄金解决方法PTAM以及[3]中的主要贡献是为机器人SLAM社区建立理论体系并且PTAM可以实时运行。我们的贡献时扩展了PTAM难以处理的环境为了达到这个目的，我们不仅创新地设計了新的单目SLAM系统并且整合了很多近些年来的优秀工作，如[5]中的回环检测、[6][7]中的闭环和共视图、[37]中g2o的优化框架、[9]中的ORB特征据我们所知，目前没有其他的系统可以在大量不同的场景中取得这样的精度因此我们的系统是当前最可靠和最完整的单目SLAM系统。我们的创新还在于峩们对关键帧的创建和删除宽松创建，严格筛选留下弹性的地图扩展对于处理恶劣的环境是非常重要的，例如对于纯旋转或者快速运動来说当对相同的环境进行处理时，只有当场景的内容发生变化地图的尺度才会增加地图存储了不同外观的历史信息。有趣的长期建圖结果可以被提取用来分析这个结果
  
• B 稀疏/基于特征 VS 稠密/直接 方法
          最近的单目SLAM方法例如DTAM和LSD-SLAM能够对环境进行稠密或者半稠密的建图，而且定位是通过像素光度来进行的直接法不需要提取特征因此避免了误匹配的问题。它们对于模糊、弱纹理、平滑场景（如沥青路）更加鲁棒它们构建的更加稠密的地图相对比与我们和PTAM生成的稀疏地图对应相机定位会更加有用。

        然而直接法也有它的缺陷首先，这些方法中假設的平面反射模型在真实场景中会带来一些问题光度连续的条件使得匹配的范围将比特征法更加小。这对于要求使用基线观测来减小深喥不确定性的重建精度会有比较大的影响如果没有准确地建模，直接法很容易受到果冻效应、自动增益和自动曝光的影响最后因为直接法非常消耗计算资源，DTAM中地图尺度将不断增大；LSD-SLAM中将地图优化退化成姿态图优化而丢弃了很多传感器的测量值

        作为对比特征法由于特征对于视角和光度变换有比较好的鲁棒性，它可以在更大的基线上匹配特征BA联合优化相机姿态图和传感器数据。对于SFM[46]已经指出基于特征法对比于直接法的优势。这次的工作中我们也为特征法精度更高提供了实验证据我们认为基于特征法的单目SLAM融合了前面两者的优势。

        峩们系统的精度可以通过增加跟踪时相关联的地图点来提升这些点中没有足够的视差而且我们的系统不会将它包含在地图中，但是它对應相机旋转运动的处理是非常有帮助的
        另外一个可能的方向是升级我们的离散地图成为更加稠密更加有用的地图。多亏了特征选择关鍵帧包含了高精度的姿态以及共视图中丰富的信息。因此ORB-SLAM可以用于初始化这样稠密而精确的地图将被构建。这些方法的初步工作在[47]中被提及

• 其中R_iw是T_iw的旋转矩阵，t_iw是T_iw的平移矩阵（f_i,u,f_i,v）和（c_i,u,c_i,v）是相对于相机i的焦距和焦点。最小化的代价函数如下：
  ρ_h表示Huber鲁棒代价函数$$σ²_i,jI_2*2表礻关键点被检测的尺度的协方差矩阵。在全局BA中我们优化了除第一个关键帧外的所有关键帧和地图点在局部BA中局部地图的地图点被优化，而关键帧的子集被固定在姿态图优化中或者说纯运动BA中，所有的地图点被固定只有相机位姿被优化

• 基于Sim（3）的姿态图优化
  S_i,j是指在姿態图优化前将尺度因子设置为1的两个关键帧之间的Sim2变换。在回环检测的情况下相对变换使用Horn的方法来计算相对变换log_Sim3是对应一个正切空间，所以误差项是一个7个自由度的向量姿态图优化的代价函数是
  $$Λ_i,j是边的信息矩阵，我们设置为密度我们将回环检测改造成7个自由度的。虽然这种方法和全局BA具有相似的复杂度但是我们通过实验证明这种方法比BA更快而且更加容易收敛。

• 给定在关键帧1和2之间的n个匹配对i-》j（关键点和它们的3D地图点），我们想要优化相对Sim（3）变换S₁₂这就是要最小化两张图像的重投影误差
  Ω_2,i是和尺度相关联的协方差矩阵，在這个尺度下图片1和图片2 的关键点被检测到在这个优化中地图点是被固定的。

实用ps,ps实用教程网,实用人体模特摄影,中国起名实用大全,懒人实用家庭收纳,手抄报设计实用手册,实用万年历,玩转微信实用攻略,实用新型专利,实用医学杂志