基于视觉定位跟踪的大型机械部件数字化对接关键技术研究—谭启蒙 北京邮电大学 201204

1.特征标志点规划布局设计

（1）全场控制点：均匀分布在装配现场之中，一方面用于建立装配现场中的全局坐标系；另一方面用于确定各个测量坐标系与全局坐标系之间的转换关系；

（2）拼接标志点：用于实现各个测量坐标系之间关系的转换；根据部件外形特征变化设置拼接标志点

（3）位姿控制点：用于建立各个大部件的局部坐标系与CAD设计模型坐标系之间的转换关系

（4）点集内的布局参数：1.点的个数 2.基准点的坐标 3.同一坐标系下各标志点与基准点之间的坐标差值

2.标志点规划布局的约束条件：

（1）曲率特征加权质心点约束

​ 曲率特征是3D测量空间自身所固有的属性，与外界因素无关，因此，曲率特征分布将直接决定着标志点规划布局的疏密程度。假设存在一组标志点集，其中每个标志点处的主曲率设为k1,k2，且该点处的高斯曲率和平均曲率分别设定为k_gas，k_avg,将各标志点处的曲率特征作为求解质心坐标的权重系数，加权质心点位置会明显靠近于曲率变化明显点区域。基于刚体运动学原理，需要将标志点集视为刚体，而具有剧烈曲率变化的标志点所在位置对于坐标转换精度的影响更为显著，这就需要在曲率变化明显的区域布置相对较多的标志点，以保证坐标转换精度。

（2）坐标转换误差的平方和最小约束

​ 根据最小二乘法基本原理可知，要获得最优解是基于所有计算的转换点，使得全部转换点的坐标转换误差的平方和最小。

（3）测试点的绝对误差指标最小约束

​ 使用坐标值误差法、均方根法和相对欧式距离误差法对坐标转换精度进行评定。

基于立体视觉的运动刚体位姿测量方法研究 —杨卫 哈尔滨工业大学 200906

1.特征点的布局优化

提出了基于2-范数的姿态误差表示方法，根据测量模型，给出了特征点布局相关量与姿态误差的数学关系；

结论：两个姿态矩阵R，Q间的差距的大小可以用它们差R-Q的2-范数（奇异值的最大值）表示，且R-Q且有一个为0的奇异值，另外两个奇异值相等；

2.优化布局方案

不同布局方式下的特征点，他们形成的向量矩阵Vm的广义逆的2-范数越小，系统测量误差对所求解姿态的影响也越小；

一. MOEA流程

1.目标函数：

$$min f(x)=(f_{1}(x),f_{2}(x),f_{3}(x),f_{4}(x),...,f_{r}(x))$$

2.多目标进化个体之间关系

• 个体之间的支配关系
• 目标空间中的支配关系

3.基于Pareto的多目标最优解集

​ 在多目标优化中，由于是对多个子目标的同时优化，而这些被同时优化的子目标之间往往又是互相冲突的。

• Pareto最优解

• Pareto最优边界

  最优解集是P的决策向量空间的一个子集，而最优边界是目标向量空间的一个子集；

• 凸空间和凹空间

  凸空间：任意两点的连线上的点仍然在该集合上，否则为凹空间；

  多目标优化问题就是获取一组在目标空间中尽量靠近Pareto最优边界且均匀分布的解.

二. MOEA算法

1.基于分解的MOEA（MOEA/D）

给定权重偏好或者多个参考点信息的情况下，通过线性或者非线性方式将多个目标问题进行聚合，得到单目标优化问题；

1.1 三类聚合函数

1.1.1权重聚合方法（线性）

​ 不能很好的处理真实Pareto面为凹状的问题;

1.1.2切比雪夫方法（非线性）

​ 既可以处理Pareto面为凸状的问题，也可以处理Pareto面非凸状的问题；

1.1.3基于惩罚的边界交叉方法

​ 适合处理高纬目标问题;

1.2 算法框架

​ 分解；合作；

2.基于支配的MOEA

2.1 NSGA-II（将进化群体按支配关系分为若干层）—Deb 2000

2.1.1 非支配集的构造方法：

2.1.2 保持解群体分布性和多样性的方法：

​ 通过计算进化群体中每个个体的聚集距离，然后根据个体所处的层次及其聚类距离，定义一个偏序集，构造新群体时依次在偏序集中选择个体；

2.1.2 执行选择、交叉和变异操作；

主要时间开销：构造边界集（构造非支配集）

三. MOEA具体工作：

1.如何选择构造非支配集的方法；

2.采用什么样的策略调整非支配集的大小；

3.如何保持非支配集的分布性；

四. MOEA需要考虑的问题：

1.进化群体的分布性

​ 1.1小生境技术

​ 1.2信息熵方法

​ 1.3聚集密度方法

​ 1.4网格法

​ 1.5聚类分析法

​ 1.6最小生成树

2.进化算法的收敛性

五. MOEA最新成果

一种求解多目标优化问题的进化算法混合框架 —2017 同济大学 田红军

在所提出的框架中,进化算法模块可以采用现有多目标进化算法及其改进算法;

投影聚类模块——维持并增加进化群体的多样性和分布性,以聚类质量指标作为种群多样性的好坏指标进行局部搜索或种群多样性增强操作;

局部搜索模块——在种群具有较好多样性时可加快算法收敛;

多样性增强模块——在保证收敛性的同时可增加种群多样性以保证解的均匀性和分布性.

就很奇奇怪怪，为啥递不上去。。。。（title后面记得加空格，冒号用英文）

P3P问题原理：

P3P 算法多解选择问题的讨论：

（1）P3P 算法至多有 4 个解，如何排除虚假解的干扰，从多解中找出正确解是 P3P 算法的关键问题之一。通常使用的方法为：用每个解得的 R 和 T 分别对特征点世界坐标进行重投影，将重投影得到的图像坐标与已知图像坐标比较，认为使得重投影误差最小的 R 和 T 为正确解。这种重投影方法的实质是以特征点像方残差之和最小作为正确解的选择标准。

（2）P3P 算法的求解本身是比较稳定的，多解中较可能存在一个与真值接近的正确解，但使用重投影的方法从多解中选择正确解的过程可能发生错误。因此，P3P算法误差主要由两个因素引起：算法输入数据包含的噪声和选择正确解时可能发生的错误。P3P 算法一 旦产生多解选择错误的问题，会造成较大的误差，且使得 P3P 算法的平均误差增大。重投影是 目前最常用的多解选择方法，今后的研究中可以进一步讨论是否有更好的多解选择方法。

基于点特征的位姿求解算法：

（1）非迭代：P3P 、 P4P 、 RPnP

（2）迭代：正交迭代（OI）算法 、 L-M 算法 、 SoftPOSIT 算法 、 Tsai算法（初始解不迭代，精确解迭代）

各常用算法稳定性、精度和实时性的对比结果:

（1）RPnP 算法求解 R、T 的误差均值和标准差都最小，精度最高；

（2）Tsai 算法求 解 R 的误差均值和标准差仅次于 RPnP 算法，但求解 T 的误差较大；

（3）正交迭代算法和 P3P 算法 误差中等，但 P3P 算法误差的标准差较大，说明 1000 组解中可能存在一部分误差较大的错误 解，使得误差均值增加，这也与 P3P 算法的多解选择有关；

（4）P4P 算 法求解 R 和 T 的误差均值和标准差都较大，说明其求解精度较低，且 R 的求解精度低于 T 的 求解精度。

（5）对于特征点数的影响，各算法总体趋势为：特征点数越多则误差越小。但随着特征点数增 多，算法误差并不是越来越小，而是在 10 或 12 个特征点之后趋于平稳，因此，在对特征点数 没有限制的应用场合，取 10 或 12 个特征点较为合适；

（6）Tsai 算法的求解时间最长，主要是由于其第二步基于最小二乘法迭代求解 t z 分量的精确解耗时较长。正交迭代算法求解时间次长，也与其迭代求 解过程有关。其余非迭代算法实时性都较好。

可以得到如下结论：

（1）RPnP 算法性能较好；

（2）Tsai 算法求解 R 的精度较高，求解 T 的精度较低，3.3 节将利用冗余信息对 Tsai 算法 求解 T 的过程进行改进；

（3）P3P 算法精度适中，但其稳定性曲线呈双峰，3.3 节将对该问题进行讨论；

（4）正交迭代算法精度适中，考虑到本节采用初始值未知的正交迭代算法，以零矩阵作为 R 的初始值，可能影响正交迭代算法性能，因此 3.3 节将讨论正交迭代算法初始值选取问题；

（5）P4P 算法求解精度相比于其他算法较低，且 R 的求解精度低于 T 的求解精度。

日常复盘

猛然发现，自己看了半年的论文都是在整体性的看无人机视觉着陆的一些实验性文章，到头来好像也没有积累多少深度，大概就是搞清楚了视觉位姿估计的PNP问题，还有就是关于合作目标的设计，自主着陆这个过程存在哪些问题，一些控制的方案，着陆的策略，视觉处理的方法，有哪些指标去衡量之类的，好像都是浅浅的学习了一下，也没有很深入的get到一些关键性技术，实际论文没啥可以写的。

自己目前能想到自己的工作量：

1.对RNN到其演变至今的mask-rcnn有了一些认识和了解；

2.对视觉位姿测量涉及到的坐标转换、合作目标设计、位姿估计模型等有了解和实践；

3.对亚像素提取和其涉及的方法有了认识和了解；

4.抽象出了合作目标优化设计的数学模型，约束规则等；

西交大人机所 郑南宁院士的 直觉性AI的与自动驾驶的学术报告

1.从脑科学的角度去构建AI计算架构，即结合人脑的结构特征和对不同视觉场景下的神经元活跃度与连接方式进行模拟与识别，构建从类脑出发的AI计算策略。

2.从认知活动，认知映射和直觉推理等方向出发，提出基于先前经验与模式匹配，即先验信息决定着问题求解的方向，通过评估代价空间和认知活动，消除无关信息，构建启发式搜索与联想，为未知环境与突发环境条件下的自动驾驶提供具有记忆、推理和经验更新机制的AI系统。

​ 因为最近课程也比较多，也很难抽时间系统性的搞其他的。

​ 后面再看看位姿测量和6D姿态估计方面的论文吧，自己还是比较满意这个方向的，后面做烦了，可以转去做做SLAM和虚拟现实，蛮有趣的。

​ 自从mac更新了Catalina,真的是，软件啥权限都要询问，之前的好多功能都用不了，不可否认，苹果的隐私保护和安全真的做的好，这是其他公司不能比的。图片现在不能通过照片拖过来了，难搞哦。。。。。

TX2-Learning review

为了熟悉的运用TX2最近也花了很多时间研究，可谓是天天逛各类论坛，解决配环境过程中的各种Bug，虽然前段时间刷机就被折腾了好久，但是还是弄好了。不得不吐槽吐槽CSDN，真的好多错的，要是不注意辨别，就越搞越炸毛，大部分文章还都是复制粘贴的，真的是垃圾，人家的劳动成果，你复制粘贴一下还不提人家的名字，真的不知道这样做的意义是什么，这么敷衍干嘛还弄博客，有那个时间不如多看点书，提示一下自己的道德素养。

非常推荐这个网站 https://devtalk.nvidia.com/default/board/188/ ，这个是英伟达官方的技术支持论坛，不管你是刷机还是其他问题，大部分都能解决，虽然是英文的，但解决的方法绝对是正确的，能给你节省不少时间。

https://elinux.org/Jetson_TX2 ，这个网站基本上涵盖了TX2所有的硬件和软件信息，做开发的话，可以先学习学习上面的东西，可以说非常有用了。

https://github.com/NVIDIA-AI-IOT/redtail ，这个上面是英伟达官方提供的一些用在机器人上面的深度神经网络模型，看看Readme基本上能够上手了，至于原理性的东西还是需要从基础的RNN学起。

刷4.2的需要注意的坑和解决的办法：

卡在 Vision works on target 的解决方案：

https://devtalk.nvidia.com/default/topic/1055485/jetson-agx-xavier/xavier-visionworks-install-failing-sdk-manager-/post/5350878/#5350878

卡在 Opencv on target 的解决方案：

https://devtalk.nvidia.com/default/topic/1055673/failed-to-install-opencv-using-sdk-manager/?offset=3#

​ 这个课题在我本科阶段就一直很想做，所以在毕业设计的时候也以此为毕业课题，从设计合作目标，到最后实现整个系统也花了我蛮久的时间。虽然在毕设中拿到了优秀，但是实际做的还是比较粗糙的，自己也不能满意，但为了有了结果，只好大概实现了实时的位姿估计，怎么插入视频我还没学会，那就先放点图片吧。

​ 实验结果有了，但是实验的真值其实是很难获取的，理想的是你能够获得着陆点和飞机实时的空间GPS坐标，按照目前的技术，可以采用大疆D-RTK等设备，大概的定位精度是10cm，把飞行过程中的视频帧与GPS坐标对应起来，然后再用位姿估计的去进行误差分析。当时由于设备和时间限制，我就只针对高度的真值进行误差分析，具体的高度真值是通过在飞机上挂载精度为2cm的激光雷达，然后通过串口将实时的高度数据发送出来，电脑通过Labview和串口把飞行过程中飞机的高度曲线记录下来作为高度真值，具体实验图片如下图所示：

​ 选用激光雷达是因为其相比于超声波测量范围大，精度2cm也足够了，还有一个原因是因为悟自身也用超声波来辅助定高，如果我下面再加超声波，会造成飞机定高存在问题，导致翻车。最后实验结果在算法稳定度和精度均符合当时的设计要求，10米内的误差大概在10cm左右，算法稳定度也远好于现有的P3P算法。

​ 好了，现在回归正题，我们从整个课题的最开始进行研究分析，此课题设计到两大内容：一是对移动平台的视觉相对位姿估计系统，二是主动测量平台的控制策略与任务调度。我们首先说视觉相对位姿估计系统，如果我是产品经理的话，那么我想提如下的需求。

视觉相对位姿估计系统

² 可实现1m～300m范围内的合作目标识别

² 可实现1m~10m范围内对着陆平台运动状态和姿态变化的轨迹预测

² 可实现对合作目标所含特征信息的亚像素提取

² 可实现在目标存在部分遮挡或环境存在烟雾、强光等条件下的位姿估计

² 可利用GPU加速或机器学习的方法构建高效率、低延时的视觉优化方案

² 可实现相对位姿估计系统的结果与多个测量系统之间的交互

​ 在实现这个系统之前，我们首先需要考虑的是，如何能够设计出一款既简单抗干扰性又好，最好还能自带编码，那么我们就只需要考虑视觉提取匹配以及位姿估计的算法就行了。但实际是合作目标的设计上很难同时兼顾多个方面，其中各个特征之间对位姿估计的影响的模型目前也不清楚，所以如果想把合作目标的设计作为一个优化问题去考虑的话是很难量化的，如果能够构建点、线特征和其数量对位姿估计的数学模型，那么合作目标的设计就有据可依，不再是大家靠经验去简单布置。

​ 在本科毕设做这个课题的时候，我几乎研究了大部分国外在位姿估计中用到的合作目标，大部分都是利用Apriltag，包括现在走在Robotics最前沿的 Boston Dynamics，因为其每个tag都是一个ID也就解决了编码匹配问题，其使用图像的梯度来获取tag，这样让他在光照的改变上更加的实用,ARTag 也提供第一个向前纠错的解码系统，这个让tag容易产生，快速纠错，也提供更好的识别算法，所以其在机器人领域广泛应用。

​ 但目前应用在空间交会对接、固定翼无人机着舰、无人船舶自主回收等特殊领域的位姿估计算法很难采用这种机器人视觉系统，大多都是由点、线构成，通过单目或多目的方式进行相对位姿估计，所以建立一套能够在此领域发挥作用的视觉基准库对航空、航天、航海还是很有意义的。

所谓的合作目标设计，也就在考虑如下因素的基础上，加上相机的成像模型与应用距离的范围，对合作目标的存在的多种组合按照一定的约束进行筛选，找出最恰当的点、线分布状态。