目标3D精确模型已知(建立2D-3D对应关系):
点特征
P3P问题
基于针孔成像模型
- Gao的方法(opencv emgucv)
- Kneip 的 P3P 算法
- 直接线性变换 (DLT)
- EP3P(王平)
通用相机模型 (GID)
- 用在基于鱼眼镜头的测量,基于全向视觉传感器的测量
- GID 模型解决问题的复杂度通常会较高,而测量精度却较低。
PNP问题
迭代优化求解策略
当前算法研究
- SoftPOSIT算法
- 正交迭代算法(LHM 或 OI),LHM 方法是最为优秀的迭代求解 PnP 问题的方法
- 基于 Levenberg-Marquardt 迭代求解的方法
优缺点
- 迭代法相比于线性求解的方法,求解精度和稳定性都要高很多。
- 迭代法不是闭式解,还有陷入局部最 优的危险,这将导致最终得到的结果不是真实所求的位姿值
- 迭代法对初值的选取比较敏感
- 空间参考点比较少或者参考点近似奇异的情况下,迭代法的精度和稳定性都表现较差
非迭代求解策略
基本原理
- 通过对成像模型合理参数化和变形, 构建可以用于最优化求解的非线性方程组,然后通过矩阵合成的技术(Gröbner 基的方法)求解非线性方程组,最终得到完整的位姿参数闭合解。
当前算法研究
2013年提出的ASPnP 方法和 OPnP 方法(目前最优秀的)
- 采用四元数来表示旋 转矩阵,通过旋转矩阵参数化来表示平移向量,得到可以全局优化的目标函数来构成多项式方 程组,最后通过矩阵合成技术(Gröbner 基的方法)来求解多项式方程组,得到最终的位姿值。
2015年提出的optDLS方法
- 通过对 OPnP 方法中的 优化目标函数添加新的约束条件,减少了 OPnP 算法求解过程中解的个数
优缺点
- 抗干扰能力差
- 位姿求解精度差
依赖目标点纹理信息,易受纹理、光照、噪声等影响
线特征
- P3L问题
PNL问题
线性求解方法
- 直接最小二乘位姿求解
- 构建局部坐标系,求解局部坐标系与相机坐标系之间等变换关系
非线性优化求解方法
- 先迭代求解旋转矩阵,再求解平移矩阵
- 引入同名点及高程平面约束
边缘轮廓特征
- 对边缘轮廓离散采样,沿采样点法向方向搜索匹配带你,求解位姿参数
RAPID算法改进方向
- 多特征融合
- 稳健估计
贝叶斯估计
卡尔曼滤波
- 适合于噪声满足高斯分布假设
粒子滤波
- 适合于目标作非线性运动且为非高斯随机过程多情况
视觉伺服相关方法
2D特征描述
- 基本思路:基于虚拟离散位姿参数,目标不同侧面等,将针对3D目标的位姿求解问题转换为若干2D图像之间的匹配问题,进而采用2D特征描述建立对应
- 基于HOG特征的DPM方法
- 采用MCMC采样方法对位姿参数进一步求精
深度学习
- 方向1:将学习得到的2D深度特征描述用于离散位姿参数后的2D图像之间的匹配
- 方向2:构建卷积神经网络,直接通过2D图像信息预测控制点图像坐标,进而建立2D-3D控制点对应,实现位姿参数求解
目标3D模型未知:
1.利用序列图像(或立体视觉)对目标进行重建,依据重建目标模型,采用绝对定向方法求解位姿参数,并利用光束平差方法对结果进行优化
2.转化为SLAM问题进行考虑
基于深度学习的位姿测量方法:
基于稀疏特征的方法
- 从图像中提取兴趣点,用局部描述子来描述这些兴趣点,并匹配到数据库
- 对纹理较少的物体识别较为困难
基于稠密特征的方法
- 粒子滤波+回归森林获取位姿:遮挡情况下获取位姿
- 运动参数+回归森林获取位姿:自由度运动参数估计
- 边缘化深度图像的权重,只利用彩色获取位姿
基于模版匹配的方法
- 用固定的模版扫描图片,寻找最佳的匹配
- 通过卷积神经网络学习整张图片的描述子