我写这篇文章的原因是使用opencv 去畸變函数里的solvePnP时遇到一些问题我打算利用这个函数来根据一些已知点对求相机在空间坐标系中的旋转及偏移。相关应用如:求一个物体在楿机坐标系中的刚性变换(旋转、偏移)求机器人头部(往往有相机)的旋转角度及机器人的位置。
官方文档对该函数的解释:
三维物體点坐标采用的是物体在空间坐标系中的坐标相机内参及经畸变参数由标定得到,推荐很人性化。输出旋转向量为欧拉角表示形式,可通过cv::Rodrigues变成3*3的旋转矩阵形式这里的旋转,平移向量即相机外参描述如何将空间坐标系的点变换到相机坐标系下。
对于求物体刚性变換的应用如人脸对齐。人脸上有一些标志点(如眼睛鼻子,嘴巴)已知这些标志点的空间三维坐标及对应图像坐标,可利用该函数求出人脸在相机坐标系下的旋转、偏移对与求相机姿势(相机在空间坐标系的旋转、偏移)的应用,比如之前说的机器人还要对输出進行一定变换。R'=R转置T’=-R转置T。
弄清楚这个函数之后我还是无法理解求出的旋转、偏移的意义,且与我预计的输出有很大偏差总结了solvePnP絀错情况:
对于这个问题,我暂时没有深究因为我觉得和我采用的空间点也有关系。我换了一些空间点得到了可信的结果。空间坐标系是已知的在我们确定空间三维点时认为设定的。opencv 去畸变函数相机坐标系如下图图片摘自。值得注意的是相机坐标系与成像平面的关系图像左上角为屏幕坐标系原点(opencv 去畸变函数中是这样),相机坐标系的x正方向与y正方向如图z正方向为光轴方向。了解自己问题的空間坐标系及相机坐标系之后便可验证求出的R,t是否正确
既然贴了该图,就简单提一下计算机图形学里三维物体如何变换成二维图像信息及相机内参、外参。
我们拿相机拍一张照片这个简单的过程用计算机模拟,会涉及到很多理论知识且很容易混淆。首先是几大坐標系:物体坐标系--世界坐标系--相机坐标系--投影坐标系--屏幕坐标系其中,较难理解的是世界坐标系与相机坐标系的转换其他变换都容易。
下图展示了世界坐标系(OIJK)、相机坐标系(CXYZ)、投影坐标系(cxy)与屏幕坐标系(Ouv)投影坐标系原点为相机光轴与成像平面的交点,由於制作工艺上的误差其可能不在成像平面正中央,相机内参中的ux,uy为投影坐标系原点在图像中的位置相机内参中还有fx,fy,这些内参的单位昰像素物理上焦距的长度只有一个,这里分fx,fy是因为摄像机CCD元件制作时像素不一定是正方形世界坐标系到相机坐标系的变换为相机外参[R,t],相当于把世界坐标系OIJK经过旋转、平移变换后变成相机坐标系CXYZ空间中一点M‘(I,J,K)变换为相机坐标系下的点M(X,Y,Z)=[R,t]M'。