CN114820811B - 一种基于运动球体的同步相机的基础矩阵求解及标定方法 - Google Patents

Abstract

本发明提供一种基于运动球体的同步相机的基础矩阵求解及标定方法。使用多台待标定的相机从不同的角度同步拍摄单一运动球体，获取多段同步视频，然后使用圆检测算法自动地检测每一帧图像中的球体并得到其球心在图像中的像素坐标，进而得到一系列2D对应点坐标，然后据此计算对极约束中的基础矩阵，并结合相机的内参计算得到相机的投影矩阵。该方法的优点是：使用方便，自动化程度高，标定结果准确，能够在多种户外环境中使用。

Description

一种基于运动球体的同步相机的基础矩阵求解及标定方法

技术领域

本发明属于相机标定技术领域，涉及一种基于运动球体的同步相机的基础矩阵求解及标定方法。

背景技术

相机标定的意义是：如果得到了三维空间中某个三维点(三维坐标未知)在多个视图中的二维像素坐标，根据相机的投影矩阵，就可以计算该点的三维坐标，这是基于多视图几何原理的三维重建流程。

进行多视图三维重建的关键是准确估计出多个同步相机的投影矩阵。为此需要同步视图中寻找若干对对应点，根据对极几何的原理，以两台相机为例，可以使用八点法计算基础矩阵，即：在两个视图中找出若干对(不低于八对)2D对应点，然后建立线性方程组求出基础矩阵的最小二乘解。然后根据已知的相机内参矩阵计算对应的本质矩阵，最后对本质矩阵进行分解，可以得到需要的两个相机投影矩阵。估计出的相机投影矩阵的准确程度，决定了后续三维重建的精确度。

为了在两个视角的图像中检测出若干组2D对应点，用于计算对极约束中的基础矩阵，一种常用方法是：在图像中检测SIFT特征点，然后在两个视角的图像中进行匹配，使得每一组2D对应点对应于三维空间中的同一个3D点。在图像中检测SIFT特征点的方法的不足之处在于：在一张图片中往往会自动检测出成千上万个SIFT特征点，但其中包含了很多错误匹配的点，需要使用RANSAC等算法排除不匹配的噪声点，使得整体的计算量很大，整个过程也比较耗时。不仅如此，由于检测到的SIFT特征点大部分来源于图像中的背景，这使得检测SIFT特征的方法还受制于背景环境，对于图像中不同的实际背景，其结果常常不够稳定。

另外，中国专利ZL200720154429提供了一种可拆卸式的三维标定框架，共提供8根标定杆，每根标定杆上固定有3或4个白色小球作为标记点，小球直径为34mm。在使用时可将所有标定杆固定于同一个底座上，组装完成后呈辐射状分布，在三维空间中一共提供26个白色小球作为标记点。如果在两台相机拍摄的图片中，各个标记小球之间没有重合，在一帧图像中，该三维标定框架可以提供26对2D对应点。但该方案存在如下几个方面局限性：一方面三维标定框架往往造价昂贵，阻碍了相关从业者便捷地进行相关的实验与研究；另一方面，三维标定框架中的标定杆上固定的标记小球一般比较小，在拍摄出的图片中难以利用圆检测等相关算法自动地计算标记小球的像素坐标，且不容易精确匹配两视图中的对应标记小球，这一不足在室外距离三维标定框架较远处拍摄时，显得格外突出，所以通常需要使用人力去标注图像中的标记小球的位置，这既费时又费力；此外，该三维标定框架对使用条件要求较高，使其在户外的场景中很受限制。并且三维标定框架标定的相机适用的空间范围有限，当超出其有效范围时重建结果会有很大的偏差。在大型场景重建中，特别是空中大范围运动的人体(如滑雪运动员的空中动作)，标定架只占整个空间中很小的一部分，仅通过图像中一个集中小区域的点来重建整幅图中的结构是不准确的。因此，如果要重建的物体距离标定框架比较远，就会出现重建比例失调的现象。

发明内容

为解决上述技术问题，本发明提供一种基于运动球体的同步相机的基础矩阵求解及标定方法，以球体的球心为参考点，同时可以自由方便地变换球体在三维场景空间中的位置，使得球体的球心在多视图中提供的多组2D对应点能够更充分地表征拍摄场景所在的三维空间，从而提高基础矩阵求解的准确度，进而提升相机标定的精度。

本发明提供一种基于运动球体的同步相机的基础矩阵求解及标定方法，包括：

步骤1：在拍摄场景中固定多台相机，同步拍摄视频；

步骤2：离线或者在线标定相机的内参矩阵；

步骤3：采用多台相机同步拍摄单一的运动的球体，获得不同时刻的多组图像组；

步骤4：使用Daugman圆检测算法自动检测每组多张图像中的球体所呈圆形的圆心坐标，获得一组2D对应点，不同时刻的多组图像获得多组2D对应点；

步骤5：根据多组2D对应点计算满足对极约束的基础矩阵；

步骤6：结合相机的内参计算本质矩阵，再对本质矩阵分解得到两台相机的外参矩阵，并结合相机的内参矩阵计算得到相机的投影矩阵完成标定。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤3具体为：

步骤3.1：进行拍摄时先根据场地的大小、离相机的远近、焦距的长短选择球体的颜色及球体的尺寸；

步骤3.2：自由地控制球体的运动范围和运动方向，控制视频的帧率和运动速度之间的平衡关系。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤4具体为：

步骤4.1：使用多台相机同步拍摄运动的球体，每一时刻获得一组包含该球体多张图像；

步骤4.2：使用Daugman圆检测算法，自动检测出球体在图像中所呈的圆形，并得到圆心的像素坐标或者亚像素坐标；

步骤4.3：便得到了球心这一3D点在多台相机的图像中分别对应的2D坐标，同一时刻多台相机的图像中的2D坐标构成一组2D对应点；

步骤4.4：利用一系列不同时刻的成组图像，获得多组2D对应点。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤5具体为：

步骤5.1：根据对极约束条件建立一组2D点对应的线性方程；

步骤5.2：通过多组2D点建立线性方程组，使用SVD分解求线性方程组的最小二乘解，得到基础矩阵。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤5.1具体为：

步骤5.1.1：在两视图几何中，基础矩阵F表示一个图像中的点到其对极线的变换，设基础矩阵F是一个3×3的矩阵，有9个参数，8个自由度：

步骤5.1.2：在多台相机拍摄的每组图像中选取两张图像，令x是第一张图像上的2D对应点，l'是第二张图像上的对极线，则l'＝F·x；令x'是第二张图像上的2D对应点，由于x'在对极线l'上，所以获得对极约束表达式：

x'^T·F·x＝0

步骤5.1.3：设x的齐次坐标为其对应点x'的齐次坐标为将x、x'和基础矩阵F带入对极约束表达式并进行简化后获得如下表达式：

其中，f＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]^T。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤5.2具体为：

通过一组图像中的两个2D对应点可以得到上述一个对极约束表达式，多组2D对应点在相差一个尺度因子的情况下得到一个唯一解，当2D对应点多于8组时，使用SVD分解求其最小二乘解，f的解就是系数矩阵最小奇异值对应的奇异向量，也就是A＝UDV^-1中矩阵V的最后一列矢量。

在本发明的基于运动球体的同步相机的基础矩阵求解及标定方法中，所述步骤6具体为：

步骤6.1：结合相机内参和基础矩阵计算本质矩阵：

其中，K₁，K₂为多台相机中选取的两台相机的内参矩阵，F为基础矩阵，E为本质矩阵；

步骤6.2：对本质矩阵分解得到两台相机的外参矩阵；

本质矩阵的三个奇异值中有两个奇异值相等，第三个奇异值是0，对本质矩阵进行奇异值分解可得：

E＝U·diag(1，1，0)·V^T

在不考虑符号的情况下有两种可能的解：

S₁＝UZU^T，R₁＝UWV^T

S₂＝-UZU^T，R₁＝UW^TV^T

其中：

因此，外参矩阵有四种情况：P₁＝[R₁|S₁]，P₂＝[R₁|S₂]，P₃＝[[R₂|S₁]和P₄＝[R₂|S₂]；

步骤6.3：分别根据四种情况求出三维点坐标，深度为正的点数最多的那一组即为要求的外参矩阵。

本发明的一种基于运动球体的同步相机的基础矩阵求解及标定方法，至少具有以下有益效果：

1、本发明方法中使用球体的球心为参考点，同时可以自由方便地变换球体在三维场景空间中的位置，使得球体的球心在多视图中提供的多组2D对应点能够更充分地表征拍摄场景所在的三维空间，从而提高基础矩阵求解的准确度，进而提升相机标定的精度。

2、本发明提出的技术方案使用方便，适用广泛，并使用Daugman等圆检测算法自动地检测图像中的球体，自动化程度高。

3、本发明提出的技术方案计算量小，不需要花费额外的算力资源排除特征点中的噪声点以及对2D对应点进行匹配计算，同时不会受制于相机的拍摄背景，对拍摄环境具有更强的鲁棒性。

4、本发明克服了现有使用SIFT特征点方法的噪声点多、计算量大和受制于拍摄背景的缺陷，同时克服了使用三维标定框架方法的成本高，需要手动标注2D对应点且不易匹配，易损坏的缺陷。与SIFT特征点匹配相比，得到的匹配点对更为准确，计算量小，并且可以应用于多种拍摄背景中。与使用三维标定框架的方法相比，克服了其空间范围的限制，本发明方法可以得到整张图的任何部分的对应点，并且易于操作，自动化检测对应点更加精准。

附图说明

图1是本发明的一种基于运动球体的同步相机的基础矩阵求解及标定方法的流程图；

图2是采用多台相机同步拍摄单一的运动的球体的示意图。

具体实施方式

本发明独创性地采用了图像中运动的球体，实践中可选用篮球，排球等作为标定物，为两台以上同步相机视图中提供多组对应点，计算多视图几何满足对极约束的基础矩阵，进而在相机内参已知的条件下，计算相机的投影矩阵，实现相机的标定。

如图1所示，本发明的一种基于运动球体的同步相机的基础矩阵求解及标定方法，包括：

步骤1：在拍摄场景中固定多台相机，同步拍摄视频；

步骤2：离线或者在线标定相机的内参矩阵；

步骤3：采用多台相机同步拍摄单一的运动的球体，获得不同时刻的多组图像组，如图2所示，具体为：

步骤3.1：进行拍摄时先根据场地的大小、离相机的远近、焦距的长短等拍摄条件选择球体的颜色及球体的尺寸；

步骤3.2：自由地控制球体的运动范围和运动方向，但要考虑视频的帧率与球体的运动速度之前的平衡关系，帧率过低或者球速过快会使得成像模糊。

步骤4：使用Daugman等圆检测算法自动检测每组多张图像中的球体所呈圆形的圆心坐标，获得一组2D对应点，不同时刻的多组图像获得多组2D对应点。

理论上，该球体在图像中呈现标准的圆形。在所得的不同时刻的多组图像中，以球体的球心为考察点。尽管在实际中球心位于球体内部是不可见的，但球心仍然是位于三维世界坐标系中的一个点，它在图像中的2D投影点是图像中所呈圆的圆心。即对于同一个三维点——球心，在同步相机的多个图像中，存在一组2D对应点—球体在图像中所呈圆的圆心的像素坐标，这正是求解对极约束中基础矩阵所需要的2D对应点。

在所得的不同时刻的多组图像中，球体的球心在三维世界坐标系中的位置是变化的，而且可以人为随意地进行控制。所以，利用所得的多组图像，可以获得任意多组2D对应点，这些2D对应点由分布于三维世界坐标系中不同位置的球心在同步相机的图像中产生。根据这些2D对应点，不仅可以求解出两视图对极约束中的基础矩阵，还可以方便地调整球体的位置使得产生的2D对应点能够更充分地表征拍摄场景所在的三维空间，有利于提高基础矩阵求解的精确度。

为了自动化地快速地检测出球体在图像中所呈圆的圆心的像素坐标，在拍摄得到的多组图像中使用Daugman等类似的圆检测算法，自动检测出球体在每个图像中的所呈的圆并得到圆心的像素(或者亚像素)坐标，便得到了球心这一3D点在多台相机的图像中分别对应的2D像素点坐标。由于在拍摄过程中相机是固定不动的，其内外参均保持不变，使用不同帧的图像所提供的2D对应点计算出的相机内外参数是一致对应的，于是可以在多组图像的每组图像中都检测出一组2D对应点。故根据多组图像可以得到任意多组2D对应点，用于基础矩阵的计算。基于上述分析，步骤4具体为：

步骤4.1：使用多台相机同步拍摄运动的球体，每一时刻获得一组包含该球体多张图像；

步骤4.2：使用Daugman等圆检测算法，自动检测出球体在图像中所呈的圆形，并得到圆心的像素坐标或者亚像素坐标；

步骤4.3：便得到了球心这一3D点在多台相机的图像中分别对应的2D坐标，同一时刻多台相机的图像中的2D坐标构成一组2D对应点；

步骤4.4：利用一系列不同时刻的成组图像，获得多组2D对应点。

步骤5：根据多组2D对应点计算满足对极约束的基础矩阵，具体为：

步骤5.1：根据对极约束条件建立一组2D点对应的线性方程；

步骤5.1.1：在两视图几何中，基础矩阵F表示一个图像中的点到其对极线的变换，设基础矩阵F是一个3×3的矩阵，有9个参数，8个自由度：

步骤5.1.2：在多台相机拍摄的每组图像中选取两张图像，令x是第一张图像上的2D对应点，l'是第二张图像上的对极线，则l'＝F·x；令x'是第二张图像上的2D对应点，由于x'在对极线l'上，所以获得对极约束表达式：

x'^T·F·x＝0

步骤5.1.3：设x的齐次坐标为其对应点x'的齐次坐标为将x、x'和基础矩阵F带入对极约束表达式并进行简化后获得如下表达式：

其中，f＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]^T。

步骤5.2：通过多组2D点建立线性方程组，使用SVD分解求线性方程组的最小二乘解，得到基础矩阵；

通过一组图像中的两个2D对应点可以得到上述一个对极约束表达式，多组2D对应点在相差一个尺度因子的情况下得到一个唯一解，当2D对应点多于8组时，使用SVD分解求其最小二乘解，f的解就是系数矩阵最小奇异值对应的奇异向量，也就是A＝UDV^-1中矩阵V的最后一列矢量。

步骤6：结合相机的内参计算本质矩阵，再对本质矩阵分解得到两台相机的外参矩阵，并结合相机的内参矩阵计算得到相机的投影矩阵完成标定，具体为：

步骤6.1：结合相机内参和基础矩阵计算本质矩阵：

其中，K₁，K₂为多台相机中选取的两台相机的内参矩阵，F为基础矩阵，E为本质矩阵；

步骤6.2：对本质矩阵分解得到两台相机的外参矩阵；

本质矩阵的三个奇异值中有两个奇异值相等，第三个奇异值是0，对本质矩阵进行奇异值分解可得：

E＝U·diag(1，1，0)·V^T

在不考虑符号的情况下有两种可能的解：

S₁＝UZU^T，R₁＝UWV^T

S₂＝-UZU^T，R₁＝UW^TV^T

其中：

因此，外参矩阵有四种情况：P₁＝[R₁|S₁]，P₂＝[R₁|S₂]，P₃＝[[R₂|S₁]和P₄＝[R₂|S₂]；

步骤6.3：分别根据四种情况求出三维点坐标，深度为正的点数最多的那一组即为要求的外参矩阵。

本发明以序列图像中运动的标准球体作为同步相机的标定物，使用Daugman等圆检测算法自动地检测出球体的球心在图像中对应的2D像素坐标，得到球体的球心提供的多组2D对应点，然后根据2D对应点计算基础矩阵，本质矩阵和相机的投影矩阵，从而实现相机的标定。本发明的关键点在于使用球体作为标定物，具体以球体的球心为参考点，同时可以自由方便地变换球体在三维场景空间中的位置，使得球体的球心在多视图中提供的多组2D对应点能够更充分地表征拍摄场景所在的三维空间，从而提高基础矩阵求解的准确度，进而提升相机标定的精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于运动球体的同步相机的基础矩阵求解及标定方法，其特征在于，包括：

步骤1：在拍摄场景中固定多台相机，同步拍摄视频；

步骤2：离线或者在线标定相机的内参矩阵；

步骤3：采用多台相机同步拍摄单一的运动的球体，获得不同时刻的多组图像组；

步骤4：使用Daugman圆检测算法自动检测每组多张图像中的球体所呈圆形的圆心坐标，获得一组2D对应点，不同时刻的多组图像获得多组2D对应点；

步骤5：根据多组2D对应点计算满足对极约束的基础矩阵；

步骤6：结合相机的内参计算本质矩阵，再对本质矩阵分解得到两台相机的外参矩阵，并结合相机的内参矩阵计算得到相机的投影矩阵完成标定；

所述步骤4具体为：

步骤4.1：使用多台相机同步拍摄运动的球体，每一时刻获得一组包含该球体多张图像；

步骤4.2：使用Daugman圆检测算法，自动检测出球体在图像中所呈的圆形，并得到圆心的像素坐标或者亚像素坐标；

步骤4.3：便得到了球心这一3D点在多台相机的图像中分别对应的2D坐标，同一时刻多台相机的图像中的2D坐标构成一组2D对应点；

步骤4.4：利用一系列不同时刻的成组图像，获得多组2D对应点；

所述步骤5具体为：

步骤5.1：根据对极约束条件建立一组2D点对应的线性方程；

步骤5.2：通过多组2D点建立线性方程组，使用SVD分解求线性方程组的最小二乘解，得到基础矩阵；

所述步骤6具体为：

步骤6.1：结合相机内参和基础矩阵计算本质矩阵：

其中，K₁，K₂为多台相机中选取的两台相机的内参矩阵，F为基础矩阵，E为本质矩阵；

步骤6.2：对本质矩阵分解得到两台相机的外参矩阵；

本质矩阵的三个奇异值中有两个奇异值相等，第三个奇异值是0，对本质矩阵进行奇异值分解可得：

E＝U·diag(1，1，0)·V^T

在不考虑符号的情况下有两种可能的解：

S₁＝UZU^T，R₁＝UWV^T

S₂＝-UZU^T，R₁＝UW^TV^T

其中：

因此，外参矩阵有四种情况：P₁＝[R₁|S₁]，P₂＝[R₁|S₂]，P₃＝[[R₂|S₁]和P₄＝[R₂|S₂]；

步骤6.3：分别根据四种情况求出三维点坐标，深度为正的点数最多的那一组即为要求的外参矩阵。

2.如权利要求1所述的基于运动球体的同步相机的基础矩阵求解及标定方法，其特征在于，所述步骤3具体为：

步骤3.1：进行拍摄时先根据场地的大小、离相机的远近、焦距的长短选择球体的颜色及球体的尺寸；

步骤3.2：自由地控制球体的运动范围和运动方向，控制视频的帧率和运动速度之间的平衡关系。

3.如权利要求1所述的基于运动球体的同步相机的基础矩阵求解及标定方法，其特征在于，所述步骤5.1具体为：

步骤5.1.1：在两视图几何中，基础矩阵F表示一个图像中的点到其对极线的变换，设基础矩阵F是一个3×3的矩阵，有9个参数，8个自由度：

步骤5.1.2：在多台相机拍摄的每组图像中选取两张图像，令x是第一张图像上的2D对应点，l'是第二张图像上的对极线，则l'＝F·x；令x'是第二张图像上的2D对应点，由于x'在对极线l'上，所以获得对极约束表达式：

x'^T·F·x＝0

步骤5.1.3：设x的齐次坐标为其对应点x'的齐次坐标为将x、x'和基础矩阵F带入对极约束表达式并进行简化后获得如下表达式：

其中，f＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]^T。

4.如权利要求1所述的基于运动球体的同步相机的基础矩阵求解及标定方法，其特征在于，所述步骤5.2具体为：

通过一组图像中的两个2D对应点可以得到上述一个对极约束表达式，多组2D对应点在相差一个尺度因子的情况下得到一个唯一解，当2D对应点多于8组时，使用SVD分解求其最小二乘解，f的解就是系数矩阵最小奇异值对应的奇异向量，也就是A＝UDV^-1中矩阵V的最后一列矢量。