四点共面 SfM
四点是图中的C1, C2, P1,P2, 这个是按已知的点理解P是按未知点理解就不放到“四点-五点”的范畴了。这个核心的数学是 四点共面一般数学是讲 2线共面前3个点确定一个平面第4个点是 待定的游走的 可以有多个选择源的 如果第4个既满足 与前3个点共面 又满足 一些特殊性第4点就也 确定下来变成 一个特殊点这4个点组合一下可以定义几个 epipolar geometry 对极几何的术语概念。共面点在下面的哪里表示出来了这里的 红色曲线是理解什么产生什么的逻辑顺序但 术语 { 一点一面二孔三线四点 }{Pepipolar plane 2 eipole baseline 2 epipolar line又称 epiline 是核心术语 p1,p2, C1, C2 }SfM 倒是没有直接使用 某4点 来共面 4点共面太公理化3点共面稍微接近SfM但还是没直接应用这个公理。SfM本质 还是用 { P-C1-C2 } P退化到P1来代替成了 { P1-C1-C2 }这样派生的 “3点共面“基础P1-C1-C2 的3点中的C1C2并不是已知这正是待解的相机内外参数相机是黑盒子假设知道 C1-C2又有最方便的P1这样一个等价的3点思路求 游走的第4点 P2。如果初始随便估计几个 黑盒子的内部参数再找证据来验证 估计得到输出与目标输出匹配黑盒子参数得到修正与NN思路还是一样的无论如何上面的点线 面都是真实世界坐标 3D 空间的定义没涉及到图像2D坐标空间或相机坐标空间。说的还是 相机换位置这件事。First Principles of Computer Vision Columbia University Shree K. Nayar 说得比较清楚。未知的有 Fundamental矩阵Essential矩阵,数学上的进化顺序是F -- E, F比E更核心 因为F有 内 外参数E只是外参数。 外参数 是 现实的3D点 -现实的3D点 变换 内参数是 现实3D点-相机2D点变换。但现实进化是先出现 E1981的 H. Christopher Longuet-HigginsE好理解 E还是真实3D的范畴。F后出现于1990后。有关F的先有2个图像的keypoint 配对 match算一种 pixel构建多维特征后的匹配。匹配还是 可以理解为处于2D层次上处理信息的概念 后面的 求F算 从3D层次上处理信息这里有关思维的跳跃 F是对 p1 变换到 第2条epipline约等于 e2p2 线照理求F是求一个反函数但使用的 配对好的 (p1, p2) 们将F参数化融合与p1,p2集合中F是矩阵的理解 与 参数化的F 有个跳跃。上图是 E的推导流程图最后的方程内部四项 只剩前2项后2项 是自己对自己叉积0剩下是 E 矩阵的全部表达。但这些变量 具体的值是涉及 站在不同坐标系里看的左点 是多少右是多少补充$C_1$ $C_2$ $e_1$ $e_2$ $p_1$$p_2$, $P$. 七点分析按已知未知角度计算过程立体视觉的2个场景Calibration/Pose Estimation:$P$ is unknown, but we have many matched points ($p_1 \leftrightarrow p_2$). We want to find the relationship between $C_1$ and $C_2$ (the Essential/Fundamental matrix).Triangulation:The poses ($C_1, C_2$) are known. We want to find the 3D position of $P$ using $p_1$ and $p_2$.Point/EntityStatus (Input/Output)$p_1, p_2$Input:图像的坐标值 (像素值).$C_1, C_2$Semi-Known:Either calibrated (fixed) or estimated from matches.$e_1, e_2$Derived:Functions of camera matrices $P_1, P_2$.$P$Output:恢复出的3维坐标核心数学homogenous coordinates 下的 $p_1$$p_2$中间是Fundamental Matrix $F$$F$封装了encapsulates相机的$C_1, C_2$ 相对旋转平移给定$F$, 计算$e_1, e_2$ 说法是 The epipoles are the null spaces of $F$. They represent the projection of one camera center into the other.$e_1$: The point such that(the epipole in image 1).$e_2$: The point such that(the epipole in image 2).三角化Triangulation 已知后求已知相机的projection matrices () 是two rays的交点射线的相交有干扰交线依靠Direct Linear Transformation (DLT)求。实际操作是建系统和SVD分解求总结MethodKnownsUnknownMath Approach8-Point AlgorithmMatches ($p_1, p_2$)$F$Minimize $p_2^T F p_1$ using SVD.$F$ $p_1$$l_2 $$l_2 F p_1$Triangulation$M_1, M_2, p_1, p_2$$P$Linear intersection of rays via SVD.Epipole Extraction$F$$e_1, e_2$Null space calculation: $Fe_1 0$.
