0 背景
本文用于记录小孔相机成像的数学模型推导，并讨论特定条件下两个相机之间看到图像的变换关系。
1 小孔成像模型
小孔成像模型如上图所示。物理世界发光点P，经过小孔O投影到物理成像平面，形成像点I’。
简易起见，构造虚拟成像平面，虚拟成像平面与物理成像平面关于O原点对称。
像点I’在虚拟成像平面对应的点为I。
为虚拟像平面建立坐标系u-v。
相机坐标系z轴垂直指向虚拟相平面，x轴与u轴同向，y轴与v轴同向。
P与I之间满足关系 O I ⃗ = λ ⋅ O P ⃗ \vec{OI} = \lambda \cdot \vec{OP} OI=λ⋅OP。再设I的x,y坐标与u,v坐标满足关系：
[ I x I y I z ] = [ s u 0 δ u 0 s v δ v 0 0 I z ] ⋅ [ I u I v 1 ] \begin{bmatrix} I_{x} \\ I_{y} \\ I_{z} \end{bmatrix} = \begin{bmatrix} s_{u} & 0 & \delta u \\ 0 & s_{v} & \delta v \\ 0 & 0 & I_{z} \end{bmatrix} \cdot \begin{bmatrix} I_{u} \\ I_{v} \\ 1 \end{bmatrix} IxIyIz = su000sv0δuδvIz ⋅ IuIv1
用I点像坐标表示 O I ⃗ \vec{OI} OI，带入 O I ⃗ = λ ⋅ O P ⃗ \vec{OI} = \lambda \cdot \vec{OP} OI=λ⋅OP，基于第三维求得 λ \lambda λ，等式两边同时除以常量 I z I_{z} Iz，得到小孔成像模型的数学表达。
[ f u 0 b u 0 f v b v 0 0 1 ] ⋅ [ I u I v 1 ] = 1 I z ⋅ [ I x I y I z ] = 1 P z ⋅ [ P x P y P z ] \begin{bmatrix} f_{u} & 0 & b_{u} \\ 0 & f_{v} & b_{v} \\ 0 & 0 & 1 \end{bmatrix} \cdot \begin{bmatrix} I_{u} \\ I_{v} \\ 1 \end{bmatrix} = \frac{1}{I_{z}} \cdot \begin{bmatrix} I_{x} \\ I_{y} \\ I_{z} \end{bmatrix} = \frac{1}{P_{z}} \cdot \begin{bmatrix} P_{x} \\ P_{y} \\ P_{z} \end{bmatrix} fu000fv0bubv1 ⋅ IuIv1 =Iz1⋅ IxIyIz =Pz1⋅ PxPyPz
简记为下式。其中 M M M 为包含 f u , b u , f v , b v f_{u}, b_{u}, f_{v}, b_{v} fu,bu,fv,bv 的 3 × 3 3 \times 3 3×3 矩阵。 I ⃗ \vec{I} I 为点 I I I 在虚拟成像平面上的齐次坐标向量。
M ⋅ I ⃗ = P ⃗ / P z M \cdot \vec{I} = \vec{P} / P_{z} M⋅I=P/Pz
再引入世界坐标系与相机坐标系的相对关系，设相机坐标系在世界坐标系下的旋转矩阵与平移向量为 R R R, T T T，则小孔成像模型变形为
M ⋅ I ⃗ = ( R ⋅ P ⃗ + T ) / P z c M \cdot \vec{I} = (R \cdot \vec{P} + T) / P^{c}_{z} M⋅I=(R⋅P+T)/Pzc
其中， P z c P^{c}_{z} Pzc 仍为 P P P点在相机坐标系下在z轴分量。
相应的，当已知像点坐标，对应物点坐标满足方程
P ⃗ = P z c ⋅ R T M I ⃗ − R T T , P z c > 0 \vec{P} = P^{c}_{z} \cdot R^{T} M \vec{I} - R^{T}T, P^{c}_{z} > 0 P=Pzc⋅RTMI−RTT,Pzc>0
可见，已知像点坐标，可行物点坐标构成了以相机坐标系原点为起始点，与 O I ⃗ \vec{OI} OI同向的射线。
2 物点在已知平面条件下的像点物点关系讨论
当已知物点在特定平面下，不是一般性地，假设物点在世界坐标系XOY平面中，即物点Z分量为0。此时，特化的小孔成像模型写为
M ⋅ I ⃗ = 1 P z c ⋅ [ r 1 r 2 T ] ⋅ [ X Y 1 ] = 1 P z c ⋅ G ⋅ [ X Y 1 ] M \cdot \vec{I} = \frac{1}{P^{c}_{z}} \cdot \begin{bmatrix} r_{1} & r_{2} & T \end{bmatrix} \cdot \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \frac{1}{P^{c}_{z}} \cdot G \cdot \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} M⋅I=Pzc1⋅[r1r2T]⋅ XY1 =Pzc1⋅G⋅ XY1
其中， r 1 r_{1} r1与 r 2 r_{2} r2分别为矩阵 R R R的第1,2列。此时根据像点坐标求解物点坐标方法为
[ X Y 1 ] = P z c ⋅ G − 1 M I ⃗ \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = P^{c}_{z} \cdot G^{-1} M \vec{I} XY1 =Pzc⋅G−1MI
这种特殊条件下，如果考虑两个相机模型，对同一物点P，两个像点坐标之间存在关系
[ I u 2 I v 2 1 ] = P z c 1 P z c 2 ⋅ M 2 − 1 G 2 G 1 − 1 M 1 ⋅ [ I u 1 I v 1 1 ] \begin{bmatrix} I^{2}_{u} \\ I^{2}_{v} \\ 1 \end{bmatrix} = \frac{P^{c1}_{z}}{P^{c2}_{z}} \cdot M^{-1}_{2} G_{2} G^{-1}_{1} M_{1} \cdot \begin{bmatrix} I^{1}_{u} \\ I^{1}_{v} \\ 1 \end{bmatrix} Iu2Iv21 =Pzc2Pzc1⋅M2−1G2G1−1M1⋅ Iu1Iv11
简记为
[ I u 2 I v 2 1 ] = P z c 1 P z c 2 ⋅ H ⋅ [ I u 1 I v 1 1 ] \begin{bmatrix} I^{2}_{u} \\ I^{2}_{v} \\ 1 \end{bmatrix} = \frac{P^{c1}_{z}}{P^{c2}_{z}} \cdot H \cdot \begin{bmatrix} I^{1}_{u} \\ I^{1}_{v} \\ 1 \end{bmatrix} Iu2Iv21 =Pzc2Pzc1⋅H⋅ Iu1Iv11
考虑第三维分量，可以求得系数项 P z c 1 / P z c 2 P^{c1}_{z}/P^{c2}_{z} Pzc1/Pzc2，整理为以下公式
[ t 1 t 2 t 3 ] = H ⋅ [ I u 1 I v 1 1 ] [ I u 2 I v 2 1 ] = 1 t 3 ⋅ [ t 1 t 2 t 3 ] \begin{bmatrix} t_{1} \\ t_{2} \\ t_{3} \end{bmatrix} = H \cdot \begin{bmatrix} I^{1}_{u} \\ I^{1}_{v} \\ 1 \end{bmatrix} \\ \begin{bmatrix} I^{2}_{u} \\ I^{2}_{v} \\ 1 \end{bmatrix} = \frac{1}{t_{3}} \cdot \begin{bmatrix} t_{1} \\ t_{2} \\ t_{3} \end{bmatrix} t1t2t3 =H⋅ Iu1Iv11 Iu2Iv21 =t31⋅ t1t2t3
综上所述，当已知物点P在世界坐标系XOY平面上时，两个相机下物点P的像点坐标之间满足透视变换关系，这个关系由透视变换矩阵 H H H唯一确定。
3 H H H矩阵的标定
本节讨论2描述的特殊条件下， H H H矩阵的求解问题。将 H H H写作
H = [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 ] H = \begin{bmatrix} h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} & h_{32} & h_{33} \end{bmatrix} H= h11h21h31h12h22h32h13h23h33
给定一组 { ( I u 1 , I v 1 ) , ( I u 2 , I v 2 ) } \{(I^{1}_{u}, I^{1}_{v}),(I^{2}_{u},I^{2}_{v})\} {(Iu1,Iv1),(Iu2,Iv2)}坐标对，则对任一对坐标对，求解的 H H H应满足约束
[ I u 2 I v 2 1 ] = 1 h 31 I u 1 + h 32 I v 1 + h 33 ⋅ H ⋅ [ I u 1 I v 1 1 ] \begin{bmatrix} I^{2}_{u} \\ I^{2}_{v} \\ 1 \end{bmatrix} = \frac{1}{h_{31}I^{1}_{u}+h_{32}I^{1}_{v}+h_{33}} \cdot H \cdot \begin{bmatrix} I^{1}_{u} \\ I^{1}_{v} \\ 1 \end{bmatrix} Iu2Iv21 =h31Iu1+h32Iv1+h331⋅H⋅ Iu1Iv11
设 H 0 H_{0} H0满足上述约束，容易验证，任意 H = s ⋅ H 0 , s ≠ 0 H = s \cdot H_{0}, s \neq 0 H=s⋅H0,s=0均满足上述约束。
即满足约束的 H H H有无穷多个，它们之间只差一个缩放系数。而我们只需要求解一个即可。
简单起见，取 h 33 = 1 h_{33}=1 h33=1。则对于一个点对，我们有方程
[ I u 1 I v 1 1 0 0 0 − I u 2 I u 1 − I u 2 I v 1 − I u 2 0 0 0 I u 1 I v 1 1 − I v 2 I u 1 − I v 2 I v 1 − I u v ] ⋅ [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 ] = 0 ⃗ \begin{bmatrix} I^{1}_{u} & I^{1}_{v} & 1 & 0 & 0 & 0 & -I^{2}_{u}I^{1}_{u} & -I^{2}_{u}I^{1}_{v} & -I^{2}_{u} \\ 0 & 0 & 0 & I^{1}_{u} & I^{1}_{v} & 1 & -I^{2}_{v}I^{1}_{u} & -I^{2}_{v}I^{1}_{v} & -I^{v}_{u} \end{bmatrix} \cdot \begin{bmatrix} h_{11} \\ h_{12} \\ h_{13} \\ h_{21} \\ h_{22} \\ h_{23} \\ h_{31} \\ h_{32} \\ 1 \\ \end{bmatrix} = \vec{0} [Iu10Iv10100Iu10Iv101−Iu2Iu1−Iv2Iu1−Iu2Iv1−Iv2Iv1−Iu2−Iuv]⋅ h11h12h13h21h22h23h31h321 =0
可见一个点对提供了关于 H H H元素的两个线性方程。
最少4个点对，即可求解得到 H H H。
