Глава 3. Обработка изображения. Стереокамера

Плоскость матрицы телекамеры называют «плоскостью изображения», для удобства, чтобы пространственная (т. А) и проекционная (т. А’) координаты точек имели один знак, точку А переносят на другую сторону от проекционной точки (рис.2)

Рис.2 Геометрическая модель телекамеры

oxy - двумерная система координат изображения с измерением в пикселях. OXYZ – пространственная СК, связанная с телекамерой, причем OZ называют оптической осью телекамеры.

$‘C_x,C_y‘$ – координаты проекции принципиальной точки C на плоскость изображения в пикселях.

Чтобы обеспечить переход из пространственной системы координат 3D с ед. изм. мм в системы координат изображения 2D с ед. изм. пикс. Используют подобие треугольников.

$$x=f\frac{X}{Z},y=f\frac{Y}{Z}$$

Величину фокусного расстояния при калибровке сразу ищут в пикселях.

Причем, в реальной телекамере матрица не может быть установлена с идеальной точностью, поэтому $‘C_xиC_y‘$ это не координаты середины изображения. Также пиксели матрицы могут быть не квадратными, поэтому для вычисления x y вводят два фокусных расстояния $‘f_xиf_y‘$

В результате координаты точки проекции А’ и точки пространства А соотносятся следующим образом:

$$-x=f_x\frac{X}{Z}+c_x,-y=f_y\frac{Y}{Z}+c_y$$

В матричной форме эти соотношения представляют так:

$$A^{\prime }=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right),M=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right),A=\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right),тогдаA^{\prime }=\frac{1}{Z}MA,$$

где M – матрица внутренней калибровки камеры. Если известны координаты изображения точки с одной телекамеры, то вычислить по ним пространственные координаты этой точки невозможно, так как неизвестно Z.

Чтобы определять пространственные координаты точек необходимо использовать две телекамеры.

Рассмотрим самый простой случай, когда телекамеры и их оптические оси расположены параллельно друг другу, плоскости их изображений совпадают, а оси OX лежат на одной прямой. Фокусные расстояния f известны и вычисляются при калибровке камер. Допустим, у нас есть идеальная пара изображений уже без искажений, выровненная и с известными смещениями точек. Точка P сцены проектируется на левое и правое изображение (рис. 3).

Рис.3 Вычисление расстояния до точки

Точки изображения имеют, соответственно, координаты $‘x_lиx_r‘$. Расстояние Z до точки P обратно пропорционально разнице между координатами проекций этой точки на левом и правом изображениях. Из подобия треугольников △$‘O_l‘$P$‘O_r‘$~ △$‘x_l‘$P$‘x_r‘$ найдем отношения:

$$\frac{T}{Z}=\frac{T((x^l-c_x^l)-(x^r-c_x^r))}{Z-f}$$$$Z=\frac{Tf}{(x^l-c_x^l)-(x^r-c_x^r)}$$$$Z=\frac{Tf}{d-(c_x^l-c_x^r)}$$

где T – расстояние между камерами (база), $‘f=f_x‘$– фокусное расстояние левой телекамеры, $‘x^l‘$ - координаты проекций точки на левом изображении.

Так как расстояние до точек обратно пропорционально d, то при d близких к 0, значительно увеличивается ошибка вычислений, поэтому до геометрических расчетов допускаются точки, с относительно большим d (>5% ширины изображения, т. е. близкие точки).

В матричной форме получение пространственных координат точки по координатам ее проекции выглядит следующим образом:

$$Q\left(\begin{array}{c}{x}^l\\ y^l\\ \begin{array}{c}d\\ 1\end{array}\end{array}\right)=\left(\begin{array}{c}{X}_w\\ Y_w\\ \begin{array}{c}{Z}_w\\ W\end{array}\end{array}\right),\{\begin{array}{r}X=X_w/W\\ Y=Y_w/W\\ Z=Z_w/W\end{array}$$

,где

$$Q=\left(\begin{array}{ccc}1& 0& \begin{array}{cc}0& c_x^l\end{array}\\ 0& 1& \begin{array}{cc}0& -\end{array}{c}_y^l\\ \begin{array}{c}0\\ 0\end{array}& \begin{array}{c}0\\ 0\end{array}& \begin{array}{cc}\begin{array}{c}0\\ -\frac{1}{T}\end{array}& \begin{array}{c}f\\ \frac{c_x^l{-c}_x^r}{T}\end{array}\end{array}\end{array}\right)$$