Глава 1. Система технического зрения
Основные понятия
Стереозрение – это способность воспринимать окружающий мир объемным, оценивать глубину пространства, расстояние до предметов и их взаимное расположение.
Система технического зрения (СТЗ или машинное зрение) — это технология, которая позволяет машинам "видеть" и понимать визуальные данные, подобно человеческому зрению, но с использованием компьютерных систем. Она включает в себя сбор, обработку и анализ изображений для автоматизации задач контроля качества, навигации, распознавания объектов и многого другого.
СТЗ состоит из двух камер и электронно-вычислительного модуля, который получает, обрабатывает, и, согласно данной пользователем задачи, принимает решения по анализу изображения.
Физический принцип работы камеры
Камера — это электронное устройство, которое позволяет «видеть» окружающий мир и преобразовывать изображение в цифровой сигнал, пригодный для обработки компьютером или роботом. В основе работы камеры лежат принципы геометрической оптики и фотоэлектрического эффекта.
Основные компоненты камеры:
Объектив;
Матрица;
Аналого-цифровой преобразователь (АЦП).
Процесс построения изображения в современной фото-видео технике описывается моделью идеальной камеры-обскуры или «pinhole» (англ. «маленькое отверстие»). Это простейшая модель построения изображения с помощью света. Принцип работы основан на прямолинейном распространении света. Каждый световой луч, отраженный от объекта, проходит через малое отверстие. При этом только один луч может пройти и попасть на экран. В результате на экране возникает перевернутое изображение.

Модель камеры-обскуры
Свет, отраженный от какой-либо точки A пространства проходит через бесконечно маленькое отверстие - принципиальную точку C и доходит до плоскости проекции - матрицы камеры, образуя на ней точку A**’. Таким образом, каждой точке пространства на плоскости проекции соответствует только одна проекционная точка. В современной технике вместо отверстия используется объектив с линзами. Однако физическая суть остаётся той же.
Рассмотрим принцип работы камеры на примере последовательного алгоритма на некотором отрезке времени.
Свет от окружающей среды, предметов отражается и попадает в объектив камеры. В свою очередь, объектив собирает свет, фокусирует его в одной точке – на плоскости изображения и формирует четкое изображение на матрицы камеры. Другим примером служит использования увеличительной лупы на солнце, когда с помощью подбора необходимого расстояния от лупы до поверхности – фокусного расстояния, удается собрать все лучи в точку.
Сенсор камеры - матрица, на поверхности которой собираются лучи, представляет собой плоский электронный элемент, состоящий из миллионов маленьких светочувствительных ячеек — пикселей. Каждый пиксель работает как миниатюрный датчик света. Когда свет – фотоны попадают на пиксель, то фотон «выбивает» электрон из полупроводника, образуя электрический ток. Яркость конечного изображения зависит от количества фотонов, а следовательно, и электрического тока.
Однако изображение с цифровых источников мы получаем в цветном формате. Для обеспечения данного эффекта, помимо параметра яркости, необходимо получать параметр интенсивности цвета. Фильтр Байера — это ключевой элемент в современных цифровых камерах, который позволяет получать цветное изображение матрицы. Его изобрел инженер Брайс Байер в 1974 году. В 1975 году, компания Kodak подала на патент, где Байер является единственным изобретателем и в 1976 он был получен. На сегодняшний день фильтр Байера используется в большинстве камер: от смартфонов до промышленных систем технического зрения. Это цветной фильтр, который располагается непосредственно над фотосенсором (матрицей), состоит из чередующихся цветных ячеек: красных (R), зелёных (G) и синих (B). Фильтр укладывается в мозаичный шаблон 2×2 пикселя. Пример продемонстрирован на рисунке.

Пример работы фильтра Байера
Каждая ячейка матрицы воспринимает только 1/3 часть спектра предметной точки и для получения остальных 2/3 цветов предметной точки участвуют две рядом расположенные ячейки, в каждой из которых находятся по 1/3 недостающего цвета. Т. е. получается, что в формировании цветного изображения каждой предметной точки участвуют три ячейки фотосенсора с потерями 2/3 цветового потока в каждой. 2/3 недостающих цветов рассчитываются процессором камеры на основании данных, полученных из соседних предметных точек объекта и соседних ячеек фотосенсора. В результате интерполяции по алгоритму дебайеризации формируются цвета с восстановленной цветовой яркостью. Фильтра зеленного цвета больше, так как человеческий глаз наиболее чувствителен к зелёному цвету, особенно при восприятии деталей и контрастов. Это повышает качество и резкость итогового изображения.
Это наиболее распространенный способ, однако он имеет некоторые недостатки:
Потеря детализации - каждый пиксель видит только один цвет, остальное интерполируется.
Шумы и артефакты - при неправильной дебайеризации возникают ошибки (цветовые искажения).
Неточное цветопередача - особенно в сложных текстурах и при плохом освещении.
В итоге электрический сигнал – данные с датчиков, попадают в блок аналого-цифрового преобразования (АЦП). Например, при значении 0 – пиксель черный, свет не попал, 255 – максимальная яркость. Далее все значения собирают и обрабатываются, на выходе получается цифровая матрица – изображение.
Обработка изображения. Стереокамера
Плоскость матрицы телекамеры называют «плоскостью изображения», для удобства, чтобы пространственная (т. А) и проекционная (т. А’) координаты точек имели один знак, точку А переносят на другую сторону от проекционной точки

Геометрическая модель телекамеры
oxy - двумерная система координат изображения с измерением в пикселях. OXYZ – пространственная СК, связанная с телекамерой, причем OZ называют оптической осью телекамеры.
– координаты проекции принципиальной точки C на плоскость изображения в пикселях.
Чтобы обеспечить переход из пространственной системы координат 3D с ед. изм. мм в системы координат изображения 2D с ед. изм. пикс. Используют подобие треугольников.
Величину фокусного расстояния при калибровке сразу ищут в пикселях.
Причем, в реальной телекамере матрица не может быть установлена с идеальной точностью, поэтому это не координаты середины изображения. Также пиксели матрицы могут быть не квадратными, поэтому для вычисления x y вводят два фокусных расстояния
В результате координаты точки проекции А’ и точки пространства А соотносятся следующим образом:
В матричной форме эти соотношения представляют так:
где M – матрица внутренней калибровки камеры. Если известны координаты изображения точки с одной телекамеры, то вычислить по ним пространственные координаты этой точки невозможно, так как неизвестно Z.
Чтобы определять пространственные координаты точек необходимо использовать две телекамеры.
Рассмотрим самый простой случай, когда телекамеры и их оптические оси расположены параллельно друг другу, плоскости их изображений совпадают, а оси OX лежат на одной прямой. Фокусные расстояния f известны и вычисляются при калибровке камер. Допустим, у нас есть идеальная пара изображений уже без искажений, выровненная и с известными смещениями точек. Точка P сцены проектируется на левое и правое изображение.

Вычисление расстояния до точки
Точки изображения имеют, соответственно, координаты . Расстояние Z до точки P обратно пропорционально разнице между координатами проекций этой точки на левом и правом изображениях. Из подобия треугольников △**P ~ △**P найдем отношения:
где T – расстояние между камерами (база), – фокусное расстояние левой телекамеры, - координаты проекций точки на левом изображении.
Так как расстояние до точек обратно пропорционально d, то при d близких к 0, значительно увеличивается ошибка вычислений, поэтому до геометрических расчетов допускаются точки, с относительно большим d (>5% ширины изображения, т. е. близкие точки).
В матричной форме получение пространственных координат точки по координатам ее проекции выглядит следующим образом:
SVCAM – модуль стереозрения
Модуль SVCAM – система технического зрения производства компании ООО «Прикладная робототехника», является сенсорным устройством для исследования окружающего пространства путем обработки и анализа изображения со встроенной видеокамерой. Представляет из себя установку, состоящую из двух камер для съемки и микрокомпьютера для обработки данных. Основная цель модуля SVCAM – это определение расстояния до объектов, т.е. видеть глубину. Устройство формирует объёмное (трёхмерное) изображение сцены — это основа зрения в роботах, дронах, автомобилях и системах безопасности.

SVCAM – модуль стереозрения
Характеристики модуля SVCAM:
| Наименование | Значение | Ед. изм. |
|---|---|---|
| Модуль стереозрения, представляющий собой модульное устройство на основе микрокомпьютера, периферийного контроллера и интегрированных модулей технического зрения | 1 | шт. |
| Модуль стереозрения обеспечивает формирование массива данных дальномера о расстоянии до ближайших поверхностей окружающих объектов, находящихся в диапазоне действия | Наличие | |
| Встроенный опциональный микрокомпьютер | Наличие | |
| Встроенный интерфейс WiFi и Bluetooth | Наличие | |
| Встроенный модуль технического зрения | 2 | шт. |
| Количество вычислительных процессорных ядер | 4 | шт. |
| Тактовая частота процессорного ядра | 1,2 | ГГц |
| Оперативная память | 512 | МБ |
| Интерфейс USB для настройки модуля технического зрения | 1 | шт. |
| Разрешение видеопотока, передаваемого по интерфейсу USB | 640x480 | пикселей |
| Угол обзора в горизонтальной плоскости | 70 | угловых градусов |
| Угол обзора в вертикальной плоскости | 45 | угловых градусов |
| Число градаций цветовой палитры | 65535 |
Изображение, полученное с камер после обработки, называется стереоскопическим, а модуль – стереокамерой. Модуль SVCAM предназначен для работы в образовательном направление совместно с робототехническими системами. Основные функции устройства – распознавать и анализировать объектов по ряду признаков: цвету, размеру, расстоянию и форме.
Распознавание по цвету происходит в спектре RGB, путем захвата волн, которые прошли через фильтр, путем интерполяции возникают и другие цветовые оттенки.

Модель RGB
В свою очередь, модуль SVCAM позволяет получать расстояние до объекта или глубину кадра.


Изображение со стереокамеры
Для этого используются алгоритмы, которые находят ключевые точки на изображениях, сделанных на каждой камере и при корректном совпадении массивов данных, находится глубина изображения


Алгоритмы поиска реперных точек
Для обработки данных с камер используется электронно-вычислительный модуль – NanoPi-AR. Он необходим для получения изображения глубины. Микрокомпьютер NanoPi-AR представляет собой встраиваемый одноплатный микрокомпьютер с размещенными на одной плате вычислительным процессором, оперативной памятью, блоком энергонезависимой памяти, а также набором беспроводных интерфейсов, таких как: Bluetooth и Wi-Fi. Микрокомпьютер NanoPi-AR является аналогом популярного микрокомпьютера NanoPi, производимого FriendlyArm, но выполненного с рядом улучшений и доработок. Производством микрокомпьютера NanoPi-AR занимается ООО «Прикладная робототехника». Причем, как его аппаратной частью, так и программной – для совместимости разрабатываемых решений компания также разрабатывает и поддерживает свою сборку операционной системы.


Микрокомпьютер NanoPi-AR
Технические характеристики микрокомпьютера:
Процессор: Allwinner H3, Quad-core Cortex-A7 Up to 1.2GHz.
Оперативная память: 512MB DDR3 RAM.
Встроенная энергонезависимая память: 8GB eMMC.
WiFi: 802.11b/g/n.
Bluetooth: 4 dual mode.
Интерфейс DVP камеры: 0.5mm pitch 24 pin FPC seat.
Интерфейс MicroUSB: OTG and power input.
Разъем для подключения MicroSD карты: 1 шт.
Отладочный последовательный порт: 4Pin,2.54mm pitch pin header.
Линии GPIO1: 2.54mm spacing 24pin,It includes UART,SPI,I2C,GPIO.
Линии GPIO2: 2.54mm spaceng 12pin,It includes USBx2,IR,SPDIF,I2S.
Габариты: 40 x 40 мм.
Количество слоев печатной платы: 6.
Требуемое питание: DC 5V/2A.
Диапазон рабочих температур: от -20 ⁰С до 70 ⁰С.
Поддержка ОС: u-boot, UbuntuCore, eflasher, YoctoBased Linux Kernel 5.16.
Docker

Docker – контейнеризация программного кода
В современном мире робототехники часто используют сложное программное обеспечение, которое работает на разных операционных системах, требует много библиотек и настроек. Настроить всё это вручную — долго и сложно. К тому же одна ошибка может привести к сбоям.
Именно поэтому инженеры и разработчики используют Docker — мощный программный инструмент, который позволяет запускать код в изолированных и готовых к работе контейнерах, не «ломая» основную систему.
Docker — это виртуальный «чемодан», в который можно сложить программу, например, ROS — систему управления роботом, все нужные библиотеки и драйверы, настройки среды: переменные, пути, зависимости, нужную операционную систему, например, Ubuntu Linux. Такой чемодан можно взять с собой, перенести на другой компьютер — и он будет работать одинаково везде, даже на Windows или macOS. Такой «чемодан» называется контейнером.
Docker состоит из нескольких глобальных параметров:
Образ (image) — это как шаблон. В нём лежит система, программа, библиотеки.
Контейнер (container) — это «запущенный образ», рабочая среда, в которой всё запускается.
Dockerfile — это файл с пошаговыми инструкциями для работы
В нашем случае понадобится Docker для работы с модулем SVCAM на разных системах, например, на одноплатных компьютерах или полноценных вычислительных машинах. Для этого на Docker Hub нашими разработчиками загружены образы с примерами работ с которыми мы ознакомимся далее.