Skip to content

Глава 1. Система технического зрения ​

Основные понятия ​

Стереозрение – это способность воспринимать окружающий мир объемным, оценивать глубину пространства, расстояние до предметов и их взаимное расположение.

Система технического зрения (СТЗ или машинное зрение) — это технология, которая позволяет машинам "видеть" и понимать визуальные данные, подобно человеческому зрению, но с использованием компьютерных систем. Она включает в себя сбор, обработку и анализ изображений для автоматизации задач контроля качества, навигации, распознавания объектов и многого другого.

СТЗ состоит из двух камер и электронно-вычислительного модуля, который получает, обрабатывает, и, согласно данной пользователем задачи, принимает решения по анализу изображения.

Физический принцип работы камеры ​

Камера — это электронное устройство, которое позволяет «видеть» окружающий мир и преобразовывать изображение в цифровой сигнал, пригодный для обработки компьютером или роботом. В основе работы камеры лежат принципы геометрической оптики и фотоэлектрического эффекта.

Основные компоненты камеры:

  1. Объектив;

  2. Матрица;

  3. Аналого-цифровой преобразователь (АЦП).

Процесс построения изображения в современной фото-видео технике описывается моделью идеальной камеры-обскуры или «pinhole» (англ. «маленькое отверстие»). Это простейшая модель построения изображения с помощью света. Принцип работы основан на прямолинейном распространении света. Каждый световой луч, отраженный от объекта, проходит через малое отверстие. При этом только один луч может пройти и попасть на экран. В результате на экране возникает перевернутое изображение.

image2

Модель камеры-обскуры

Свет, отраженный от какой-либо точки A пространства проходит через бесконечно маленькое отверстие - принципиальную точку C и доходит до плоскости проекции - матрицы камеры, образуя на ней точку A**’. Таким образом, каждой точке пространства на плоскости проекции соответствует только одна проекционная точка. В современной технике вместо отверстия используется объектив с линзами. Однако физическая суть остаётся той же.

Рассмотрим принцип работы камеры на примере последовательного алгоритма на некотором отрезке времени.

Свет от окружающей среды, предметов отражается и попадает в объектив камеры. В свою очередь, объектив собирает свет, фокусирует его в одной точке – на плоскости изображения и формирует четкое изображение на матрицы камеры. Другим примером служит использования увеличительной лупы на солнце, когда с помощью подбора необходимого расстояния от лупы до поверхности – фокусного расстояния, удается собрать все лучи в точку.

Сенсор камеры - матрица, на поверхности которой собираются лучи, представляет собой плоский электронный элемент, состоящий из миллионов маленьких светочувствительных ячеек — пикселей. Каждый пиксель работает как миниатюрный датчик света. Когда свет – фотоны попадают на пиксель, то фотон «выбивает» электрон из полупроводника, образуя электрический ток. Яркость конечного изображения зависит от количества фотонов, а следовательно, и электрического тока.

Однако изображение с цифровых источников мы получаем в цветном формате. Для обеспечения данного эффекта, помимо параметра яркости, необходимо получать параметр интенсивности цвета. Фильтр Байера — это ключевой элемент в современных цифровых камерах, который позволяет получать цветное изображение матрицы. Его изобрел инженер Брайс Байер в 1974 году. В 1975 году, компания Kodak подала на патент, где Байер является единственным изобретателем и в 1976 он был получен. На сегодняшний день фильтр Байера используется в большинстве камер: от смартфонов до промышленных систем технического зрения. Это цветной фильтр, который располагается непосредственно над фотосенсором (матрицей), состоит из чередующихся цветных ячеек: красных (R), зелёных (G) и синих (B). Фильтр укладывается в мозаичный шаблон 2×2 пикселя. Пример продемонстрирован на рисунке.

image3

Пример работы фильтра Байера

Каждая ячейка матрицы воспринимает только 1/3 часть спектра предметной точки и для получения остальных 2/3 цветов предметной точки участвуют две рядом расположенные ячейки, в каждой из которых находятся по 1/3 недостающего цвета. Т. е. получается, что в формировании цветного изображения каждой предметной точки участвуют три ячейки фотосенсора с потерями 2/3 цветового потока в каждой. 2/3 недостающих цветов рассчитываются процессором камеры на основании данных, полученных из соседних предметных точек объекта и соседних ячеек фотосенсора. В результате интерполяции по алгоритму дебайеризации формируются цвета с восстановленной цветовой яркостью. Фильтра зеленного цвета больше, так как человеческий глаз наиболее чувствителен к зелёному цвету, особенно при восприятии деталей и контрастов. Это повышает качество и резкость итогового изображения.

Это наиболее распространенный способ, однако он имеет некоторые недостатки:

Потеря детализации - каждый пиксель видит только один цвет, остальное интерполируется.

Шумы и артефакты - при неправильной дебайеризации возникают ошибки (цветовые искажения).

Неточное цветопередача - особенно в сложных текстурах и при плохом освещении.

В итоге электрический сигнал – данные с датчиков, попадают в блок аналого-цифрового преобразования (АЦП). Например, при значении 0 – пиксель черный, свет не попал, 255 – максимальная яркость. Далее все значения собирают и обрабатываются, на выходе получается цифровая матрица – изображение.

Обработка изображения. Стереокамера ​

Плоскость матрицы телекамеры называют «плоскостью изображения», для удобства, чтобы пространственная (т. А) и проекционная (т. А’) координаты точек имели один знак, точку А переносят на другую сторону от проекционной точки

image4

Геометрическая модель телекамеры

oxy - двумерная система координат изображения с измерением в пикселях. OXYZ – пространственная СК, связанная с телекамерой, причем OZ называют оптической осью телекамеры.

– координаты проекции принципиальной точки C на плоскость изображения в пикселях.

Чтобы обеспечить переход из пространственной системы координат 3D с ед. изм. мм в системы координат изображения 2D с ед. изм. пикс. Используют подобие треугольников.

Величину фокусного расстояния при калибровке сразу ищут в пикселях.

Причем, в реальной телекамере матрица не может быть установлена с идеальной точностью, поэтому это не координаты середины изображения. Также пиксели матрицы могут быть не квадратными, поэтому для вычисления x y вводят два фокусных расстояния

В результате координаты точки проекции А’ и точки пространства А соотносятся следующим образом:

В матричной форме эти соотношения представляют так:

где M – матрица внутренней калибровки камеры. Если известны координаты изображения точки с одной телекамеры, то вычислить по ним пространственные координаты этой точки невозможно, так как неизвестно Z.

Чтобы определять пространственные координаты точек необходимо использовать две телекамеры.

Рассмотрим самый простой случай, когда телекамеры и их оптические оси расположены параллельно друг другу, плоскости их изображений совпадают, а оси OX лежат на одной прямой. Фокусные расстояния f известны и вычисляются при калибровке камер. Допустим, у нас есть идеальная пара изображений уже без искажений, выровненная и с известными смещениями точек. Точка P сцены проектируется на левое и правое изображение.

image5

Вычисление расстояния до точки

Точки изображения имеют, соответственно, координаты . Расстояние Z до точки P обратно пропорционально разнице между координатами проекций этой точки на левом и правом изображениях. Из подобия треугольников △**P ~ △**P найдем отношения:

где T – расстояние между камерами (база), – фокусное расстояние левой телекамеры, - координаты проекций точки на левом изображении.

Так как расстояние до точек обратно пропорционально d, то при d близких к 0, значительно увеличивается ошибка вычислений, поэтому до геометрических расчетов допускаются точки, с относительно большим d (>5% ширины изображения, т. е. близкие точки).

В матричной форме получение пространственных координат точки по координатам ее проекции выглядит следующим образом:

SVCAM – модуль стереозрения ​

Модуль SVCAM – система технического зрения производства компании ООО «Прикладная робототехника», является сенсорным устройством для исследования окружающего пространства путем обработки и анализа изображения со встроенной видеокамерой. Представляет из себя установку, состоящую из двух камер для съемки и микрокомпьютера для обработки данных. Основная цель модуля SVCAM – это определение расстояния до объектов, т.е. видеть глубину. Устройство формирует объёмное (трёхмерное) изображение сцены — это основа зрения в роботах, дронах, автомобилях и системах безопасности.

image1

SVCAM – модуль стереозрения

Характеристики модуля SVCAM:

НаименованиеЗначениеЕд. изм.
Модуль стереозрения, представляющий собой модульное устройство на основе микрокомпьютера, периферийного контроллера и интегрированных модулей технического зрения1шт.
Модуль стереозрения обеспечивает формирование массива данных дальномера о расстоянии до ближайших поверхностей окружающих объектов, находящихся в диапазоне действияНаличие
Встроенный опциональный микрокомпьютерНаличие
Встроенный интерфейс WiFi и BluetoothНаличие
Встроенный модуль технического зрения2шт.
Количество вычислительных процессорных ядер4шт.
Тактовая частота процессорного ядра1,2ГГц
Оперативная память512МБ
Интерфейс USB для настройки модуля технического зрения1шт.
Разрешение видеопотока, передаваемого по интерфейсу USB640x480пикселей
Угол обзора в горизонтальной плоскости70угловых градусов
Угол обзора в вертикальной плоскости45угловых градусов
Число градаций цветовой палитры65535

Изображение, полученное с камер после обработки, называется стереоскопическим, а модуль – стереокамерой. Модуль SVCAM предназначен для работы в образовательном направление совместно с робототехническими системами. Основные функции устройства – распознавать и анализировать объектов по ряду признаков: цвету, размеру, расстоянию и форме.

Распознавание по цвету происходит в спектре RGB, путем захвата волн, которые прошли через фильтр, путем интерполяции возникают и другие цветовые оттенки.

image6

Модель RGB

В свою очередь, модуль SVCAM позволяет получать расстояние до объекта или глубину кадра.

image7image8

Изображение со стереокамеры

Для этого используются алгоритмы, которые находят ключевые точки на изображениях, сделанных на каждой камере и при корректном совпадении массивов данных, находится глубина изображения

image9

image9

Алгоритмы поиска реперных точек

Для обработки данных с камер используется электронно-вычислительный модуль – NanoPi-AR. Он необходим для получения изображения глубины. Микрокомпьютер NanoPi-AR представляет собой встраиваемый одноплатный микрокомпьютер с размещенными на одной плате вычислительным процессором, оперативной памятью, блоком энергонезависимой памяти, а также набором беспроводных интерфейсов, таких как: Bluetooth и Wi-Fi. Микрокомпьютер NanoPi-AR является аналогом популярного микрокомпьютера NanoPi, производимого FriendlyArm, но выполненного с рядом улучшений и доработок. Производством микрокомпьютера NanoPi-AR занимается ООО «Прикладная робототехника». Причем, как его аппаратной частью, так и программной – для совместимости разрабатываемых решений компания также разрабатывает и поддерживает свою сборку операционной системы.

image10image11

Микрокомпьютер NanoPi-AR

Технические характеристики микрокомпьютера:

Процессор: Allwinner H3, Quad-core Cortex-A7 Up to 1.2GHz.

Оперативная память: 512MB DDR3 RAM.

Встроенная энергонезависимая память: 8GB eMMC.

WiFi: 802.11b/g/n.

Bluetooth: 4 dual mode.

Интерфейс DVP камеры: 0.5mm pitch 24 pin FPC seat.

Интерфейс MicroUSB: OTG and power input.

Разъем для подключения MicroSD карты: 1 шт.

Отладочный последовательный порт: 4Pin,2.54mm pitch pin header.

Линии GPIO1: 2.54mm spacing 24pin,It includes UART,SPI,I2C,GPIO.

Линии GPIO2: 2.54mm spaceng 12pin,It includes USBx2,IR,SPDIF,I2S.

Габариты: 40 x 40 мм.

Количество слоев печатной платы: 6.

Требуемое питание: DC 5V/2A.

Диапазон рабочих температур: от -20 ⁰С до 70 ⁰С.

Поддержка ОС: u-boot, UbuntuCore, eflasher, YoctoBased Linux Kernel 5.16.

Docker ​

image12

Docker – контейнеризация программного кода

В современном мире робототехники часто используют сложное программное обеспечение, которое работает на разных операционных системах, требует много библиотек и настроек. Настроить всё это вручную — долго и сложно. К тому же одна ошибка может привести к сбоям.

Именно поэтому инженеры и разработчики используют Docker — мощный программный инструмент, который позволяет запускать код в изолированных и готовых к работе контейнерах, не «ломая» основную систему.

Docker — это виртуальный «чемодан», в который можно сложить программу, например, ROS — систему управления роботом, все нужные библиотеки и драйверы, настройки среды: переменные, пути, зависимости, нужную операционную систему, например, Ubuntu Linux. Такой чемодан можно взять с собой, перенести на другой компьютер — и он будет работать одинаково везде, даже на Windows или macOS. Такой «чемодан» называется контейнером.

Docker состоит из нескольких глобальных параметров:

Образ (image) — это как шаблон. В нём лежит система, программа, библиотеки.

Контейнер (container) — это «запущенный образ», рабочая среда, в которой всё запускается.

Dockerfile — это файл с пошаговыми инструкциями для работы

В нашем случае понадобится Docker для работы с модулем SVCAM на разных системах, например, на одноплатных компьютерах или полноценных вычислительных машинах. Для этого на Docker Hub нашими разработчиками загружены образы с примерами работ с которыми мы ознакомимся далее.