Skip to content

Совместная работа модуля технического зрения TrackingCam v3 с набором “Кибернетик” ​

Введение ​

Модуль технического зрения TrackingCam v3 предназначен для анализа изображения и распознавания объектов. Его можно использовать для обнаружения цветных объектов, отслеживания их положения, а также для работы с ArUco-метками. Ниже показан внешний вид камеры.

image1

Внешний вид камеры

Модуль технического зрения представляет собой единое устройство: вычислительный модуль — микропроцессор с блоками оперативной и энергонезависимой памяти, размещёнными на одной плате с микропроцессором, интегрированной фоточувствительной матрицей и объективом. TrackingCam v3 поставляется с уже загруженным образом операционной системы Linux. Модуль иногда стоит обновлять, а в случае поломки системы — переустанавливать образ.

Основное подключение модуля происходит с помощью USB-кабеля, но есть и возможность подключения по беспроводному интерфейсу Wi-Fi. Модуль может выступать как в качестве источника Wi-Fi (точки доступа), так и в качестве клиента, подключаясь к уже существующей Wi-Fi-сети.

image2

Разъёмы и элементы TrackingCam v3

Расположение элементов модуля камеры (фронтальная сторона):

  • объектив модуля TrackingCam v3 — фокусное расстояние настраивается вращением объектива по часовой и против часовой стрелки (1);

  • разъём для SD-карты (2);

  • кнопка reset (3).

Расположение элементов камеры (тыльная сторона):

  • 3-контактные DXL-порты — используются для подключения контроллера в цепь как Dynamixel-совместимого устройства, а также могут служить для питания модуля TrackingCam v3 (4);

  • порт USB-mini для подключения TrackingCam v3 к компьютеру — может использоваться и для подачи питания (5);

  • GPIO-порты «мама» с выводами для подключения внешних периферийных устройств и плат расширения (6);

  • антенна для подключения TrackingCam v3 к Wi-Fi-сети (7).

Подробно о том, как настраивать камеру, рассказано в учебном пособии «Модуль технического зрения TrackingCam v3».

Лабораторная работа 1. «Работа с модулем TrackingCam v3» ​

Ссылка на пример ​

Цель работы ​

Изучить принцип работы модуля технического зрения TrackingCam v3, освоить подключение и настройку модуля для распознавания объектов, приобрести навыки программирования реакции микроконтроллера на визуальную информацию от камеры.

Необходимое оборудование ​

  • модуль TrackingCam v3;

  • программируемый контроллер ЭДУино;

  • провод DXL.

Теоретическая часть ​

Для создания кода в этой лабораторной работе используются библиотеки TrackingCamDxl2.h и DxlMaster2.h — они нужны для работы с модулем машинного зрения по протоколу Dynamixel. Библиотеку TrackingCamDxl2.h можно скачать на сайте, а библиотеку DxlMaster2.h.

Протокол Dynamixel используется для связи между микроконтроллером и модулем. Это последовательный протокол, позволяющий передавать команды и получать данные с высокой скоростью — до 1 Мбит/с. Библиотека TrackingCamDxl2 предоставляет удобный интерфейс для чтения информации об обнаруженных объектах, а DxlMaster2 отвечает за физическую передачу данных по протоколу.

В этой работе модуль настраивается на распознавание объектов типа 1 (определённый цвет). Информация о том, находится объект справа или слева от камеры, используется для управления встроенным светодиодом на пине 13.

Схема подключения ​

Провод DXL подключаем одним концом в разъём на плате ЭДУино, а другим — в разъём на модуле TrackingCam v3.

image3

Схема подключения

Практическая часть ​

В этой лабораторной работе нужно разработать программу для работы с модулем TrackingCam v3, которая будет считывать информацию об объекте и управлять светодиодом в зависимости от его обнаружения.

Перед работой настроим модуль: зададим ему ID, Baud Rate, протокол и режим распознавания цветных объектов.

image4

Настройка камеры

Также в веб-интерфейсе нужно настроить камеру на обнаружение двух типов объектов. Первый можно настроить произвольно — он нам не понадобится. А второй объект — целевой: это нужно для того, чтобы обнаружение объекта происходило по типу. Объект считается обнаруженным, если его тип равен 1. Настроить только один объект нельзя, потому что его тип тогда будет равен 0, а камера по умолчанию всегда отправляет тип объекта 0 — то есть объект будет как будто обнаружен всегда.

Пояснение к программе ​

В начале программы подключаются библиотеки TrackingCamDxl2.h и DxlMaster2.h. Библиотека TrackingCamDxl2 предоставляет функции для работы с модулем TrackingCam v3, а DxlMaster2 обеспечивает связь по протоколу Dynamixel. Создаётся объект tc3 для управления модулем с идентификатором 51 и протоколом 1. Объявляется переменная type для хранения типа объекта.

В функции setup() пин 13 настраивается на выход — это встроенный светодиод на плате ЭДУино. Затем инициализируется шина Dynamixel с помощью DxlMaster.begin(57600), где 57600 — скорость передачи данных.

В основном цикле loop() вызывается функция tc3.readBlobs(2), которая считывает информацию о найденных объектах (аргумент 2 — количество объектов для чтения). Тип первого обнаруженного объекта сохраняется в переменную type. Если тип объекта равен 1, светодиод на пине 13 включается, иначе выключается. Задержка 120 мс обеспечивает стабильность работы и предотвращает слишком частые переключения.

Рабочая программа ​

cpp
#include "TrackingCamDxl2.h"
#include "DxlMaster2.h"

TrackingCamDxl2 tc3(1, 51);

int cx = 0;
int type = 0;

void setup() {
  pinMode(13, OUTPUT);
  DxlMaster.begin(57600);
}

void loop() {
  tc3.readBlobs(2);
  type = (int)tc3.blob[0].type;

  if (type == 1)
    digitalWrite(13, HIGH);
  else
    digitalWrite(13, LOW);

  delay(120);
}

Рабочая программа на графическом языке программирования ​

image5

Лабораторная работа 2. «Следование четырёхколёсной машины за цветным объектом» ​

Ссылка на пример ​

Цель работы ​

Изучить принципы работы модуля технического зрения TrackingCam v3 для отслеживания объектов, освоить алгоритм следования за цветным объектом на основе его координат и площади, приобрести навыки программирования плавного управления скоростью и направлением движения робота.

Необходимое оборудование ​

  • четырёхколёсная платформа с четырьмя моторами;

  • модуль TrackingCam v3;

  • драйвер моторов;

  • программируемый контроллер ЭДУино;

  • соединительные провода.

Модель робота «Четырёхколёсная машина» с модулем TrackingCam v3

Теоретическая часть ​

Для создания кода в этой лабораторной работе используются библиотеки TrackingCamDxl2.h и DxlMaster2.h для работы с модулем машинного зрения, а также функции analogWrite() и digitalWrite() для управления моторами.

Модуль TrackingCam v3 позволяет роботу «видеть» цветные объекты и определять их параметры: координаты центра (cx, cy), площадь (area) и тип (type). Эти данные передаются по протоколу Dynamixel и используются для принятия решений о движении. Координаты cx и cy определяют положение объекта в поле зрения камеры, а площадь показывает размер объекта, который обратно пропорционален расстоянию до него.

Алгоритм следования построен на двух принципах. Первый — регулировка скорости в зависимости от расстояния до объекта (по площади): чем ближе объект, тем медленнее движется робот, а при достижении целевого расстояния робот останавливается. Второй — корректировка направления: если объект смещён влево или вправо относительно центра кадра, робот поворачивается в соответствующую сторону, стремясь удерживать объект по центру. Для плавности движения применяется фильтрация скорости.

Расположение компонентов ​

image7

Схема расположения электронных компонентов

Схема подключения ​

image8

Схема подключения

Практическая часть ​

В этой лабораторной работе нужно разработать программу для четырёхколёсной машинки с модулем TrackingCam v3. Робот должен следовать за цветным объектом, поддерживая оптимальное расстояние и удерживая его в центре поля зрения камеры.

Пояснение к программе ​

В начале программы подключаются библиотеки TrackingCamDxl2.h и DxlMaster2.h для работы с модулем TrackingCam v3. Создаётся объект tc3 для управления модулем с идентификатором 51 и протоколом 1. Объявляются переменные для пинов четырёх моторов, текущей скорости, максимальной и минимальной скоростей, целевой площади объекта (расстояния до него) и параметров обнаруженного объекта.

Функция setup() инициализирует моторы и шину Dynamixel для связи с камерой. В основном цикле loop() считываются данные с модуля: тип, координаты и площадь объекта, после чего вызывается функция following() для управления движением.

Функция calculateSpeed() вычисляет скорость в зависимости от площади объекта. Если площадь меньше farArea (объект далеко), скорость максимальная. Если площадь достигла targetArea (объект близко), скорость равна нулю. В промежуточных значениях скорость вычисляется пропорционально с помощью функции map().

Функция following() реализует основной алгоритм слежения. Если объект не обнаружен, моторы останавливаются. Для плавности изменения скорости используется фильтр: новая скорость вычисляется как взвешенное среднее предыдущей и рассчитанной, а затем ограничивается диапазоном 0–255. Если объект смещён вправо (cx > 470), робот поворачивает направо, если влево (cx < 170) — налево, а если объект в центре (от 170 до 470) — робот едет прямо. Задержка между итерациями составляет 200 мс. Функции turnRight() и turnLeft() используют скорость, уменьшенную на 30 % — для более плавных поворотов.

Рабочая программа ​

cpp
#include "TrackingCamDxl2.h"
#include "DxlMaster2.h"

TrackingCamDxl2 tc3(1, 51);

int DIR_M1 = 0;
int SPEED_M1 = 0;
int DIR_M2 = 0;
int SPEED_M2 = 0;
int DIR_M3 = 0;
int SPEED_M3 = 0;
int DIR_M4 = 0;
int SPEED_M4 = 0;

float speed = 0;

int maxSpeed = 50;                // максимальная скорость PWM
int minSpeed = 15;                // минимальная скорость PWM
int targetArea = 5000;            // желаемый размер объекта
int farArea = 500;                // размер объекта вдали
unsigned long previousMillis = 0; // переменная для задержки по времени
int type = 0;                     // тип объекта
int cx = 0;                       // координата x объекта
int cy = 0;                       // координата y объекта
int area = 0;                     // площадь объекта

void setup() {
  initMotots();
  DxlMaster.begin(57600);
}

void loop() {
  tc3.readBlobs(2);
  type = (int)tc3.blob[0].type;
  cx = (int)tc3.blob[0].cx;
  cy = (int)tc3.blob[0].cy;
  area = (int)tc3.blob[0].area;
  following();
}

void initMotots() {
  DIR_M1 = 4;
  SPEED_M1 = 5;
  DIR_M2 = 7;
  SPEED_M2 = 6;
  DIR_M3 = 8;
  SPEED_M3 = 3;
  DIR_M4 = 12;
  SPEED_M4 = 11;

  pinMode(DIR_M1, OUTPUT);
  pinMode(DIR_M2, OUTPUT);
  pinMode(DIR_M3, OUTPUT);
  pinMode(DIR_M4, OUTPUT);
  pinMode(SPEED_M1, OUTPUT);
  pinMode(SPEED_M2, OUTPUT);
  pinMode(SPEED_M3, OUTPUT);
  pinMode(SPEED_M4, OUTPUT);
}

int calculateSpeed(int area) {
  int result;

  if (area <= farArea)               // объект дальше дальней границы
  {
    result = maxSpeed;
  }
  else if (area >= targetArea)       // объект достиг нужного расстояния
  {
    result = 0;
  }
  else                                // промежуточная скорость
  {
    result = map(area, farArea, targetArea, maxSpeed, minSpeed);
  }

  return result;
}

void following() {
  if (type == 1)
  {
    // фильтруем некорректные значения (предполагаемые максимальные значения)
    if ((area < 200 || area > 100000) || cx > 640 || cy > 480)
    {
      return; // игнорируем этот кадр
    }

    if (cx == 0 || cy == 0)
    {
      if (millis() - previousMillis > 1000)
      {
        stopMotors();
      }
      return;
    }

    float k_speed = 0.3;
    speed = speed * (1 - k_speed) + calculateSpeed(area) * k_speed;
    speed = constrain(speed, 0, 255);

    if (speed < 5)
    {
      stopMotors();
      return;
    }

    if (cx > 470) // макс. значение координаты X камеры
    {
      turnRight(speed);
      previousMillis = millis();
    }
    else if (cx < 170 && cx != 0) // мин. значение координаты X камеры
    {
      turnLeft(speed);
      previousMillis = millis();
    }
    else if (cx >= 170 && cx <= 470)
    {
      forward(speed);
      previousMillis = millis();
    }
  }
  else
  {
    stopMotors();
  }

  while (millis() - previousMillis < 200) {}
}

void forward(int sp) {
  digitalWrite(DIR_M1, HIGH);
  analogWrite(SPEED_M1, sp);
  digitalWrite(DIR_M3, HIGH);
  analogWrite(SPEED_M3, sp);
  digitalWrite(DIR_M2, LOW);
  analogWrite(SPEED_M2, sp);
  digitalWrite(DIR_M4, LOW);
  analogWrite(SPEED_M4, sp);
}

void stopMotors() {
  digitalWrite(DIR_M1, LOW);
  analogWrite(SPEED_M1, 0);
  digitalWrite(DIR_M3, LOW);
  analogWrite(SPEED_M3, 0);
  digitalWrite(DIR_M2, LOW);
  analogWrite(SPEED_M2, 0);
  digitalWrite(DIR_M4, LOW);
  analogWrite(SPEED_M4, 0);
}

void turnRight(int sp) {
  int slow = sp * 0.7; // поворот медленнее движения вперёд
  digitalWrite(DIR_M1, HIGH);
  analogWrite(SPEED_M1, slow);
  digitalWrite(DIR_M3, HIGH);
  analogWrite(SPEED_M3, slow);
  digitalWrite(DIR_M2, HIGH);
  analogWrite(SPEED_M2, slow);
  digitalWrite(DIR_M4, HIGH);
  analogWrite(SPEED_M4, slow);
}

void turnLeft(int sp) {
  int slow = sp * 0.7; // поворот медленнее движения вперёд
  digitalWrite(DIR_M1, LOW);
  analogWrite(SPEED_M1, slow);
  digitalWrite(DIR_M3, LOW);
  analogWrite(SPEED_M3, slow);
  digitalWrite(DIR_M2, LOW);
  analogWrite(SPEED_M2, slow);
  digitalWrite(DIR_M4, LOW);
  analogWrite(SPEED_M4, slow);
}

Рабочая программа на графическом языке программирования ​

image9

image10

image11

image12

image13

image14

image15

image16

image17

image18

image19

Лабораторная работа 3. «Следование четырёхколёсной машины за ArUco-метками» ​

Ссылка на пример ​

Цель работы ​

Изучить принципы распознавания ArUco-меток с помощью модуля технического зрения, освоить программирование реакций робота на обнаружение различных маркеров, приобрести навыки управления роботом на основе визуальной информации от камеры.

Необходимое оборудование ​

  • четырёхколёсная платформа с четырьмя моторами;

  • модуль TrackingCam v3;

  • два сервопривода (захват и подъём);

  • драйвер моторов;

  • программируемый контроллер ЭДУино;

  • соединительные провода;

  • ArUco-метки.

Теоретическая часть ​

Для создания кода в этой лабораторной работе используются библиотеки TrackingCamDxl2.h и DxlMaster2.h для работы с модулем машинного зрения в режиме распознавания ArUco-маркеров, а также библиотека Servo.h для управления сервоприводами.

ArUco-маркеры представляют собой квадратные метки с уникальным узором, которые легко распознаются системой технического зрения. Каждый маркер имеет уникальный идентификатор (ID), что позволяет программе различать разные маркеры и выполнять соответствующие действия. В отличие от обычного цветового распознавания, ArUco-маркеры более устойчивы к изменению освещения и позволяют определять не только наличие объекта, но и его ориентацию в пространстве.

Модуль TrackingCam v3 поддерживает режим распознавания ArUco-маркеров, возвращая идентификатор обнаруженного маркера, его координаты и другие параметры. Это позволяет роботу принимать решения на основе того, какой именно маркер находится в поле зрения камеры. В этой работе используются маркеры с ID от 1 до 4, каждый из которых соответствует определённой команде движения: поворот налево, поворот направо, движение назад, движение вперёд.

Практическая часть ​

В этой лабораторной работе нужно разработать программу для четырёхколёсной машинки с модулем TrackingCam v3, которая будет распознавать ArUco-маркеры и выполнять соответствующие действия в зависимости от их идентификатора.

Для работы с метками настроим камеру на их распознавание.

image20

Настройка камеры на распознавание ArUco**-меток

Также в веб-интерфейсе нужно настроить камеру на обнаружение четырёх меток с ID 1, 2, 3 и 4.

Пояснение к программе ​

В начале программы подключаются библиотеки Servo.h для управления сервоприводами, а также TrackingCamDxl2.h и DxlMaster2.h для работы с модулем TrackingCam v3. Создаётся объект tc3 для управления модулем с параметрами (1, 51), где 1 — номер порта, 51 — идентификатор модуля. Объявляются переменные для пинов четырёх моторов, скорости и переменная last_aruco_id для хранения ID последнего обнаруженного маркера.

В функции setup() настраиваются сервоприводы, инициализируются моторы, устанавливается скорость, манипулятор опускается, и запускается шина Dynamixel для связи с камерой на скорости 57600 бод. В основном цикле loop() вызывается функция tc3.readAruco(2) для считывания данных об ArUco-маркерах. Если ID обнаруженного маркера отличается от предыдущего, программа выполняет соответствующее действие с помощью оператора switch.

Каждому ID маркера соответствует своё действие: ID 1 — поворот направо на 1 секунду, ID 2 — поворот налево на 1 секунду, ID 3 — движение назад на 1 секунду, ID 4 — движение вперёд на 1 секунду. После выполнения действия робот останавливается, а ID маркера запоминается в переменной last_aruco_id, чтобы избежать повторного выполнения того же действия. Если маркер не распознан (default), робот останавливается. Задержка 50 мс обеспечивает стабильность работы.

Рабочая программа ​

cpp
#include "Servo.h"
#include "TrackingCamDxl2.h"
#include "DxlMaster2.h"

TrackingCamDxl2 tc3(1, 51);

int DIR_M1 = 0;
int SPEED_M1 = 0;
int DIR_M2 = 0;
int SPEED_M2 = 0;
int DIR_M3 = 0;
int SPEED_M3 = 0;
int DIR_M4 = 0;
int SPEED_M4 = 0;

int speed = 0;
int last_aruco_id = 0;

Servo servo1;
Servo servo2;

void setup() {
  pinMode(9, OUTPUT);
  servo1.attach(9);
  pinMode(10, OUTPUT);
  servo2.attach(10);

  initMotots();
  carData();
  gripperDown();

  DxlMaster.begin(57600);
}

void loop() {
  tc3.readAruco(2);

  if (last_aruco_id != tc3.aruco[0].id) {
    switch (tc3.aruco[0].id) {
      case 1: {
        turnRight();
        delay(1000);
        stopMotors();
        last_aruco_id = 1;
        break;
      }
      case 2: {
        turnLeft();
        delay(1000);
        stopMotors();
        last_aruco_id = 2;
        break;
      }
      case 3: {
        backward();
        delay(1000);
        stopMotors();
        last_aruco_id = 3;
        break;
      }
      case 4: {
        forward();
        delay(1000);
        stopMotors();
        last_aruco_id = 4;
        break;
      }
      default: {
        stopMotors();
        break;
      }
    }
  }

  delay(50);
}

void initMotots() {
  DIR_M1 = 4;
  SPEED_M1 = 5;
  DIR_M2 = 7;
  SPEED_M2 = 6;
  DIR_M3 = 8;
  SPEED_M3 = 3;
  DIR_M4 = 12;
  SPEED_M4 = 11;

  pinMode(DIR_M1, OUTPUT);
  pinMode(DIR_M2, OUTPUT);
  pinMode(DIR_M3, OUTPUT);
  pinMode(DIR_M4, OUTPUT);
  pinMode(SPEED_M1, OUTPUT);
  pinMode(SPEED_M2, OUTPUT);
  pinMode(SPEED_M3, OUTPUT);
  pinMode(SPEED_M4, OUTPUT);
}

void carData() {
  speed = 50;
}

void backward() {
  digitalWrite(DIR_M1, LOW);
  analogWrite(SPEED_M1, speed);
  digitalWrite(DIR_M3, LOW);
  analogWrite(SPEED_M3, speed);
  digitalWrite(DIR_M2, HIGH);
  analogWrite(SPEED_M2, speed);
  digitalWrite(DIR_M4, HIGH);
  analogWrite(SPEED_M4, speed);
}

void forward() {
  digitalWrite(DIR_M1, HIGH);
  analogWrite(SPEED_M1, speed);
  digitalWrite(DIR_M3, HIGH);
  analogWrite(SPEED_M3, speed);
  digitalWrite(DIR_M2, LOW);
  analogWrite(SPEED_M2, speed);
  digitalWrite(DIR_M4, LOW);
  analogWrite(SPEED_M4, speed);
}

void stopMotors() {
  digitalWrite(DIR_M1, LOW);
  analogWrite(SPEED_M1, 0);
  digitalWrite(DIR_M3, LOW);
  analogWrite(SPEED_M3, 0);
  digitalWrite(DIR_M2, HIGH);
  analogWrite(SPEED_M2, 0);
  digitalWrite(DIR_M4, HIGH);
  analogWrite(SPEED_M4, 0);
}

void grabItem() {
  servo1.write(20);
  delay(750);
}

void turnLeft() {
  digitalWrite(DIR_M1, LOW);
  analogWrite(SPEED_M1, speed);
  digitalWrite(DIR_M3, LOW);
  analogWrite(SPEED_M3, speed);
  digitalWrite(DIR_M2, LOW);
  analogWrite(SPEED_M2, speed);
  digitalWrite(DIR_M4, LOW);
  analogWrite(SPEED_M4, speed);
}

void turnRight() {
  digitalWrite(DIR_M1, HIGH);
  analogWrite(SPEED_M1, speed);
  digitalWrite(DIR_M3, HIGH);
  analogWrite(SPEED_M3, speed);
  digitalWrite(DIR_M2, HIGH);
  analogWrite(SPEED_M2, speed);
  digitalWrite(DIR_M4, HIGH);
  analogWrite(SPEED_M4, speed);
}

void releaseItem() {
  servo1.write(70);
  delay(750);
}

void gripperDown() {
  servo2.write(10);
  delay(750);
}

void gripperUp() {
  servo2.write(150);
  delay(750);
}

Рабочая программа на графическом языке программирования ​

image21

image22

image23

image24

image25

image26

image27

image28

image29

Ссылка на все примеры ​