Машинное зрение это кратко

Обновлено: 02.07.2024

Технический прогресс не стоит на месте, и с каждым годом сложность научно-технических задач все возрастает. Для автоматической обработки и анализа визуальной информации сегодня успешно используется технология машинного зрения.

Машинное зрение – что это?

Контрастная, четкая картинка - не самоцель машинного зрения, а средство. На следующем этапе изображение с камеры должно быть обработано. Распознавать снимок могут как обычный PC с необходимым программным обеспечением, так и специализированный контроллер. Проанализировав информацию, обработчик должен связаться с исполнительным механизмом: включить сирену, световой сигнал или передать информацию для системы управления робота.

Для чего применяется машинное зрение?

У машинного зрения есть две задачи - нахождение объектов и инспекция. При инспекции учитывается геометрическая форма объектов, ведется подсчет, контроль (к примеру, определяется, нанесена ли на объект какая-либо маркировка).

Простой пример применения - роботу нужно разгружать конвейер, по которому в ряд идут 12 коробок. Они попадают на этот конвейер с помощью толкателя. Точность и стабильность работы толкателя весьма низки: если коробка зацепилась при толкании, ее может развернуть, она может по инерции пройти чуть дальше. Вместо расположения в ряд коробки могут быть смещены вперед-назад, влево-вправо или повернуты под разными углами. Для решения задачи робот сначала с помощью установленной камеры делает снимок, чтобы определить реальное положение коробки и ее смещение относительно эталонного. Получив информацию с контроллера камеры, робот вносит поправки в свою программу и разгружает конвейер, не деформируя коробки и не царапая ими конвейер.

Какие преимущества есть у машинного зрения?

Машинное зрение - это автоматизация в чистом виде, поэтому человеческий фактор полностью исключается. Инспекция с помощью машинного зрения надежнее, чем решение той же задачи человеком, и намного производительнее. Когда по конвейеру движутся ряды банок, то человек просто физически не будет успевать просматривать все. Машинное зрение отлично справится с таким заданием, при этом его производительность намного выше. Но выполнение ответственных поручений (контроль ювелирных изделий или ответственных швов) лучше все же возложить на человека.

Понимание того, как работает машинное зрение, поможет выяснить, устранит ли оно определенные трудности в ходе производственных и технологических процессов, а также при выпуске конечной продукции.

Люди часто не вполне точно представляют, на что способно и чего не может сделать машинное зрение в составе производственной линии и в процессе изготовления продукции. Знание того, как действует эта технология, поможет вам определить, насколько полезной она окажется в решении проблем узких мест в конкретном технологическом и производственном процессе. Так что же представляет собой машинное зрение и как оно работает?

Если говорить в общем, машинное зрение — это применение одной или нескольких видеокамер в промышленной среде для автоматического анализа и проверки объектов производства на соответствие тем или иным требованиям. Полученные таким способом данные могут быть впоследствии использованы для управления производственным или технологическим процессом или в системе управления деятельностью предприятия. Одна из типичных областей применения систем машинного зрения — в составе конвейера. Здесь автоматически, после выполнения какой-либо операции над деталью, включается камера для захвата и обработки изображения интересующего объекта. Камера может быть запрограммирована для проверки положения чего-либо, в частности установленной детали, а также цвета, размера или формы объекта, а кроме того, сможет определить наличие или отсутствие самого объекта в зоне обзора. Система машинного зрения также может просматривать и расшифровывать стандартный или двумерный матричный штрихкод и считывать напечатанные специальные символы.

После проверки изделия обычно генерируется сигнал, позволяющий принять решение о дальнейших действиях. При отслеживании результатов проверки через систему деталь может быть забракована и сброшена в контейнер для изоляции брака, или направлена на отводящий конвейер, или передана для выполнения дополнительных сборочных операций. В любом случае, системы машинного зрения могут предоставить гораздо больше информации об объекте, чем простые датчики его отсутствия/присутствия.

Типичные области применения машинного зрения включают:

контроль качества;
управление роботом/машиной, станком или инструментом;
тестирование и калибровку;
управление производственным или технологическим процессом в режиме реального времени;
сбор информации;
мониторинг оборудования;
сортировку/подсчет объектов.

Многие изготовители серийной продукции используют автоматическое машинное зрение вместо сотрудников службы контроля качества (отдела технического контроля), потому что оно предпочтительнее для решения монотонных повторяющихся задач. Эти системы работают быстрее, объективнее и, главное — непрерывно, без снижения производительности. Системы машинного зрения могут проверять сотни или даже тысячи деталей в минуту и обеспечивают более последовательные и надежные результаты проверки, чем при работе человека.

Сокращая количество дефектов, увеличивая объем выпуска качественной продукции и облегчая соблюдение правил контроля через отслеживание деталей с помощью машинного зрения, производители конечной продукции могут сэкономить расходы и повысить свою рентабельность, увеличив прибыль.

Аналоговые датчики в системах машинного зрения

Рис. 1. Дискретный фотоэлектрический датчик, работающий на отражение, сообщает, измерено ли заданное значение (характеристика), идентифицирующее объект

Основная идея фотоэлемента, работающего на отражение, состоит в том, что он испускает луч света и определяет, отражается ли этот свет от какого-либо объекта. Если объект отсутствует, свет обратно в приемник фотоэлемента, естественно, не отражается. К приемнику подведено электрическое напряжение — как правило, это обычно стандартные для индустрии средств промышленной автоматизации 24 В. Если объект присутствует, то выход приемника активируется (включается), и сигнал может быть использован в системе управления, чтобы произошло то или иное заданное событие (отклик). Если объект вышел из зоны контроля датчика, приемник снова деактивируется (его выход выключается).

Рис. 2. Аналоговый фотоэлектрический датчик, работающий на отражение, может обеспечить необходимую шкалу измерений уровня отражения света от объекта

А теперь представим, что в виде квадратного или прямоугольного массива (матрицы) могут быть расположены и направлены на объект тысячи крошечных аналоговых фотоэлементов. Это (основываясь на отражательной способности того участка, куда был направлен такой датчик) создаст изображение объекта в черно-белом режиме.

Рис. 3. Датчики машинного зрения оборудования создают изображения, используя массивы (матрицы) пикселей

Машинное зрение может использовать и цветочувствительные ячейки-пиксели. Кроме того, в таких системах часто имеются матрицы из пикселей гораздо большего размера. К захваченным изображениям для определения размеров, расположения кромок, перемещения и взаимного расположения компонентов относительно друг друга применяются специальные программные инструменты. На рис. 4 показано изображение, полученное от матрицы технологии ПЗС.

Рис. 4. Изображение было получено с помощью устройства с зарядовой связью размером 640×480. Оно используется при осмотре стеклянных шприцев с пластиковым колпачком, а целью применения является определение того, достаточно ли плотно надет колпачок

Четыре основных компонента систем машинного зрения

Основными четырьмя составляющими системы зрения являются объектив и система освещения (подсветки объекта), датчик изображения или камера, процессор и способ передачи результатов, будь то с помощью физических входов/выходов (I/O) или с помощью других средств коммуникации на основе, как правило, стандартных протоколов и общепринятых интерфейсов.

Объектив захватывает изображение и передает его сенсору в виде световой проекции. Чтобы оптимизировать систему зрения, видеокамера должна иметь соответствующий объектив. Хотя существует много типов объективов, в приложениях машинного зрения для простоты управления обычно используются объективы с фиксированным фокусным расстоянием.

В процессе выбора важно учитывать три определяющих фактора:

поле зрения;
рабочее расстояние до объекта;
размер сенсора (матрицы) камеры.

Для получения изображения, достаточного для его последующей обработки и достижения нужного качества, существует много разных способов передачи к целевому объекту необходимого уровня освещения. Направление, из которого исходит свет, его яркость, цвет или длина волны по сравнению с цветом объекта — все это важные элементы, которые следует учитывать при проектировании системы машинного зрения для конкретной среды применения. В то время как освещение является важной частью получения хорошего изображения, есть и другие моменты, оказывающие влияние на интенсивность отраженного света от объекта.

После захвата изображения, как уже было сказано, в дело вступают программные инструменты. Некоторые из них применяются до анализа (предварительной обработки), другие используются для определения заданных свойств исследуемого объекта. На этапе предварительной обработки к изображению можно применить эффекты для повышения резкости краев, увеличения контрастности или заполнения пробелов (бликов). Это сделано для улучшения возможностей других программных инструментов, которые вступают в действие позже.

Цель машинного зрения

Ниже приведен перечень некоторых распространенных инструментов, которые можно применять для получения информации о целевом объекте:

Связь систем машинного зрения с общей системой управления

После того как система машинного зрения извлекла информацию, эти сведения с помощью процессора и программных средств могут быть переданы в систему управления посредством целого ряда стандартных промышленных протоколов связи. Обычно системы машинного зрения поддерживают EtherNet/IP, Profinet и Modbus TCP. Также распространены и последовательные протоколы на основе RS-232 и RS-485. Часто в систему для запуска того или иного ответа или простого отчета о результатах встроен цифровой ввод/вывод. Также доступны стандарты связи, специально ориентированные на системы машинного зрения.

Понимание физики и возможностей систем машинного зрения может помочь определить, подходит данное приложение для систем на базе видеокамер или нет. В целом, то, что видит человеческий глаз, — это то, что может видеть и камера (иногда в большем или меньшем приближении), а вот расшифровка и передача информации могут быть уже более сложными процессами. Кроме того, использование надежного поставщика, хорошо осведомленного в системах, освещении и технологиях, может сэкономить много времени и денег и быть полезным не только на текущий момент, но и в долгосрочной перспективе.

Технология машинного зрения позволяет промышленному оборудованию "видеть" и анализировать объекты, а также взаимодействовать с ними, что в свою очередь помогает повысить качество изготавливаемой продукции, сократить расходы на производство, а также упростить задачи.

Чем машинное зрение отличается от технического или компьютерного?

Начнем с терминологии. В русском языке существует как минимум три близких до смешения определения: зрение машинное, компьютерное и техническое. В английском - получили распространение всего два: машинное (Machine Vision) и компьютерное (Computer Vision). Давайте попытаемся разобраться - в чем разница?

Преимущества машинного зрения

Машинное зрение повышает эффективность работы компании, производительность и экономит денежные средства. Внедрение на производстве систем машинного зрения существенно повышает его конкурентоспособность, что обусловлено целым рядом очевидных преимуществ роботизированного труда:

Компьютерное зрение идеально подходит для рутинных, повторяющихся задач, на которых человек способен легко потерять концентрацию внимания и допустить ошибку;
В сферах, требующих высокой точности, таких как фармацевтика и машиностроение, машинное зрение гарантирует абсолютную точность выполнения задач;
Значительное преимущество машинного зрения перед человеческим трудом - это способность компьютера к выявлению на изображениях миллионы оттенков и градаций цветов, недоступных человеческому глазу;
Машинное зрение способно одновременно воспринимать огромное множество объектов, что не только уменьшает время выполнения задач, но и расширяет функционал возможностей.

Задачи машинного зрения

соответствие качества продукции;
обнаружение и поиск объектов, измерение размеров;
управление инструментами (машиной, роботом и т.д.);
тестирование и калибровка;
управление производственными процессами в режиме реального времени;
сбор, распознавание и идентификация информации, сравнение с заданным шаблоном;
мониторинг оборудования;
восстановление изображений;
считывание штрихкодов;
сортировку/подсчет объектов;
Цветовой анализ.

Получения изображений;
Обработки изображений.

Компоненты системы машинного зрения

вычислитель (тот или иной процессор, графический сопроцессор, DSP или ПЛИС);
математические алгоритмы, которые на этом вычислителе работают.

видеокамера;
тепловизионная камера;
лазерный 3D сканер;
TOF камера;
и многие другие.

Оборудование ввода-вывода;
Система освещения;
Объективы для камеры.

Выбор компонентов машинного зрения

Применение машинного зрения: примеры

Рассмотрим практический пример применения машинного зрения.
Даже, казалось бы, в простых вопросах визуального контроля баночек с соком на конвейере или ампул с лекарством может возникнуть ряд моментов, требующих системного подхода и определенного опыта. К примеру, вызывает неподдельное удивление тот факт, что контроль акцизной марки, наклеенной на круглой бутылке вертикально и горизонтально, требует разных технических решений. Для более развернутой иллюстрации давайте рассмотрим задачу чуть посложнее. Например, интеграция технического зрения в систему электрических испытаний пленочных конденсаторов в их массовом производстве. Предмет испытаний выбран из нашей практики, но может быть легко заменен на меньшие или большие объекты из любой производственной области, будь то пищевая промышленность или автомобилестроение. Итак, помимо собственно электрических (или каких-то других) испытаний необходимо решить следующие, типовые для технического зрения, задачи:

Визуальный контроль поверхности, формы;
Управление машинами и механизмами подачи, в данном проекте это промышленные роботы;
Учет (идентификация, сортировка, маркировка и пр.).

В рассматриваемом примере конденсаторы представляют собой объекты прямоугольной формы с размерами граней от 3 до 20мм двух типов: выводной - и вариант для поверхностного монтажа, т.е. без ножек – выводов. Выводной, в свою очередь, разделяется на два типа корпуса: собственно, корпусной и окукленный. Корпусной имеет строго ортогональные формы параллелепипеда, окукленный – некоей округлой формы, похожей на прямоугольный леденец с овальными гранями. Все они отличаются размером корпуса, его цветом, а выводные – еще и диаметром, длиной выводов и расстоянием между ними. Кроме того, выводы могут быть расположены с разных сторон или с одной.

Рисунок 2. Схема размещения оборудования установки комплексных испытаний пленочных конденсаторов

Установка должна работать со всеми типами конденсаторов без существенной переналадки, а лучше и вовсе без нее. Рассмотрим наиболее сложный вариант с окукленными конденсаторами (т.е. имеющими форму корпуса отличную от прямоугольной в двух сечениях).

Рисунок 3. Вибростол anyfeed для автоматизированной подачи небольших изделий с использованием системы машинного зрения

Робот перемещает захваченный объект в первую зону контроля, где, помимо оценки формы корпуса, длины и расположения выводов, определяется его соответствие заданному программой типу.

Рисунок 4. Компактный, недорогой SCARA робот

Механический захват с пневматическим приводом осуществляет выравнивание выводов для последующего размещения прибора в разъеме станции электрического тестирования и передает изделие для последующих манипуляций второму роботу.

Рисунок 5. Исключение перспективных искажений при использовании телецентрической оптики (вверху) в сравнении с обычным объективом (внизу).
Одинаковые болты расположены на разном расстоянии от камеры. Деталь слева – цилиндр, вытянутый вдоль оси объектива.

Для повышения достоверности контроля корпуса округлой формы применяются телецентрические объективы, которые позволяют не только точнее оценить геометрические размеры, но и увеличить глубину резкости изображения, что делает возможной работу с объектами разных размеров.

Для получения тех или иных характеристик применяются различные типы светодиодной подсветки: фоновый, диффузионный прямой свет, лазерная триангуляция.

Система перемещений работает в тесном взаимодействии с испытательной станцией и с подсистемами машинного зрения. Процесс электрических испытаний является самым длительным этапом – поэтому для повышения производительности установки важно, чтобы сюда поступали только изделия, успешно прошедшие все остальные проверки. На всех этапах контроля предусмотрена отбраковка изделия.

В зависимости от результатов испытаний конденсаторы могут быть отсортированы по номиналу или другим рабочим характеристикам.

Выбор оборудования и средств разработки систем машинного зрения

Устройство подачи, вибростол Anyfeed (Швейцария), управляется по последовательному каналу;
Системы захвата изображения оснащаются цифровыми камерами ace (Basler AG, Германия) с различными объективами в зависимости от выбранного разрешения и объекта съемки. Интерфейс Ethernet со встроенными цепями питания (PoE) обеспечивает требуемую гибкость – подключение камер осуществляется по одному кабелю с использованием сетевого концентратора;
На нескольких постах контроля применяются телецентрические объективы (OptoEngineering Srl, Италия), в остальных случаях - обычные объективы среднего ценового диапазона;
Общая синхронизация и управление механизмами и роботами осуществляется с использованием набора дискретных датчиков и промышленного контроллера cRIO (National Instruments Corp., США);
Станция электрических испытаний построена на базе промышленной измерительной платформы PXI и модульных приборов National Instruments Corp., США.

Отличительной особенностью данной установки стал тот факт, что прикладное программное обеспечение всех подсистем разрабатывается в одной графической среде программирования LabVIEW (National Instruments Corp., США). Помимо традиционных для LabVIEW задач:

Программа электрических испытаний;
Программирование контроллера cRIO;
Интерфейс оператора;

за счет дополнительных библиотек реализуются:

Захват и обработка изображений (библиотека NI Vision от National Instruments;
Управление промышленными роботами (библиотека от DigiMetrix GmbH, Германия).

Рисунок 6. Пример программирования промышленного робота в LabVIEW.

Разработка систем машинного зрения: выводы

Успешная разработка и внедрение машинного зрения в производственный процесс - достаточно сложная инженерная задача, при всей кажущейся ее простоте. Но это не должно стать препятствием для освоения современных технологий, т.к. актуальность машинного зрения стремительно растет.

Компьютерное зрение (машинное зрение) — направление в области искусственного интеллекта, которое включает алгоритмы для обнаружения, отслеживания и классификации объектов по их изображениям.

Машинное зрение — это попытка смоделировать механизм получения и обработки визуальной информации в человеческом мозге.

Хорошо, а как видит человек?

Чувствительные клетки на поверхности глаза улавливают свет определённых длин волн (видимый свет); глазной хрусталик проецирует его на сетчатку, где свет преобразуется в электрические импульсы и через зрительные нервы передаётся в мозг.

Дальше происходит самое интересное — восприятие информации. По одной из теорий, процесс разбивается на подзадачи для нескольких отделов мозга: одна часть занимается определением форм, другая — цветов, а третья отвечает за распознавание движений и ориентацию в пространстве. Ещё есть теория, согласно которой анализ информации не разделяется и происходит интегрировано всеми системами.

Так или иначе то, какую картинку мы видим, определяется нашим предыдущим опытом. Посредством не до конца понятных механизмов мозг достаёт значимую информацию, которая связывается с паттернами в нашей памяти, и позволяет взаимодействовать с миром.

Картинка немного отфильтрована, но всё ещё видно клубнику, верно?

На изображении нет ни одного(!) красного пикселя. Просто мы знаем, что клубника красного цвета.

Возвращаясь к компьютерному зрению здесь и возникают основные сложности:

1) Если не точно известны механизмы и форма передачи данных у человека, как понять, в каком виде передавать информацию компьютеру?

Взаимодействие человека с внешним миром определяется предыдущим опытом. Для компьютера пока существует два глобальных способа определения действий на основе полученных данных: классические методы и машинное обучение.

Классические методы впервые были применены для отличия печатного и рукописного текстов ещё в 1970-х годах. В основе лежит работа с контрастом и цветами изображения, выделение геометрических фигур и границ предметов.

Думаю, лучше объяснить на примере. Задача: написать программу, которая на вход получает картинку с геометрическими формами, а после выполнения возвращает ту же картинку с корректными названиями данных фигур.

(Полное решение (вместе с кодом на python и подробным описанием) можно найти здесь.)

— Сначала компьютеру нужен жизненный опыт. В отдельный файл записываются все геометрические формы, которые программа должна уметь распознавать. Также записываются особенности, по которым можно однозначно определить фигуру. Например, у треугольника три стороны, у квадрата четыре, у прямоугольника тоже четыре, но они не равны.

— С помощью готового (взятого из библиотеки) алгоритма на изображении выявляются границы фигур. Информация записывается в виде координат точек, формирующих контуры.

— После сглаживания контуров, можно достать количество и длину сторон фигуры.

— Наконец, по особенностям каждой формы (количество, длина сторон) программа может определить её название.

Простецкая задача для человека оказывается нетривиальной для машины. Всё дело в сложнейшем устройстве мозга. Пока не придумали компьютер, который имел бы такую же производительность при столь малом потреблении энергии, 25-30 Вт.

Оценка расходуемой мощности гипотетического компьютера, который смог бы догнать мозг, составляет 12 000 000 000 Вт.

Ещё один подход к решению задач — машинное обучение. Это иной способ накопления опыта: набор методов, которые умеют замечать и запоминать взаимосвязи между признаками.

В задаче распознавания лиц признаками являются расстояние между глаз и их форма, толщина губ и различные измерения, которые в сумме позволяют уникально идентифицировать конкретного человека или, например, его эмоции.

Беспилотный автомобиль должен в режиме онлайн анализировать обстановку вокруг. Признаки — это ширина дороги, расстояния до объектов и т.д. На основании многочисленных факторов искусственный интеллект выбирает режим движения.

Буровзрывные работы применяются в подземной и открытой добыче полезных ископаемых и для отделения горной породы – угля или руды – от массива. Чем меньше и равномернее куски горной массы, тем выше скорость погрузки их экскаваторами и больше загрузка самосвалов. Обнаружение фрагментов породы больше заданного размера – негабарита – позволяет предотвратить их попадание в дробилку, которое приводит к простою механизма и повышению потребления им электроэнергии.

Система также в реальном времени отслеживает состояние зубьев ковша экскаватора. Поломка зуба обнаруживается в течение пяти секунд, после чего система подает предупреждающий сигнал оператору и диспетчеру.

Мониторинг состояния зубьев дает возможность планировать их своевременную замену, что уменьшает количество поломок и время простоя экскаватора. Кроме того, снижается вероятность поломки дробильно-сортировочного комплекса из-за попадания в него зубьев. Ремонт и простой комплекса приводит к значительным финансовым потерям.

Читайте также: