Выбор камеры машинного зрения

Выбор камеры компьютерного зрения

Обычно выбор компонентов системы машинного зрения начинается с камеры, которая будет соответствовать всем требованиям задачи. В данной статье не рассматриваются аналоговые камеры из-за более низкого качества изображения. 

Ассортимент камер машинного зрения бренда LUCID

Довольно широко распространено ошибочное мнение, что использование простых и дешёвых IP или WEB камер позволит решить промышленные задачи машинного зрения. 

В действительности же, существует ряд требований, выдвигаемых к камерам машинного зрения на любом производстве:

• Надёжность, качество сборки, высокая отказоустойчивость
• Качество изображений
• Высокая чувствительность сенсора
• Наличие цифровых линий для подключения внешних устройств
• Промышленные интерфейсы
• SDK - средство разработки для различных языков программирования
• Промышленное исполнение, защита от воды и пыли, виброустойчивость, высокий температурный диапазон

#1 Сетевая, WEB или камера машинного зрения?

Камеры для систем обработки изображений подразделяются на камеры машинного зрения, сетевые (IP) - и WEB-камеры. Основные отличия отображены в таблице:

Если мы говорим о решении задач оптического контроля, об обработке изображений с помощью специализированного ПО и в целом о получении достоверных данных с изображения, то необходимо использовать камеры машинного зрения. Именно они позволяют получить качественное несжатое изображение, необходимое для корректной работы алгоритмов компьютерного зрения (cv - computer vision). Именно отсутствие сжатия гарантируют получение полной информации об объекте съёмки и выгодно отличает камеры машинного зрения от IP и WEB камер.

Но не всегда требуется вся эта обширная (и ресурсоёмкая) информация - если Вам не требуется высокая точность, а необходимо просто видеонаблюдение или получение изображений для наблюдения человеком стоит обратить внимание на более бюджетные сетевые (IP) камеры. Web-камеры обычно используются в учебных целях для изучения компьютерного зрения в домашних и лабораторных условиях.

Камеры же машинного зрения обычно используются для решения различных задач в промышленности, в медицине и биологических науках, дорожном движении, а также при высококачественном видеонаблюдении. Разделяют матричные (2D), линейные камеры (1D), и трёхмерные (3D) камеры.

Матричные камеры

• Оснащены прямоугольным сенсором, который представляет собой массив значений пикселей. Получение изображения производится в один прием.

Линейные камеры

• В отличие от матричных оснащены сенсором, содержащим всего одну, две, реже — несколько строк пикселей. Захват данных изображения осуществляется строка за строкой, после чего на этапе обработки из отдельных строк восстанавливается полное изображение.
• Используются повсеместно в целях контроля качества продукции в процессе ее перемещения — порой на очень высокой скорости (частота строчного сканирования может достигать 80 кГц). Линейные камеры часто находят применение при контроле рулонных материалов (металлопрокат, бумага, шпон) или изделий, движущихся по конвейерной ленте.

Специализированные 3D камеры

• Такие камеры формируют трёхмерное облако точек (3D модель объекта) и применяются, когда нужно "видеть" форму объекта. Широко используются в ИТС, а также для управления роботами. 

Смарт - камеры

• Эти устройства "всё в одном" имеют "на борту" вычислитель для обработки изображений "на лету". Как правило, более дорогие, менее гибкие,  и, как правило,  имеют худшие характеристики, по сравнению с обычными камерами машинного зрения + отдельными вычислителями. Хорошо подходят для простых задач, где не требуется специализированное ПО. Алгоритмы обычно составляются с помощью конструкторов на основе готовых шаблонов. 

Таким образом, ответ на вопрос о том, какой тип камеры следует выбрать, зависит от области применения камеры и предъявляемых к ней требований.

В камерах машинного зрения могут использоваться два типа сенсоров: CCD и CMOS. Они отличаются как устройством, так и принципом действия. Чтобы выбрать оптимальный сенсор, необходимо сперва определить требуемый спектр задач. Например, матрица CCD не позволит использовать инфракрасное зрение, которое необходимо, если вам нужно составлять тепловые карты объектов.

Из преимуществ CCD перед CMOS можно выделить высокую светочувствительность, лучшую цветопередачу, низкий уровень шумов и высокую динамическую чувствительность. Из недостатков — сложный принцип считывания сигнала, высокий уровень энергопотребления и дорогое производство.

Среди преимуществ CMOS (КМОП) сенсоров выделяют высокое быстродействие, низкое энергопотребление, а также дешевое и более простое производство. Недостатками являются низкие светочувствительность, коэффициент заполнения пикселей и динамическая чувствительность, а также высокий уровень шума.

Наиболее распространены КМОП матрицы от компании Sony, STARVIS и PREGIUS 1-4 поколений. 

#2 Всегда ли необходимо использовать цветную камеру?

Изображение — массив значений пикселей, каждый из которых имеет свой атрибут. Монохромное изображение имеет 1 атрибут — интенсивность. Цветное изображение имеет 3 атрибута — красный (Red), зеленый (Green) и синий (Blue) цвета. Мультиспектральное изображение имеет не больше 10 атрибутов, а гиперспектральное — свыше 10.

Мульти- или гиперспектральная съемка может осуществляться двумя способами:

• С помощью специализированной камеры;
• С помощью монохромной камеры и мультиспектральной подсветки.

В процессе съемки формируются одновременно несколько изображений одной и той же области объекта, но в различных зонах спектра электромагнитного излучения. Различные комбинации этих изображений позволяют выявить процессы и явления, которые сложно или невозможно определить на снимке, полученном с помощью цветной камеры, ведь в качестве спектра может использовать не только видимый диапазон, но и, например, инфракрасный (ИК) или ультрафиолетовый (УФ).

R-спектр	RG-спектры	RGB-спектры

Цветное изображение, полученное с помощью монохромной камеры и мультиспектральной (RGB) подсветки, для программной обработки лучше, чем цветное изображение, полученное с помощью цветной камеры

Обычная камера чаще всего работает в видимом и ближнем ИК диапазонах — от 350 до 1000 нм. Точные значения спектральной пропускной способности камеры можно узнать в технической документации.

Пропускная способность камеры LUCID Triton 2.8 MP в диапазоне от 320 до 1100 нм (монохромная и цветная)

В итоге необходимо понять, какое изображение требуется для решения поставленной задачи, — оно должно быть цветным для оценки требуемой характеристики, спектральным, чтобы выявить сложные параметры, или достаточно монохромного?

Если цвет не является обязательным условием, то рекомендуем остановить свой выбор на монохромной камере, так как они отличаются более высокой чувствительностью и пространственным разрешением.

#3 Какими должны быть разрешение изображения, частота кадров и глубина цвета?

Всегда ли нужно большое разрешение?

Стоит учитывать, что чем выше разрешение, тем больше объем данных и ниже скорость работы системы. Чтобы определить, какое разрешение требуется для решения конкретной задачи, необходимо выполнить простые математические расчеты:

В данной формуле приняты следующие обозначения: S — размер объекта контроля, a — минимально значимый размер объекта. Коэффициент k влияет на то, сколько пикселей должно приходиться на минимально значимый размер объекта, чтобы программно различить его границы. Обычно для монохромной камеры на минимальный размер приходится от 3 до 5 пикселей. Для обычной цветной камеры данный коэффициент увеличивается в 2 раза.

Покажем на примере: требуется определить дефект на детали размером 400х300 мм. Минимальный размер дефекта составляет 0,65х0,65 мм. Тогда требуемое разрешение по осям составит:

Теперь, используя полученные значения, необходимо выбрать камеру, которая имеет такое же или немного бóльшее разрешение. Для решения поставленной задачи подходит камера Lucid Triton 2.8 MP Model (1936 x 1464 пикс).

В ряде случаев, например, для измерения геометрии объектов, есть возможность использовать субпиксельное разрешение, а не покупать дорогую камеру с большим разрешением. К тому же, если Ваши алгоритмы работают на основе нейронных сетей, внимательно изучите требования к изображениям - они чаще всего должны быть не более 2-3 МП. 

Размер изображений также важен при подборе вычислителей и коммуникации (кабели, сетевые адаптеры и т.п.) в многокамерных системах.

Частота кадров и экспозиция

Не нужно путать частоту кадров (в случае линейных камер используется термин «частота строчного сканирования») и экспозицию. Частота кадров означает количество кадров, которые сенсор может отснять и передать за одну секунду. Чем выше частота кадров, тем больше объем передаваемых данных и тем бóльшие вычислительные мощности потребуются для их обработки.

Экспозиция — интервал времени, в течение которого открыт затвор камеры и свет попадает на светочувствительный участок матрицы камеры.

В случае, например, контроля объектов, движущихся по конвейерной ленте с очень высокой скоростью, экспозиция должна составлять буквально миллисекунды для того, чтобы объект на изображении не был смазанным. Однако нужно учесть, что экспозиция должна быть не только короткой, но и достаточной, чтобы вообще получить изображение. Слишком длинная экспозиция приведет к «пересвету» изображения, а слишком короткая — к «недосвету». Минимальное значение экспозиции, которое возможно обеспечить камерой — 40 мкс. Если требуется еще более короткая экспозиция, то необходимо использовать импульсную подсветку.

❮ ❯

Глубина цвета

Глубина цвета (разрядность изображения) — термин, означающий степень детализации передачи света. Человеческий глаз способен воспринимать порядка 17 миллионов оттенков цвета или 256 градаций серого. 1 разряд: 21 = 2 цвета. Бинарное изображение чаще всего представляется черным и белым цветами. Оттенки передаются плотностью черных точек: чем "чаще" располагаются черные точки, тем темнее цвет.

8 разрядов: 2⁸ = 256 оттенков серого монохромного изображения или 2_R⁸∙2_G⁸∙2_B⁸ = 16,78 миллионов оттенков цветного.

8-разрядное изображение в градациях серого	8-разрядное цветное изображение

Кроме того существуют 10-ти, 12-ти и даже 16-ти разрядные изображения. Для человеческого глаза такое изображение ничем не отличается от 8-разрядного. Однако возможности машинной обработки позволяют работать с изображениями с бóльшей разрядностью. Это обеспечивает анализ и заданную точность математических расчетов.

#4 Глобальный или скользящий затвор?

Тип затвора следует выбирать с учетом задачи, которую решает камера. Затвор препятствует попаданию света на сенсор камеры и открывается только на время экспозиции. Разница между глобальным и скользящим затвором заключается в том, как они обеспечивают экспозицию.

	Направление движения	Глобальный затвор полностью открывается, чтобы свет попал на всю поверхность сенсора. Он станет оптимальным выбором в тех областях, где требуется снимать быстродвижущиеся объекты.
Скользящий затвор обеспечивает построчную экспозицию матрицы. В зависимости от заданной длительности экспозиции, на изображении могут возникать искажения в случае перемещения объекта в то время, когда затвор открыт, — так называемый, «эффект плавающего затвора». Но, как правило, камеры со скользящим затвором стоят дешевле.			Направление движения

Таким образом, целесообразнее использовать глобальный затвор для движущихся объектов, а скользящий — для статических.

#5 В чем различие между интерфейсами?

Интерфейс представляет собой связующее звено между камерой и вычислителем, который отвечают за обработку изображений (с помощью программного обеспечения). Чтобы выбрать подходящий интерфейс для конкретной системы машинного зрения, необходимо подобрать оптимальное сочетание производительности, стоимости и длины кабеля.

В зависимости от существующих требований, можно выбрать интерфейс GigE, USB 3.0, либо Camera Link — смотря какой из них предлагает оптимальный набор характеристик для быстрой, надежной и безопасной передачи изображений с камеры на вычислитель.

FireWire и USB 2.0 представляют собой устаревающие технологии, которые ввиду их ограничений более не рекомендуются для современных систем обработки изображений.

Тип интерфейса			Длина кабеля, м	Максимальная пропускная способность, Мбайт/с
	GigE 1		До 100	115
	GigE 2.5			280
	GigE 5			570
	GigE 10			1100
	USB 3.0		До 5	400
	USB 3.1			1280
	USB 3.2			2560
	Full		До 5	680
	HS C2		До 15	2100
	HS C3			8400
	HS F2		До 300	1200
	CXP 1.1	CXP-3	До 85	300
		CXP-6	До 35	600
	CXP 2.0	CXP-12	До 25	1200

В настоящее время самым распространённым интерфейсом является GigE. Он позволяет передавать данные на большие расстояния (до 100 м) с высокой скоростью, без потерь.

#6.

Камеры машинного зрения также отличаются внешним видом, габаритами, типами разъёмов и байонетом.  При использовании камеры на улице или в запылённых производственных помещениях, обратите внимания на класс защиты. Например, класс IP67 означает, что устройство полностью пыленепроницаемое и защищено от частичного или кратковременного погружения в воду. То есть исключается проникновение воды в опасных количествах при погружении камеры в воду на определенное время при определенном давлении. Промышленное исполнение делает камеру дороже, но более универсальной. Это важно, если планируется эксплуатация на производстве, на улице или в запылённых помещениях без дополнительных кожухов. Также, для встраиваемых систем особенно важны габариты и вес камеры, для таких задач специально разрабатывают бескорпусные модули камер.

Байонет - это тип крепления объектива. Широко распространены C-mount, CS-mount и S-mount. Обязательно проверяйте совместимость объектива и камеры. 

Подведем итог

В результате прочтения данной статьи Вы должны были сформировать примерный список требований к Вашей будущей камере:

1. Тип камеры (матричная или линейная);
2. Тип изображения (монохромное, цветное, мульти- или гиперспектральное);
3. Разрешение изображения;
4. Частота кадров и экспозиция;
5. Тип затвора (глобальный или скользящий);
6. Интерфейс камеры.
7. Класс защиты (IP7) и промышленное исполнение.

Основываясь на этой информации, Вы можете с помощью фильтра в каталоге определить, какие камеры подходят для решения Вашей задачи.