Оппонентно-цветовое кодирование изображения
- Информация о материале
- Категория: Оппонентно-цветовое кодирование изображений
- Опубликовано: 19.05.2023 18:51
- Автор: Павел Варгин
В технике кодирование цвета начинается с матричного фотоприёмника, где отдельные его фотоэлементы (сенсели) покрыты оптическими светофильтрами различных цветов. Распределение светофильтров по поверхности матрицы может быть различным у фотодатчиков разных производителей. На рисунке 18 а приведен фильтр (шаблон) Б. Э. Байера сотрудника фирмы Кодак. Этот фильтр содержит элементные светофильтры трёх цветов: красного, зелёного и синего. Фильтр Байера представляет собой регулярную структуру, в которой на два зелёных светофильтра приходится по одному красному и синему. Электрические сигналы сенселей матричного фотоприёмника предназначены для передачи в сторону устройства, воспроизводящего изображение – монитора. Для лучшей детализации воспроизводимого цветного изображения следует распространить значения сигналов сенселей с красными светофильтрами на местоположения ближайших к ним зелёных и синих светофильтров, и аналогично значения сигналов «зеленых» сенселей – на местоположения «красных» и «синих», а «синих» – на местоположения «красных» и «зелёных». На рисунке 18 кроме фрагмента фильтра Байера (18 а), показаны: варианты интерполяции значений цветовых сигналов сенселей на соседние местоположения (18 б); фрагмент трёхкомпонентного сигнального изображения в результате интерполяции (18 в); формирование сигналов субпикселей пикселя изображения монитора (слева) по сигналам пикселей трёхкомпонентного изображения, а также фрагмент изображения монитора (справа) (18 г). Между стадиями в) и г) рисунка 18 обычно присутствует стадия передачи трёхкомпонентного сигнала по линии связи видеокамера (передатчик) – монитор (приёмник). На этой стадии трёхкомпонентный сигнал подвергается кодированию в начале линии и декодированию в конце с различными целями, среди которых: сжатие информации, снижение энергетических затрат передачи, уменьшение возможных искажений сигналов и др. Преобразование сигналов матричного фотоприёмника в трёхкомпонентный выгодно провести в видеокамере для последующего использования универсального кодека при любых шаблонах светофильтров.
В зрительной системе функцию сенселя с цветным светофильтром выполняет колбочка. Интерполяция сигналов колбочек с целью получить цветовые компоненты высокого разрешения не осуществляется. Вместо этого формируются сигналы рецептивных полей, организованных по принципу оппонентности (противоположности). Например, сигналу центральной L колбочки противопоставляется (вычитается из него) сумма сигналов, окружающих её M колбочек (R+G– оппонентность, «on» центр R, «off» окружение G). В обозначении первая буква определяет «цвет» центра РП, вторая периферии, + соответствует «on», а минус «off» реакции. Другой пример: сигналу центральной S колбочки противопоставляется сумма окружающих M и L колбочек (B+Y– оппонентность). Такое формирование называем оппонентно-цветовым кодированием изображения. Если центр рецептивного поля и его периферия формируются из равно взвешенных сигналов всех видов колбочек (L, M и S), то такую оппонентность называем чёрно-белой (W+K–) или (W–K+), имея в виду, что белый и чёрный обозначают разновидности реакций на белую (серую) цветность объектов наблюдения. Обозначения РП этих и других примеров приведены на рисунке 8.
Суммарные сигналы собственных рецептивных полей формируют ганглиозные нейроны сетчатки в виде коротких импульсов – потенциалов действия (спайков) на своих аксонах, составляющих волокна зрительного нерва. Сила сигнала кодируется частотой спайков, что в технике называется частотно-импульсной модуляцией. Совокупность сигналов ганглиозных нейронов представляет собой сигнальное изображение. Передача сигнальных изображений глаз в кору головного мозга осуществляется через промежуточные звенья зрительного тракта. Промежуточные сигнальные изображения называются проекциями на соответствующие части мозга. Известны проекции на наружные коленчатые тела (НКТ), ядра четырёххолмия, зрительную кору и др. Зрение участвует в организации различных функций мозга: отображения окружающей среды, распознавания объектов среды, предсказание и планирование событий в среде, управления исполнительными органами организма. Промежуточные и корковые проекции сигнальных изображений обладают топографической организацией (ретинотопией) и располагаются в местах, обеспечивающих минимизацию длины нейронных связей.
Выберем в качестве простой модели сетчаточного изображения шаблон Байера, предполагая, что красный светофильтр (R – red) соответствует красночувствительному центру РП ганглиозного нейрона, и зеленочувствительному (G – green) крестообразному окружению, то есть моделируется R+G– оппонентность. Синий светофильтр (B – blue) соответствует синечувствительному центру РП и зелёночувствительному (вместо желточувствительного (Y – yellow)) крестообразному окружению, то есть моделируется B+Y– оппонентность. Зелёный светофильтр соответствует белочувствительному (W – white) центру и периферии РП. Некоторое несоответствие приведённым на рисунке 8 видам РП здесь не принципиально, с точки зрения иллюстрации процесса кодирования.
На рисунке 19 а, б, в приведены три цветовые компоненты R, G, и B цветного изображения 19 г. Выборкой элементов этих компонент составляются две одинаковых матрицы Байера 19 д, е с элементами, подкрашенными в цвет соответствующих компонент. Рисунок 19 з показывает с увеличением участок изображения 19 д, обведённый рамкой. Рисунок 19 и показывает с увеличением участок в рамке изображения 19 е. Рисунки 19 з, и показывают и шаблон Байера (см. рис. 18 а) и модуляцию яркости пикселей изображения. Заметим, что шаблон имеет постоянную конфигурацию и не зависит от содержания (модуляции) пикселей изображения. На рисунке 19 ж приведены конфигурации шаблонов, отличные от шаблона Байера, использовуемые в датчиках изображений различных фирм. Любую из этих конфигураций, как и любую цветовую конфигурацию сетчатки, можно смоделировать, применяя цветовые компоненты выбранного изображения и вышеописанный метод. При этом для моделирования периодической конфигурации удобно использовать условные операторы, а для непериодической (как на рисунке 10), можно воспользоваться таблицей размером с изображение. Пример использования условных операторов (if – если) для задания элемента изображения v шаблона Байера в обозначениях Mathcad определяется выражением:
, (8)
где буквами R, G, B обозначены элементы цветовых компонент исходного изображения.
Сигналы колбочек и сенселей не содержат информации об их спектральных характеристиках, при этом местоположение ганглиозного нейрона в сигнальном изображении таких нейронов содержит информацию о структуре его РП.
Сигнальное изображение, полученное методом оппонентно-цветового кодирования исходного изображения, может быть описано свёрткой исходного изображения с весовыми функциями рецептивных полей при учёте цветовой структуры этих полей и последующей выборкой значений свёртки в узлах сетки дискретизации. Учёт цветовой структуры означает наличие информации о типе и весовых коэффициентах каждого рецептивного поля не только на передающем, но и на приёмном конце линии связи (зрительного нерва).
Необходимость учёта цветовой структуры приводит к необходимости настройки линии связи в процессе обучения зрению при развитии организма. Первичная (грубая) настройка местоположения концов волокон зрительного нерва на экране (зоне проекции) происходит при внутриутробном развитии с помощью градиентных молекулярных механизмов в процессе роста нерва, а вторичная (тонкая) в младенческом возрасте в процессе обучения нейронной сети проекционного экрана на основе принципа Хебба [16]. Составными частями молекулярных механизмов являются молекулы: репелленты, аттрактанты и рецепторы. Обучение сети экрана возможно, поскольку в начале обучения каждый элемент (нейрон) экрана связан синапсами своих дендритов с аксонами всех ближайших волокон зрительного нерва. В процессе обучения синаптические контакты с топографически близкими (на сетчатке) волокнами усиливаются, а с далекими – обрываются. Одновременность выходного и входных сигналов – основа обучения нейрона по принципу Д. Хебба, который является нейронным аналогом принципа условного рефлекса И. П. Павлова. При настройке экрана возникает чёткая топографическая структура переданного изображения и, в частности, возможность деконволюции этого изображения с восстановлением исходного. На восстановленное изображение может быть «наложен» шаблон исходного, поскольку он не изменяется, и таким образом получено соответствие между спектральной характеристикой центра РП ганглиозного нейрона и видом соответствующего нейрона проекции. Возможных видов таких нейронов столько, сколько существует видов рецептивных полей. Нейроны каждого вида составляют свое дискретное изображение – цветовую компоненту восстановленного изображения, которая может быть выделена или нет в отдельный слой. Возможны любые преобразования компонент, в частности, их субпикселизация интерполяцией, аналогично показанной на рисунке 18 б. На рисунке 20 предложена модель эволюции сетчаточного изображения в последовательности рисунков от 20 а до 20 е в процессе от ощущения до
восприятия. Здесь: а – сигнальное изображение с наложенным шаблоном светофильтров, б – сигнальное изображение, в – свёртка (конволюция) сигнального изображения с весовой функцией РП, г – деконволюция свернутого изображения эквивалентная изображению б, д – деконволюция с наложенным шаблоном, е – воспринимаемое изображение после интерполяции. Заметим, что рисунок с «наложением шаблона» есть лишь способ подчеркнуть наличие информации о местоположении различных центров РП или соответствующих «пикселей» в сигнальном изображении.
Свёртка и восстановление изображения из свёрнутого при оппонентно-цветовом кодировании производится без учёта вида («цвета») пикселей изображений. Задание вида пикселей обеспечивается их распределением на исходном изображении и топографической (ретинотопической) проекцией их на всех последующих стадиях преобразований.
Противопоставление центра и периферии РП, при котором по линии связи передаётся разность сигналов центра и периферии, приводит к снижению средней мощности передаваемых сигналов изображения. Действительно, бόльшая пиковая мощность сигнала соответствует только границам однородных зон изображения, а самим зонам соответствует малая или нулевая мощность. На рисунке 21 приведены для сравнения по яркости исходное (а) и модуль свёрнутого (б) изображения. Можно видеть максимальное снижение яркости (мощности) для белого фона. Коэффициент снижения средней мощности сигнала изображения определяется выражением:
(9)
где: I, С – исходное и свёрнутое сигнальные изображения.
Для изображений, приведённых на рисунке 21, W(v, L) ≈ 16 раз. Снижение средней мощности передаваемых в мозг сигналов от глаза при свёртке сетчаточного изображения с весовыми функциями РП является важным эффектом обеспечения экономии организмом энергии. Возможно, что другим, не менее важным эффектом, является выделение при свёртке контуров исходного изображения для распознавания зрительных образов, как это видно на рисунке 20 в.