Улучшение визуального качества изображений путем поэлементного преобразования

В большом числе информационных систем применяется представление результатов обработки данных в виде изображения, выводимого на экран для использования наблюдателем. Процедуру, обеспечивающую такое представление, называют визуализацией. Желательно при помощи обработки придать выводимому изображению такие качества, благодаря которым его восприятие человеком было бы по возможности комфортным. Часто бывает полезным подчеркнуть, усилить какие-то черты, особенности, нюансы наблюдаемой картины с целью улучшения ее субъективного восприятия.

Последнее - субъективность восприятия - сильно усложняет применение формализованного подхода в достижении данных целей.

Поэтому при обработке изображений для визуализации получили распространение методы, в которых часто отсутствуют строгие математические критерии оптимальности. Их заменяют качественные представления о целесообразности той или иной обработки, опирающиеся на субъективные оценки результатов.

Подавляющее большинство процедур обработки для получения результата в каждой точке кадра привлекает входные данные из некоторого множества точек исходного изображения, окружающих обрабатываемую точку. Однако имеется группа процедур, где осуществляется так называемая поэлементная обработка. Здесь результат обработки в любой точке кадра зависит только от значения входного изображения в этой же точке. Очевидным достоинством таких процедур является их предельная простота. Вместе с тем, многие из них приводят к очевидному субъективному улучшению визуального качества. Этим определяется внимание, которое уделяется поэлементным процедурам. Не преувеличивая их роли, отметим, что очень часто поэлементная обработка применяется как заключительный этап при решении более сложной задачи обработки изображения.

Сущность поэлементной обработки изображений сводится к следующему. Пусть

- значения яркости исходного и получаемого после обработки изображений соответственно в точке кадра, имеющей декартовы координаты

(номер строки) и

(номер столбца). Поэлементная обработка означает, что существует функциональная однозначная зависимость между этими яркостями

, (2.1)

позволяющая по значению исходного сигнала определить значение выходного продукта. В общем случае, как это учтено в данном выражении, вид или параметры функции

, описывающей обработку, зависят от текущих координат. При этом обработка является неоднородной. Однако в большинстве практически применяемых процедур используется однородная поэлементная обработка. В этом случае индексы

в выражении (2.1) могут отсутствовать. При этом зависимость между яркостями исходного и обработанного изображений описывается функцией:

, (2.2)

одинаковой для всех точек кадра.

Цель данной главы состоит в изучении наиболее распространенных процедур поэлементной обработки.

2.1. Линейное контрастирование изображения

Задача контрастирования связана с улучшением согласования динамического диапазона изображения и экрана, на котором выполняется визуализация. Если для цифрового представления каждого отсчета изображения отводится 1 байт (8 бит) запоминающего устройства, то входной или выходной сигналы могут принимать одно из 256 значений. Обычно в качестве рабочего используется диапазон 0...255; при этом значение 0 соответствует при визуализации уровню черного, а значение 255 - уровню белого. Предположим, что минимальная и максимальная яркости исходного изображения равны

соответственно. Если эти параметры или один из них существенно отличаются от граничных значений яркостного диапазона, то визуализированная картина выглядит как ненасыщенная, неудобная, утомляющая при наблюдении. Пример такого неудачного представления приведен на рис. 2.1.а, где диапазон яркостей имеет границы

.

При линейном контрастировании используется линейное поэлементное преобразование вида:

, (2.3)

параметры которого

определяются желаемыми значениями минимальной

и максимальной

выходной яркости. Решив систему уравнений:

,

относительно параметров преобразования

, нетрудно привести (2.3) к виду:

.

Результат линейного контрастирования исходного изображения, представленного на рис. 2.1.а, приведен на рис.2.1.б при


а)	б)

Рис 2.1 Пример линейного контрастирования

. Сравнение двух изображений свидетельствует о значительно лучшем визуальном качестве обработанного изображения. Улучшение связано с использованием после контрастирования полного динамического диапазона экрана, что отсутствует у исходного изображения.

2.2. Соляризация изображения

При данном виде обработки преобразование (2.2) имеет вид [2.1]:

,

где

- максимальное значение исходного сигнала, а

- константа, позволяющая управлять динамическим диапазоном преобразованного изображения. Функция, описывающая данное преобразование, является квадратичной параболой, ее график при

приведен на рис.2.2. При

динамические диапазоны изображений совпадают, что может быть достигнуто при

. Другой путь нормализации динамического диапазона может состоять в применении одного из методов контрастирования, например, описанного выше линейного контрастирования.

Рис. 2.2. Функция, описывающая соляризацию

Как следует из рис.2.2, смысл соляризации заключается в том, что участки исходного изображения, имеющие уровень белого или близкий к нему уровень яркости, после обработки имеют уровень черного. При этом сохраняют уровень черного и участки, имеющие его на исходном изображении. Уровень же белого на выходе приобретают участки, имеющие на входе средний уровень яркости (уровень серого). Пример применения соляризации приведен на рис.2.3.


а)	б)
Рис. 2.3. Пример соляризации

На рис.2.3.а показано исходное изображение, а на рис.2.3.б - результат его соляризации. На втором этапе обработки здесь применено линейное контрастирование при

. Обработка приводит к повышению четкости деталей изображения: улучшены изображения глаз, повышен контраст на переходе “лицо - волосы” и т. д..

2.3. Препарирование изображения

Препарирование представляет собой целый класс поэлементных преобразований изображений. Характеристики применяемых на практике процедур препарирования приведены на рис.2.4. Остановимся на описании некоторых из них.

Преобразование с пороговой характеристикой (рис.2.4.а) превращает полутоновое изображение, содержащее все уровни яркости, в бинарное, точки

которого имеют яркости

или

. Такая операция, называемая иногда бинаризацией или бинарным квантованием, может быть полезной, когда для наблюдателя важны очертания объектов, присутствующих на изображении,


а)	б)	в)

г)	д)	е)

ж)	з)	и)

	к)

Рис.2.4.Примеры преобразований, используемых при препарировании

а детали, содержащиеся внутри объектов или внутри фона, не представляют интереса. Основной проблемой при проведении такой обработки является определение порога

, сравнение с которым яркости исходного изображенияпозволяет определить значение выходного изображения в каждой его точке. Наиболее оправданным для математического описания изображения является применение теории вероятностей, случайных процессов и случайных полей. При этом определение оптимального порога бинарного квантования представляет собой статистическую задачу. Статистическому подходу к обработке изображений в последующих разделах уделяется значительное внимание, в том числе и при решении задачи разделения точек изображения на два класса - так

Рис.2.5. К выбору порога бинарного квантования

называемой бинарной сегментации. Здесь же ограничимся обсуждением частного, но практически важного случая. Иногда при обработке приходится иметь дело с изображениями, хранимыми как полутоновые, но по своему содержанию мало отличающимися от бинарных. К ним относятся текст, штриховые рисунки, чертежи, изображение отпечатка пальца, пример которого приведен на рис.2.6.а. Плотность вероятности

, описывающая распределение яркости такого изображения, может содержать два хорошо разделяющихся пика. Интуитивно понятно, что порог бинарного квантования следует выбирать посредине провала между этими пиками, как это показано на рис.2.5. Замена исходного полутонового изображения бинарным препаратом решает две основные задачи. Во-первых, достигается бóльшая наглядность при визуальном восприятии, чем у исходного изображения. Во-вторых, ощутимо сокращается объем запоминающего устройства для хранения изображения, поскольку бинарный препарат для записи каждой точки бинарного изображения требует лишь 1 бит памяти, в то время как полутоновое изображение для решения той же задачи при наиболее часто применяемом формате представления - 8 бит.

Пример бинаризации изображения отпечатка пальца приведен на рис.2.6.б.

Смысл других преобразований, представленных на рис.2.4, нетрудно понять, рассматривая их характеристики. Например, преобразование рис.2.4.б выполняет яркостный срез изображения, выделяя те его участки, где яркость соответствует выделенному интервалу. При этом остальные участки оказываются полностью “погашенными” (имеют яркость, соответствующую уровню черного). Перемещая выделенный интервал по яркостной шкале и изменяя его ширину, можно детально исследовать содержание картины.


Рис.2.6. Пример бинаризации изображения

          Преобразование, приведенное на рис.2.4.ж, также позволяет повысить детальность наблюдаемой картины в выбранном диапазоне яркостей, однако в отличие от предыдущего здесь выходное изображение использует полный динамический диапазон. По существу, это преобразование представляет собой линейное контрастирование, применяемое к избранному диапазону входного изображения. Как и в предыдущем варианте, участки, не попавшие в этот диапазон, образуют после препарирования черный фон.

          Иногда наглядность изображения повышается применением преобразования типа пилообразного контрастирования (рис.2.4.к). При этом различные яркостные диапазоны одновременно подвергаются локальному яркостному контрастированию. Однако необходимо иметь в виду, что данное преобразование, как и некоторые другие, может сопровождаться появлением ложных контуров на получаемом препарате.

          Аналогично можно качественно рассмотреть и остальные процедуры препарирования, представленные на рис.2.4.

          На рис.2.7 приведены результаты эксперимента, в котором к аэроснимку участка земли (рис.2.7.а) применялись преобразования типа пороговая обработка (рис.2.7.б) и пилообразное контрастирование (рис.2.7.в). Первое приводит к выявлению границ отдельных участков, создавая общее интегральное представление о наблюдаемой сцене. Второе, наоборот, дает возможность наблюдения мелких деталей на всех участках изображения.

Сочетание двух таких возможностей может оказаться полезным наблюдателю.


а)	б)

в)
Рис.2.7. Примеры препарирования изображения

          В заключение отметим, что препарирование часто используется и в автоматических системах обработки визуальной информации, поскольку подготавливаемый при этом препарат может содержать всю информацию, необходимую для последующей (вторичной) обработки. Например, если при наблюдении из космоса требуется автоматически обнаружить на изображении некоторый объект, имеющий известную конфигурацию, то для этого может быть достаточно бинарного препарата, передающего эту конфигурацию.



2.4. Преобразование гистограмм, эквализация

          При всех поэлементных преобразованиях происходит изменение закона распределения вероятностей, описывающего изображение. Рассмотрим механизм этого изменения на примере произвольного преобразования с монотонной характеристикой, описываемой функцией

(рис.2.8),

Рис.2.8. Нелинейное преобразование случайной величины

имеющей однозначную обратную функцию

. Предположим, что

случайная величина

подчиняется плотности вероятности

. Пусть

- произвольный малый интервал значений случайной величины

, а

- соответствующий ему интервал преобразованной случайной величины

. Попадание величины

в интервал

влечет за собой попадание величины

в интервал

, что означает вероятностную эквивалентность этих двух событий. Поэтому, учитывая малость обоих интервалов, можно записать приближенное равенство:

,

где модули учитывают зависимость вероятностей от абсолютных длин интервалов (и независимость от знаков

приращений

). Вычисляя отсюда плотность вероятности преобразованной величины, подставляя вместо

его выражение через обратную функцию и выполняя предельный переход при

( и, следовательно,

), получаем :

. (2.4)

Это выражение позволяет вычислить плотность вероятности продукта преобразования, которая, как видно из него, не совпадает

с плотностью распределения исходной случайной величины. Ясно, что существенное влияние на плотность

оказывает выполняемое преобразование, поскольку в (2.4) входит его обратная функция и ее производная.

Соотношения становятся несколько сложнее, если преобразование описывается не взаимно-однозначной функцией [2.2]. Примером такой более сложной характеристики с неоднозначной обратной функцией может служить пилообразная характеристика рис.2.4.к. Однако, в общем, смысл вероятностных преобразований при этом не изменяется.

Все рассмотренные в данной главе поэлементные преобразования изображений можно рассмотреть с точки зрения изменения плотности вероятности, описываемого выражением (2.4). Очевидно, что ни при одном из них плотность вероятности выходного продукта не будет совпадать с плотностью вероятности исходного изображения (за исключением, конечно, тривиального преобразования

). Нетрудно убедиться, что при линейном контрастировании сохраняется вид плотности вероятности, однако в общем случае, т.е. при произвольных значениях параметров линейного преобразования, изменяются параметры плотности вероятности преобразованного изображения.

Определение вероятностных характеристик изображений, прошедших нелинейную обработку, является прямой задачей анализа. При решении практических задач обработки изображений может быть поставлена обратная задача: по известному виду плотности вероятности

и желаемому

виду

определить требуемое преобразование

, которому следует подвергнуть исходное изображение. В практике цифровой обработки изображений часто к полезному результату приводит преобразование изображения к равновероятному распределению [2.3]. В этом случае

(2.5)

где

- минимальное и максимальное значения яркости преобразованного изображения. Определим характеристику преобразователя, решающего данную задачу. Пусть

связаны функцией (2.2), а

- интегральные законы распределения входной и выходной величин. Учитывая (2.5), находим:

.

Подставляя это выражение в условие вероятностной эквивалентности

,

после простых преобразований получаем соотношение

, (2.6)

представляющее собой характеристику (2.2) в решаемой задаче. Согласно (2.6) исходное изображение проходит нелинейное преобразование, характеристика которого

определяется интегральным законом распределения самого исходного изображения. После этого результат приводится к заданному динамическому диапазону при помощи операции линейного контрастирования.

Аналогичным образом могут быть получены решения других подобных задач, в которых требуется привести законы распределения изображения к заданному виду. В [2.4] приведена таблица таких преобразований. Одно из них, так называемая гиперболизация распределения, предполагает приведение плотности вероятности преобразованного изображения к гиперболическому виду:

(2.7)

Если учесть, что при прохождении света через глаз входная яркость логарифмируется его сетчаткой, то итоговая плотность вероятности оказывается равномерной. Таким образом, отличие от предыдущего примера заключается в учете физиологических свойств зрения. Можно показать, что изображение с плотностью вероятности (2.7) получается на выходе нелинейного элемента с характеристикой:

,                                         (2.8)

также определяемой интегральным законом распределения исходного изображения.

          Таким образом, преобразование плотности вероятности предполагает знание интегрального распределения для исходного изображения. Как правило, достоверные сведения о нем отсутствуют. Использование для рассматриваемых целей аналитических аппроксимаций также малопригодно, т.к. их небольшие отклонения от истинных распределений могут приводить к существенному отличию результатов от требуемых. Поэтому в практике обработки изображений преобразование распределений выполняют в два этапа.

          На первом этапе измеряется гистограмма

исходного изображения. Для цифрового изображения, шкала яркостей которого, например, принадлежит целочисленному диапазону 0...255, гистограмма представляет собой таблицу из 256 чисел.

Каждое из них показывает количество точек в кадре, имеющих данную яркость. Разделив все числа этой таблицы на общий размер выборки, равный числу используемых точек изображения, получают оценку распределения вероятностей яркости изображения. Обозначим эту оценку

Тогда оценка интегрального распределения получается по формуле:

.

          На втором этапе выполняется само нелинейное преобразование (2.2), обеспечивающее необходимые свойства выходного изображения. При этом вместо неизвестного истинного интегрального распределения используется его оценка, основанная на гистограмме. С учетом этого все методы поэлементного преобразования изображений, целью которых является видоизменение законов распределения, получили название гистограммных методов. В частности, преобразование, при котором выходное изображение имеет равномерное распределение, называется эквализацией (выравниванием) гистограмм.

          Отметим, что процедуры преобразования гистограмм могут применяться как к изображению в целом, так и к отдельным его фрагментам. Последнее может быть полезным при обработке нестационарных

изображений, содержание которых существенно различается по своим характеристикам на различных участках. В этом случае лучшего эффекта можно добиться, применяя гистограммную обработку к отдельным участкам.

          Использование соотношений (2.4)-(2.8) , справедливых для изображений с непрерывным распределением яркости, является не вполне корректным для цифровых изображений. Необходимо иметь в виду, что в результате обработки не удается получить идеальное распределение вероятностей выходного изображения, поэтому полезно проводить контроль его гистограммы.



а) исходное изображение	б) результат обработки
Рис. 2.9. Пример эквализации изображения

На рис.2.9 приведен пример эквализации, выполненной в соответствии с изложенной методикой. Характерной чертой многих изображений, получаемых в реальных изображающих системах, является значительный удельный вес темных участков и сравнительно малое число участков с высокой яркостью.

Эквализация призвана откорректировать картину, выровняв интегральные площади участков с различными яркостями. Сравнение исходного (рис.2.9.а) и обработанного (рис.2.9.б) изображений показывает, что происходящее при обработке перераспределение яркостей приводит к улучшению визуального восприятия.

2.5. Применение табличного метода

при поэлементных преобразованиях изображений

При поэлементных преобразованиях изображений вычисления по формуле (2.2) должны быть выполнены для всех точек исходного изображения. Даже при не очень трудоемких вычислениях в соответствии с видом применяемого преобразования общий объем вычислительной работы, выполняемой ЭВМ, может оказаться значительным. В тех же задачах, где функция

в (2.2) предполагает трудоемкие вычисления (умножения, деления, расчеты тригонометрических выражений, степенных и других функций), применение прямого метода преобразования яркостей может оказаться вообще неприемлемым. Неудобным является и то, что время выполнения обработки зависит от ее вычислительной сложности. От этих недостатков избавлен табличный метод, получивший широкое распространение в практике цифровой обработки изображений.

Сущность табличного метода состоит в том, что путем предварительного расчета создается таблица функции

, общий вид которой показан в

табл.2.1.

	.	.	.	.	.
	.	.	.	.	.
Табл.2.1. Табличное задание функции

При обработке изображения вместо вычислений используются готовые результаты путем обращения к этой таблице. При этом значение входной яркости

служит для определения номера столбца, из которого должна быть считана величина преобразованного сигнала

. Выполнение этой несложной операции по сравнению с вычислением на каждом шаге значения

позволяет сделать обработку достаточно технологичной, причем ее продолжительность оказывается независящей от сложности преобразования.

Необходимо иметь в виду, что все реальные таблицы, которые могут быть записаны в оперативной памяти ЭВМ, имеют ограниченную длину. Если множество значений входного сигнала превышает размеры таблицы, то при попадании значения

между точками, содержащимися в ней, приходится применять интерполяцию - приближенное определение недостающих значений функции

по имеющимся ее соседним значениям. Часто для этой цели используется линейная интерполяция, при которой на участке между заданными узлами незаданная функция заменяется отрезком прямой.

Вместе с тем, если исходное изображение представлено в целочисленной записи в диапазоне 0..255, то размеры полной таблицы, содержащей все эти значения, вполне приемлемы для ее хранения. Кроме того, в этом случае значение яркости исходного сигнала служит адресом, определяющим номер столбца в таблице. Обработка с использованием этого метода оказывается очень удобной и быстродействующей.

ВОПРОСЫ К ГЛАВЕ 2

2.1. В чем состоит сущность поэлементной обработки изображений ?

2.2. Как определяются параметры преобразования изображения при его линейном контрастировании ?

2.3. Поясните механизм действия поэлементных преобразований, применяемых при препарировании изображения (рис.2.4).

2.4. Каков механизм появления ложных контуров при применении пилообразного контрастирования? При каких еще процедурах могут возникать ложные контуры?

2.5. Докажите, что применение линейного контрастирования не изменяет вида плотности вероятности изображения. Как при этом изменяются параметры плотности вероятности?

2.6. Докажите справедливость преобразования (2.7) для получения гиперболического распределения (2.6).

2.7. Докажите, что применение гиперболизации распределения яркости приводит к равновероятному распределению сигнала на выходе сетчатки глаза, если учесть ее логарифмирующее воздействие на входной свет.

2.8. Поясните, почему при эквализации изображения не удается привести гистограмму к идеальному равномерному виду ?

Содержание раздела