книги / Нейронные сети для обработки информации

Использование в преобразовании Фурье различного количества ориги­ нальных выборок (х/, у{) отражается на размерности формируемых векторов Р. Для унификации процесса обработки данных количество наиболее значимых компонентов этого преобразования устанавливается априорно. Согласно теории преобразования Фурье [64] наиболее значимыми для отображения структуры компонентами считаются пары координат Р\ и Рц(-\, следующими - Рг и Рам к т.д. При определении К таких пар формируется редуцированное представление вектора Р* - [О, Р\, Р 2, .... Рк, Рм-к, ...» Рц~2, Ра м ]. которое независимо от количества измерительных выборок, использованных а преобразовании Фурье, имеет одну и ту же априорно установленную размерность (2К+1).

Инвариантность относительно масштаба образа можно обеспечить нормнрооанием всех высших компонентов разложения Фурье* амплитудоП компонента, соответствующего парс Р\ и Рщ-\. Если обозначить коэффициент

масштабирования Кп то его можно определить выражением [30, 151]
к . = > /и г + к « г	(4.31)

В этом случае нормализация компонентов Г* вектора Г выполняется согласно

формуле
А	(4.32)

К,

При таком преобразовании данных полученная форма вектора Р не зависит от размера образа.

Преобразование Фурье состоит из компонентов, допускающих оригинальную качественную интерпретацию. Пары компонентов (Р'| , Рм-\), (Р2 , Ри-2) и т.д. имеют свой эквивалент в обрапюм преобразовании ЮГГ, которое, в частости, для только одной (первой) пары можно представить в виде

2-=^ (г'Ч 'у^ ) +'Гм|ехр('уМ^ :1Н))=

4

4

7

(4.33)

с м М - ' ^ ) +^ ' Ч ' л г ) }

Уравнение (4.33) описывает эллипс. Первая пара (Р \, Рам) задает главный эллипс с наиболее длинной осью, вторая пара (Р2 , Рм-7) - следующий по величине и т.д. Поворот кривой относительно начальной позиции вызывает поворот главной оси эллипса. Поэтому для обеспечения нсиэменкости измерительных данных относительно угла их поворота следует нормализовать положение этой оси. Коэффициент нормализации угла поворота может быть определен выражением [30,151]

		(4.34)
где	и	это углы степенного представления комплексных чисел Р\ и Ран

соответственно. Нормализация данных, обеспечивающая их инвариантность

Риг. 4.11, Влияние нормализации л учета ограниченного количества дескрипторовФурье на представление кривой с большим содержанием шума:

о) форма исходной кривой; 6) нормализованная форма кривой, содержащая вседескрипторы Фурье; а) нормализованная форма кривой, содержащаятолько пять пар

дескрипторовФурье

относительно угла поворота, основами на умножении каждого компонента вектора преобразования Фурье Рь на коэффициент К,'

(4.35)

После такого преобразования вектор характеристик образа, подаваемый на вход нейронной сети, не будет зависеть от угла поворота этого образа. Аналогично можно унифицировать выбор точки начального описания образа

(151].Последовательное выполнение олкевнпых преобразований применительно

кисходным компонентам вектора Р обеспечивает полную инвариантность

относительно перемещения, поворота и масштабирования. Компоненты преобра­ зованного таким образом вектора называются дескрипторами образов.

Важным следствием применения преобразования Фурье в качестве препро­ цессора считается уменьшение зависимости результатов распознавания от шума, возмущающего измерения. Помехи, как правило, имеют характер высокочастотного шума. В преобразовании Фурье это соответствует полосе разложения в высокочастотном диапазоне (компоненты высшего, порядка вектора Р). Отсечение этих компонентов вызывает автоматическое умень­ ш и те уровня шума в образе сигнала после его воспроизведения. На рис. 4.11 иллюстрируется влияние конечного количества дескрипторов Фурье на форму воспроизведенных образов (30]: оригинальный зашумленный образ (рис.л); образ, воспроизведенный с использованием оссх 64 дескрипторов Фурье (рис. б), образ, воспроизведенный с использованием пяти наиболее зна­ чимых нормализованных дескрипторов Фурье (рис. в). Из рисунка видно, что уменьшение количества дескрипторов Фурье автоматически повышает ка­ чество воспроизведенного образа. Коррекция качества заметна также и при анализе численных значений дескрипторов Фурье. Из анализа затушенных данных следует [31], что даже при значительном присутствии шума в измерительных сигналах амплитудные характеристики дескрипторов изме­ няются очень незначительно. Это очень полезное качество для распозна­ вания образов, скрытых сильными помехами.

Нейронный классификатор

Выходные сигналы препроцессора в виде послсдоватслыюстн компонентов дескрипторов Фурье после преобразования, обеспечивающего инвариант­ ность к перемещению, повороту и масштабированию, становятся входными сигналами для многослойной нейронной сети, играющей роль системы распознавания образов и одновременно выполняющей их классификацию (отнесение каждого образа к соответствующему эталонному классу). Количество входных узлов сети равно количеству дескрипторов Фурье, учитываемых при классификации. Если допустить, что каждый выходной нейрон представляет единственный класс, то их количество также будет постоялкой величиной, равной числу классов. Поэтому о соответствии с методикой, предложенной в начале настоящего раздела, подбираться может только количество скрытых слоев и число нейронов в каждом слое.

Классификатор тренируется методом обралюго распространения с использованием одного из обучающих алгоритмов на множестве обучающих данных, последовательно представляющих все классы образов, подлежащих распознаванию. О режиме воспроизведения классифицируемый образ, прошед­ ший через все фазы препроцессора, подается на вход сети, возбуждая тот выходной нейрон, который соответствует требуемому классу.

Из-за зашумленности образов на этапе их распознавания выходные сигналы нейронов сети могут принимать непрерывные значения из интервала [0, 1] вместо

сети персептроппой использования Примеры

Рис. 4.12. Примеры образов, использованных в численном эксперименте, связанном с классификацией

ожидаемых бинарных нуль-едшшчных значений (с единицей, обозначающей распознанный класс).

Один из способов решения згой проблемы заключается в том, что в качестве представителя распознанного класса'признается наиболее активный нейрон (выработавший самый сильный выходной сигнал). Однако такой подход не позволяет сравнивать активность различных нейронов и приводит к ситуации, в которой решение о победе конкретного нейрона принимается даже тогда, когда активность всех нейронов близка к нулю. Это может приводить к ошибочной классификации.

Нвилучшнм подходом представляется двухуровневая интерпретация. Вначале проверяется, насколько максимальный сигнал превышает следующий за ним. Если эта разница достаточно велика, победителем признается наиболее активный нейрон. В противном случае, в также если уровни активации всех нейронов не превышают определенного порога, интерпретатор при объявлении результата сообщает, что классификация считается неполной и тем самым предостерегает пользователя от возможной ошибки.

Подобная реализация нейросетевого классификатора, была апробирована при распоэнавашп! и классификации многих разнообразных образов, в том числе букв и цифр, предметов, объектов и т.п. На рис. 4.12 представлено тестовое множество объектов различных классов, которые распознавались с использовагшем персептроиной сети. После предварительной обработки этих да]шых с помощью преобразования РРТ были сформированы 18-элсметные векторные дескрипторы (пять пар наиболее значимых коэффициентов

Фурье для амплитуды н для	фазы,	при	этом имеющие	нулевые	зна­
чения фазовые компоненты	и Рм.\	не	использовались).	В ходе	мно­

гочисленных экспериментов количество скрытых нейронов выбрано равным 8. Применялась простейшая интерпретация результатов.1 Выход­ ной сигнал в диапазоне 0 -0,5 рассматривался как нулевой, а свыше 0,5 как единица. После нормализации компонентов преобразования Фурье эффектив­ ность распознавания ыеэашумленных сигналов составила 100 %. Только значи­ тельная зашумленность измерительных сигналов (исходные данные зрительно почти не распознавались) с уровнем шума порядка 70 % уменьшила эффектив­ ность распознавания до 90 %.

4.6.2. Нейронная сеть для сжатия данных

Задача сжатия (компрессии) данных состоит в уменьшении количества хранимой или передаваемой информации с возможностью ее полного восстановления (декомпрессии). Применение нейронной сети позволяет получ1гть новые решения для сжатия с лотерей (с допустимой утратой определенной части информации) при хороших обобщающих способностях и относительно высоком коэффициенте компрессии.

Для нллюстрацин будем использовать линейную сеть с однимскрытым слоем» изображенную на рис. 4.13. Количество нейронов выходного слоя равно числу узлов входного сДоя. Скрытый слой, содержит д нейронов, причем <7 « п. Входной и скрытый слои выполняют собственно компрессию данных, тогда как скрытый и выходной слои осуществляют декомпрессию. Сеть является автоассоциативной, поэтому ее обучающий вектор </ совпадает с входным вектором х, а выходные сигналы сети соответствуют входным сиг­ налам^.

Рис. 4.13. Структура нейронной сети для сжатияданных

Компрессии подвергаются данные, разделенные ив кадры, представ­ ляемые последовательностью л-элсмстпиых векторов (п - количество входных

узлов). Кадры имеют	форму прямоугольника с размерами /> пикселов
по горизонтали и ы -	по вертикали: Градации интенсивности пикселов, вхо­

дящих в кадр, задаются значениями компонентов вектора дг. Пример разделения изображения на кадры с последующим соотнесением повторяющихся пик­ селов изображения вектору дг представлен на рис. 4.14.

Поскольку 4 « п, в скрытом слое может храниться меньше ин­ формации, чем во входном слое, однако она будет релрезетггивиой для множества данных и достаточной для реконструкции с заранее заданной точностью оригинальных входных данных. Сигналы скрытого слоя образуют шовные компоненты преобразования РСА (англ.: Ргшфа! СотропешАпа1у5и), К) которых к образуется информационное ядро [29, 82]. Количество этих компонентов равно числу нейронов ц скрытого слоя. Большее значение д соответствует увеличению объема информации, хранящейся в нейронах скрытого оло)|| что в свою очередь обеспечивает лучшее восстановление входной информации в процессе декомпрессии. В примере используется полностью линейная сеть. Веса скрытого слоя в матричной форме обозна­ чаются а выходного слоя -\У<Ч

02

Рнс. 4.14. Иллюстрация способа разделения образа на прямоугольные кадры

С учетом однонаправленного распространения сигналов можно получить:

•вектор сигналов скрытого слоя (сжатые сигналы):

А -ДЧМ г;

(4.36)

вектор выходных сигналон (сигналы, восстановленные в результате декомпрессии):

х = \И 2>А =А = \У<2> . (4.37)

Обучение сети, состоящее в оптимальном подборе весов, образующих матрицы \У(|> н ДУ(2>, направлено на то, чтобы разность между к рля

всех N составляющих вектора х<* при / = I, 2......р (где р обозначено количество векторов) была минимальной. Целевая функция, удовлетворяющая этому условию, может быть определена в виде

(4.38)

Вследствие прямоугольное™ обеих матриц ДУ*1* и \У*2* аиалитичёсш решения этой задачи нс существует, а результат процесса минимизации целевой функции (4.38) неоднозначен по отношению к решению, получаемому путем преобразования Карьюнсна-Лёвс, потому что любые матрицы, представляющие собой линейные трансформации матриц ДУ*1* и ДуГО будут одинаково хорошо отвечать уравнению (4.37).

Поскольку количество нейронов скрытого слоя озрвиичено, данные, восста­ новленные в результате декомпрессии (и обозначаемые х ). будут иметь опрсделеииую погрешность. Меру згой погрешности определим в форме М8В как

« •» »

где р -	это количество кадров, Л и V - размер кадра соответственно по осям
х н у,	ъ N - размерность вектора данных, составляющих каждый кадр,
причем АГ= А*».

Важны»! порамстром, характеризующим соотношение количества информа­ ции, содержащейся в образе до его компрессии, к количеству информация, опи­ сывающей сжатый образ, считается коэффициент компрессии, отражающий отно­ шение исходного и сжатого количества информации и определяемый в виде

-----

рхц*Т+ цх Ых(

где Г и г обоэцачаюг количество кодируемых битов для данных и весов соответственно. При большом количестве кадров (р»Ю ) в знаменателе доминирует первый фпктор, поэтому формулу расчета коэффициента компрессии можно упростить и представить как отношение коиичесгв входных нейронов N к

скрытых д, те. К ,- —. Чем больше значение Кг,тем больший эффект достигается при хранении или передаче информации. Вместе с тем обучение сети становится все более сложным, и, как правило, в восстановленном образе появляется все больше искажений.

Уровень декомпрессионного искажения чаще всего оценивается коэффициен­ том Р8МП (англ.: Реак 5У#ла/-/о-Л/ойе ЯаИо), измеряемым в децибелах и опреде­ ляемым в виде

РЗЫК=10 1 8 ^ * 7 ^	,	(4.41)
М8Е
где к - количество битов, используемых	для	кодирования градаций

интенсивности изображения. При 8-битовом представлении коэффициент Р5>Ж рассчитывается по формуле

Р8МК-10 1в— .	(4.42)
В М8Е

Большее значение коэффициепта Р8ЫЯ соответствует лучше»(у качеству ВОССТОНОВЛСИкого изображения. Для достижения наилучшнх результатов обучения сети, предназначенной для сжатия данных, необходимо в качестве Обучающих выборок использовать как можно большее количество различных образов, хотя вполне удовлетворительные показатели дает и обучение па всего лишь одном изображении. После фиксации подобранных значений весов сеть может использоваться в качестве системы кодирования (скрытый слой) либо декодирования (выходной слой) произвольных образов.

На рис, 4.15а представлен исходный образ "Бабуин", который подвергался вначале кодированию, я затем декодированию с помОщью 'нейронной сети, имеющей по 64 входа к выхода. Приведенное на рнс. 4.156 восстановленное Изображение получено блвгодпря пяти скрытым нейронам (коэффициент компрессии около 12). Исходное изображение имело размер 512x512 пикселов. Сеть былапредварительно обучена на другом образе "Лес* [114], имеющем

состояния х € Л", и -		входного вектора и €	Л'\ ау - выходного векторау е Я*1,
то общее	описание	нелинейной системы,	функционирующей	в дискретном
времени,	может, быть представлено в виде
		* ( Ж ) = *(*(*), «(*));		(4.43)
		у№=У[х{к)),		(4.44)

ше х(А), ы(*), >■(*) обозначают векторы мгновенных значений соответствующих переменных, ф и у - знаки векторных статистических нелинейных функций, 0е Л \ 1р€ ЛЛ/, определяющих инвариантный во времени конкретный нели­ нейный объект.

В отличие от линейных уравнений связи, определяемые нелинейными зави­ симостями, более сложны, к до настоящего времени не существует универсаль­ ногометода их аналитического решения. В качестве его заменителя применяются приближенные математические модели, уточняющиеся в процессе обучения.

Таким образом, проблема идентификации объекта сводится к построению такой его параметрической модели, чтобы отклики объекта >•(*) и модели уДО) на одно и то же возбуждение и(к) совпадали в пределах допустимой погрешности г. т.с.

\\у -у \\* е .

(4.45)

Среди многих возможных подходов к реализации такой нелинейной системы выберем способ, основанн й па применении нейронной сигмоидальной сети, в общем случае многослойной. На рис. 4.16 представлена универсальная схема подключения нейронной сети в качестве нелинейной модели динамической системы.

Если ограничиться одним входом и выходом, в также представить векторы возбуждения и и отклике объекта у состоящими из элементов запаздывания, т.е. «(*)■= И *), н(*-1),.... и(к-р)]т,}{к) = [>{*),>{*-!). то общее описание нелинейной динамической модели можно' выразить без вектора состояния х в форме

У(*+ 0 =/0<*). *(*))•

(4.46)

В этом уравнении у ( Ж ) обозначает отклик нелинейного объекта в момент Ж , а у(к+1) - отклик нейронной модели этого объекта в тот же момент времени. Разностный сигнал « ( Ж ) = у ( Ж ) - у ( Ж ) управляет процессом адаптации параметров модели. Ряд элементов запаздывания нв входе системы образует линию задержки с ответвлениями (англ.: ТарредОе!ау Ше - ТО.I).

В случае применения, для идентификации объектов нейронная сеть, как правило, подключается порядково-параллельным способом и использует для предсказания задерживаемые отклики объекта так, кпк это показано на рис. 4,16. Достоинства такого подключения - это, во-первых, гаронтированная ограничен­ ность входных сигналов модели, представляющих собой прошедшие через элементы задержки отклики объекта (он априорно считается устойчивым), во-