книги / Нейронные сети для обработки информации

функции означает наклучшую адаптацию значения у к помехе по* Минимально возможное значение .т равно Е[5г], при которому = по. В этом случае выходной сигнал е соответствует полностью очищенному от шума полезному сигналу я.

Вр»ия

Рис. 6.10. Иллюстрация процессаустранения интерференционного шума

При использовании сети Вольтерри в качестве адаптивной системы следует помншь, что сигнал Л равен измеренному сигналу х - я + ;го, а в качестве входного сигнала сети в данном случае используется установочный сигнал л. Поэтому выходной сигнал у„ может быть определен выражением

Уп =

+ I X - ; [ Ч + I X - * ( 'V + - ) ] | •

(6.22)

Если в рассуждениях ограничиться К = 3 и предположить эргодичность сигналов1, то можно получить следующие уравнения адаптпции весов нейронного фильтра Вольтерри (4, = я„+ по*,):

,

(6.23)

1 Сишал считается эрголическнм, если при расчете его ожидаемого значения усреднение по многим реализациям можно заменить усреднением по одной рсапшаинм стохастического процесса.

На базе приведенных зависимостей было выполнено моделирование нейронного фильтра Вольтерри с К = 3 к I = 3 с помощью программы ЗшшНпк, в ходе которого получены удовлетворительные результаты для таких сигналов) как синусоидальный) прямоугольный, треугольный, а также для суперпозиции синусоидальных сигналов. Применение описанного фильтра позволило устранять шум даже тогда, когда полезный сигнал частично присутствовал в установочном сигнале.

На рис. 6.10 иллюстрируется результат фильтрации сетью Вольтерри, содержащей три скрытых нейрона, сигнала т, образованного суммированием двух синусоидальных сигналов с сильно отличающимися частотами, на который накладывалась помеха, имеющая равномерное распределен не. В системе наблюдалось частичное проникновение полезного сигнала в установочный сигнал. I

Прогнозирование переменных во времени нестационарных сигналов

Блок-схема адаптивной системы для прогнозирования сигналов представлена на рис. 6.П. Введение нелинейности в адаптивное устройство обогащает его внутреннюю струюуру и увеличивает способность к адаптации при решении более сложных задач. При использовании обозначений сигналов, приведенных на рлс. 6.1 1 , выходной сигнал фильтра Вольтерри описывается формулой

адаптации весов находится из дифференциальных уравнении (6.13) - (6.16), причем коикрстрыс компоненты градиента (при ограничении порядком К=3) в этом случае нЦсют вн :

(6.27)

(6.28)

т — я Ьп-кУц + А»»-/Й*+ ^п-кУу+

+ Ь ^уи + Ь*-\Уц •

(6.29)

т

Сеть

а-4 вольтерри

Ряс. 6.11. Схема включения сети Вольтерри в качестве прогнозирующей системы

Рис. 6.12. Иллюстраши адаптационных возможностей сети Вольтерри, решающей задачу протезирования псевдослучайной последовательности:

а) начальная фаза обученна; б) завершающая фаза обучения

Как показали исследования, учет нелинейности фильтра значительно повышает качество прогнозирования. Эго хорошо заметно на примере псевдо­ случайного сигнала, представляющего собрн временной ряд, сформнроваштыи дискретизацией белого шума. 11а рис. 6 .12 представлен процесс адаптации системы, предназначенной для прогнозирования этого сигнала. График на рис. 6.12 а демонстрирует временное распределение дискретизированного шума: фактическое (пунктирная лттия) и спрогнозированное (сплошная линия) на первой стадии адаптации (от 0 до 1-й секунды). Видны существенные отличия между этими временными рядами. На рис. 6.12 6 показано фактическое и спрог­ нозированное адаптивной системой распределение шума по истечении 4,5 сек. Заметно значительное улучшение результатов прогнозирования. Погрешности наблюдаются на тряпицах скачкообразных изменений значений сигнала и имеют небольшую амплитуду. Сравнение полученных результатов с результатами линейного прогнозирования свидетельствует о резком повышении качества прогноза вследствие использования нелинейных элементов.

Раздел 7

РЕКУРРЕНТНЫЕ СЕТИ КАК АССОЦИАТИВНЫЕ ЗАПОМИНАЮЩИЕ УСТРОЙСТВА

7.1. Введение

Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рек)ррешпные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя во входной слой.

Главная особенность, выделяющая эти сети среди других нейронных сетей, - динамические зависимости на каждом этапе функционирования. Изменение состояния одного нейрона отражается на всей сети вследствие обратной связи типа “одни ко многим". В сети возникает некоторый переходный процесс, который завершается формированием нового устойчивого состояния, отличвющсгосл в общем случае от предыдущего. Если, как и прежде, функцию активации нейрона обозначить Дл), где и - это взвешенная сумма его возбуждений, то состояние нейрона можно определить выходным сигналом У1 = /(«//) = /(Х м до). Принимая во внимание, что при обратной связи типа

"один ко многим" роль возбуждающих импульсов для нейрона играют выходные сигналы других нейронов, изменение его состояния может быть описано системой дифференциальных нешшейиых уравнений [46,51]

<7 , )

для 1, 2 ....... ЛГ, где б/ представляет собой пороговое значение, задан­ ное внешним источником (в однонаправленных сетях это показатель поляризации). Коэффициент Г/ является численной константой, а его интерпретация аналогична постоянной времени в уравнениях, описывающих динамические состояния. Состояние нейрона рассчитывается в результате решения дифференциального уравнения (7.1) ках у\ - Дн). При определенном уровне возбуждения нейронов, описываемом значениями их выходных

сигналов уъ рекуррентной сети можно сопоставить энергетическую функцшо Ляпунова [46,51, 54]

Е = -± Е 1	и м , +1-Й /;'(уМл + I V .		(7.2)
2 / 1/*}	М л ( 0	'=1

Она связана с каждым возбужденным состоянием сети и имеет тен­ денцию убывания с течением времени. Изменение состояния какого-либо нейрона иннцнашпнруст изменение энергетического состояния всей сети а направлении минимума се энергии вплоть до его достижения. Обычно существует множество локальных минимумов, каждый из которых пред­ ставляет одно из состояний системы, сформированных на этапе обучения сети. В пространстве состояний локальные энергетические минимумы Е представлены точками стабильности, называемыми аттракторами из-за тяготения к ним ближайшего окружения.

В настоящем разделе будут рассмотрены только отдельные избранные классы сетей, функционирующих в качестве ассоциативных запоминающих устройств. Ассоциативная пвмять играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об ассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора а и Ь, можно говорить о памяти гетсроассоциативиоготипа. Типичным представителем первого класса является сеть Хопфплда, а второго - есть Хсмминга и сеть типа ВАМ (англ.: В!<Игес1юпа1Аиос{а1п>е Метогу - двунаправленная ассоциативная память).

Главная задача ассоциативной памяти сводится к запоминанию входных (обучающих) выборок таким образом, чтобы при представлении новой выборки система смогла сгенерировать ответ - какая из запомненных ранее выборок наиболее близка к вновь поступившему образу. Наиболее часто в качестве меры близости отдельных множеств применяется мера Хеммиига.

При использовании двоичных значений (0, 1) расстояние Хеммиига между

двумя векторами д* = \у\*Уг* ...,.уп]г и	<* = [<А, <й. •••, 4>]г определяется в виде [46]
<*»№) - М	О - У,)+<1 ■- 4 )у ,|	(7.3)

При биполярных (±1) значениях элементов обоих векторов расстояние Хеммиига рассчитывается по формуле

<Му.<0=} | " - Ь л ] •

(7.4)

Мера Хеммиига ровна нулю талью тотда, когда у » ё, В Праги ном случае ока равна количеству битов, на которое различаются оба вектора.

7.2. Автоассоциативная сеть Хопфилда

7.2.1. Основные зависимости

Одины из наиболее известных типов ассоциативной памяти является есть Хопфилда. Обобщенная структура этой сети прсдстовлястся. как прпвило, в виде системы с непосредственной обратной связью выхода со входом (рис. 7.1). Характерная особенность такой системы состоит в том. что выходные сигналы нейронов являются одновременно входными сигналами сети: дгДА) = л ( * - 1), при этом возбуждающий вектор особо не выделяется. В классической системе Хопфилда отсутствует связь нейрона с собственным выходом, что соответствует Щ1= 0, в матрица весов является симметричной: \У =

Рис.7.1.Обобщенииструктурасети Хопфилда

Процесс обучения сети формирует зоны притяжения (аттракции) некоторых точек равновесия, соответствующих обучающим данным. При использовании ассоциативной памяти мы имеем дело с обучающим вектором х либо с множеством этих векторов, которые в результате проводимого обучения определяют расположение конкретных аттракторов (точек притяжения). В последующих рассуждениях в соответствии с рекомендацией Хопфилда будем предполагать, что каждый нейрон имеет функцию активации типа л1&шт со

значениями ±1. Это означает, что выходной сигнал /-го неГфоиа определяется функцией

■*'| = 5Е П ^Х ,1’Л + *<|1

(7-5)

где /V обозначает количество нейронов, N = п.

Для упрощения дальнейших рассуждении допустим, что постоянная составляющая (поляризация), определяющая порог срабатывания отдельных неПронов, является компонентом лектора х Без учета единичных задержек сети, представляющих собой способ синхронизации процесса передачи сигналов, основные зависимости, определяющие сеть Хопфилда, можно представить в виде

*<*> = 5 р /	,	(7.6)
с начальным условием >>, (0) = ху В	процессе функционирования сети	Хоп-

фнлда можно выделить два режима: обучения и классификации. О режиме обучения на основе известных обучающих выборок .г подбираются весовые коэффициенты щ . В режиме классификации при зафиксированных зна­ чениях веерв и вводе конкретного начального состояния нейронов у (0) = х возникает переходный процесс, протекающий в соответствии с выраже­ нием (7.6) и завершающийся в одном из локальных минимумов, для которого

При вводе только одной обучающей выборки х процесс изменений продолжается до тех пор, пока зависимость (7.6) нс начнет соблюдаться для всех N нейронов. Это условие автоматически выполняется в случае выбора значений весов, соответствующих отношению

	(7Л)
поскольку только тогда -М	| = -тг (вследствие биполярных значений
" V - 1	У

элементов вектора л всегда х / = (± I)2 = 1). Следует отметить, что зависимость (7.7) представляет введенное ранее правило Хсбба.

При вводе большего количества обучающих выборок х(А) для к = 1,2,..., р веса щ подбираются согласие) обобщенному правилу Хебба, в соответствии с которым

(7.8)

Благодаря такому режиму обучения веса принимают значения, определяемые усреднением множества обучающих выборок.

В случае множества обучающих, выборок становится актуальным фактор стабильности ассоциативной памяти. Для стабильного функционирования сети необходимо, чтобы реакция 1-го нейрона у р на Лю обучающую выборку л** совладала с ее /-и составляющей х/4. Это означает, что с учетом выражения (7.6) мы получаем

У?

Если взвешенную сумму входных сигналов /-п> нейрона обозначить н/4, то можно выделить в ней ожидаемое значение х/4 и остаток, называемый

диафонией:

=

(ПО)

" /-о*м

Вследствие применения функции акп1ващи1 типа $1&штвыполнение условия (7.9) возможно тогда, коща значение диафонии настолько мало, что оно нс в состоянии изменить знак х/*>. Это означает, что несмотря на определенное несовпадение бггтов (значение диафонии не равно нулю), переходный процесс завершается на нужном аттракторе. Ассоциативная память демонстрирует способности к коррекции. При представлении тестовой выборки, отличающейся некоторым количеством битов на отдельных позициях вектора, нейронная сеть может откорректировать эти биты и завершить процесс классификации на нужном аттракторе.

Важным параметром ассоциативной памяти считается се емкость. Под этим термином следует понимать максимальное количество запомненных образов, которые классифицируются с допустимой погрешностью Злах- В [51] показано, что при использовании для обучения правила Хебба и при выборе значения Зли = 1% (1% битов образца отличается от нормальною состояния) максимальная емкость памяти (количество запомненных образцов) составит всего лишь около 13,8 % от количества нейронов, образующих ассоциативную память. Это свидетельствует о невысокой продуктивности хеббовского обучающего правила. Именно по этой причине оно применяется редко. В качестве альтернативы используются методы обучения, основанные на лссцдоинверсии, которые характеризуются гораздо более высокой эффек­ тивностью обучения.

7.2.2, Режим обучения сети Хопфидда

Фаза обучения сети Хопфилда ориентирована на формирование таких значений весов, при которых в режиме функционирования задание начального состояния нейронов, близкого к одному из обучающих векторов к, при соблюдении зависимости (7.6) приводит к стабильному состоянию, в котором реакция нейронову в х остается неизменной в любой момент времешь

Выше было показано, что применение правила Хсбба для обучения малоэффективно, а в режиме функционирования при наличии шума (когда начальные выборки отличаются от запомненных значений) око приводит к многочисленным неточностям в виде локальных минимумов, далеких ог искомого решения.

Гораздо лучшие результаты можно получтъ, если для обучения исполь­ зуется пссвдоинвсрсня. Отправной точкой этого метода считается пред­ положение, что при правильно подобранных весах каждая поданная на вход выборка х генерирует на выходе саму себя, мгновенно приводя к искомому состоянию (зависимость (7.6». О матричной форме это можно представить в виде

^ Х = Х,	(7.11)
тс \У - матрица весов сети размерностью ЫхЫ, а X -	прямоугольная матрица

размерностью Юхр, составленная из р последовательных обучающих векторов лДО, т.е. Х= [ .т ^ и 2»,.... дДО]. Решение такой линейкой системы уравнений имеет вид (42]:

ТС = Х Х \	(7.12)
т с знак + обозначает псевдоннвсрсню. Сели обучающие	векторы линейно

независимы, последнее выражение можно упростить и представить в форме [42,

100]:
\У =Х (Х ГХ)*1 ХГ	(7.13)

Псевдоикверсия матрицы размерностью №хр в этом выражении заменена обычной инверсией квадратной матрицы ХГХ размерностью р *р. Допол­ нительное достоинство выражения (7ЛЭ) - возможность записать его в итерационной форме, нс требующей расчета обратной матрицы. В этом случае (7.13) принимает вид функциональной зависимости от последовательности обучающих векторов лс^ для /■= I, 2, ...,р :

гх[>У<'-' -д:,0]х

1х (/,]гх ,0 - [ д (<,]г \У‘м >.г1

х(\У1М>*<0 -:с <0]г

(7.14)

при начальных условиях \У*0) = 0. Такая форма предполагает однократное предъявление всех р обучающих выборок, в результате чего матрица весов сети принимает фиксированное значение 1У = \УЙ Зависимость (7.13) либо ее итерационная форма (7.14) называется методах* проекций. Следует подчеркнуть, что применение метода псендолнверсни увеличивает максимальную емкость сети Хопфнддв, которая в этом случае становится равной Ы -1.

Модифицированный оаршигт метода проекций - так называемый метод ^•проекций - это градиентная форма алгоритма минимизации определенной особым образом целевой функции. В соответствии с этим способом веса подбираются рскуррентно с помощью циклической процедуры, многократно повторяемой на всем множестве обучающих выборок: