книги / Нейронные сети для обработки информации

В - размерность К х У, а матрица С - размерность Мх К. В этом прцложешт сеть абсолютно линейна (в том числе и скрытые нейроны). При сопоставлении структуры сети (рис. 8.15) со схемой распространения сигналов, соответствую­ щей зависимости (8.44), видно, что матрицу А образуют веса и^- дня / ~ I , .... К к + 1,...,# + К , матрицу В-весам'д для/= I..... К п ; а I.......Л^аматрицуС - единичные или нулевые веса выходного слоя (сеть КТКМ состоит из одного

слоя, поэтому се выход могут определять только переменные состояния, а в мат­ рице С ненулевыми, т.с. единичными, могут быть лишь диагональные элементы).

Результаты вычислительных экспериментов можно предстаать на примере линейкой динамической системы третьего порядка с од1шм входом и двумя выходами, описываемой матрицами А, В и С вида

0.3	0,1	0,1		0,5'
А = 0	0,4	03	. в =	0,2
0,5	0,1	0,5		0,1

Для определенных таким образом матриц состояния генерировались обучающие даштые в форме последовательности пар "вход - выход" (рис. 8.16), где входной сигнал ы(к) был случайным, а заданный вектор й составлялся из обоих компонентов выходного сигнала и рассчитывался по формуле й = С(я1-А )_,Ви. Таким образом, реализованная нейронная сеть КТЮ4 имела структуру 4-3-2 (4 входных узла: один для внешнего сигнала г/(Лг) и три

Рис. 8.16. Графики обучающихданных (заданные значения) для сети КТКЫ для примера идентификации матрицы переменных состояния:

а) сигналы первого юшура; 6) сигналы второго контура

контекстных узла, 3 скрытых нейрона и 2 выходных нейрона с априори известными весами щ - д ,у). Сеть КТКЫ обучалась на множестве из 500 пар данных. Распределение входных данных, использованных дм обучепня сети, представлено на рис. 8.16. Верхний график прсдставллет заданные эначетм первого контура, а нижний график - данные второго контура.

**нс. 6.17. Графики изменения значений отдельных элементов матриц А к В в процессе обученна сети АТ1Ш

, На рис. 8.17 показан процесс адаптации трех весов сети, составляющих матрицу В (рис. 8.17а) и девяти весов, составляющих матрицу А‘(рнс. 8.170, а, г). Для матрицы А каждый график относится к трем весам соотвётствующей строки матрицы. Достигнутое состояние с фиксированными значениями весов свидетельствует об успешной адаптации: сегй в качестве модели' динамической системы с заданной временной характеристикой, определен­ ной обучающими данными. Идентифицированные значения ,матриц А и В имеют вид:

0,305	0,0675	0,13	0,5
А = 0,012	0,286	0,404 .	§ = 0,2
0,373	0,236	0,506	0,112

Они отличаются от оригинала, несмотря на то, что характеризуются такими же временными реакциями (одинаковые временные характеристики может иметь множество систем различной структуры - система идентификации имеет ьйюго решений). После обучения сеть подверглась тестированию на данных, ^скованных на синусоидальном возбуждающем сигнале. Проводимый тест должен был проверить, насколько хорошо сеть отражает; свойства дина­ мического объекта, в качестве модели которого она используется^ Несмотря на то, что полученные матрицы А и В отличались 6т значений, при которых генерировались обучающие данные, вдеитифицированная система демонст­ рировала такие же свойства, что и оригинальный объект. Времетгые реакции как

-402

50 100 Щ 200 250 300 350 400 450* 500

Выборке

Рнс. 8.18. реакция натренированной сети ЙТЦЫ на синусоидальное возбуждение: а) график значений, фактически полученных на двух выводах модели;'б) трафик соответствующих погрешностей вычислений

на пороговое, так к на синусоидальное возбуждение с высокой точностью совпадали с ожидаемыми значениями. На рис. 8.18 в качестве примера пред­ ставлена реакция системы на синусоидальное возбуждение. График на рис. 8.18 о относится к реакции а обоих входных контурах, а график на рнс. 8.186 - к разностям по отношению к ожидаемым значениям. Минимальное отклонение реакции модели от реакции объекта не превысило значения 0,005 в обоих контурах, что с учетом амплитуды выходного сигнала, равной I, может считаться очень хорошим достижением.

Раздел 9

СЕТИ С САМООРГАНИЗАЦИЕЙ НА ОСНОВЕ КОНКУРЕНЦИИ

Основу самоорганизации нейронных сетей составляет подмеченная закономерность, что глобальное упорядочение сети становится возможным в результате самоорганизуюищх операций, независимо друг от друга проводящихся в различных локальных сегментах сети. В соответствии с поданными входными сигналами осуществляется активация нейронов, которые вследствие изменен!

значений синаптических весов адаптируются к поступающим обучающим выборкам. В процессе обучения наблюдается тенденция к росту значений весов, из-за которой создается своеобразная положительная обратная связь: более мощные возбуждающие импульсы - более высокие значения весов - большая активность нсГ;онов. При этом происходит естественное расслоение нейронов на различные группы. Отдепыше нейроны или их группы сотрудничают между собой и активизируются в ответ на возбуждение, создаваемое конкретными обучающими выборками, подавляя своей активностью другие нейроны. При этом можно говорить как о сотрудничестве между нейронами внутри группы, так и о конкуренции между нейронами внутри группы и между различными труппами.

Среди механизмов самоорганизации можно выделить доа основных класса: самоорганизация, основанная на ассоциативном правиле Хсбба, к механизм конкуренции между нейронами на базе обобщенного правила Кохонсна.

Независимо от способов обучения самоорганизующихся сетей важное значение имеет избыточность обучающих двииых, без которой обучение просто невозможно.

Широкий спектр обучающих данных, включающий многократные повторения похожих друг на друга выборок, образует "базу знаний" для обучения сети, из которой путем соответствующих сопоставлений выводятся реше­ ния по формированию на входе сети определенного отклассифицироваиного вектора.

9.1.Отличительные особенности сетей

ссамоорганизацией на основе конкуренции

В этом подразделе представлены сети с самоорганизацией, основу обучения которых составляет конкуренция между нейронами. Как правило, это однослойные сети, в которых каждый нейрон соединен со всеми компонентами ^-мерного входного вектора х так, как это схематически изображено для N - 2 на рис. 9.1.

Рис. 9.1. Структура самоорганизующейся с е т Кохонсыа

Веса синаптических связей нейронов образуют вектор щ - (щд, игд,.... игдо)7. После нормализации входных векторов при активации сети вектором х в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора. Для и’-го нейрона-

иобеднтеля выполняется отношение
</(х, ) = пип<Дх, 1М() ,	(9.1)

где <7 (.с, к») обозначает расстояние (в смысле выбранной метрики) между векгораш х и и\ а п - количество нейронов. Вокруг нсПрона-нобсдитсля образуется топологическая окрестность ЗД*) с определенной энергетикой, уменьшаю­ щейся с течением времени. Нейрон-победитель и все нейроны, лежащие в пределах его окрестности, подвергаются адаптации, в ходе которой их векторы весов изменяются в направлении осктора х по правилу Кохонено (74]:

для г е ЗДА), ще г}|(А) обозначен коэффициент обучения г-го нсГфОна из окрестности $*{*) в *-й момент времени. Значение ф(А) уменьшается с увеличетюм расстояния между 7-м нейроном и победителем. Веса нейронов, находящихся за пределами не изменяются. Размер окрестности н коэффициенты обучения нейронов являются функциями, значения которых уменьшаются с течением времени. X. Риттер и К. Шультен в [134] доказали, что адаптация по формуле (9.2) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

(9.3)

Е(№)=1,м5,Сл(Щдг' <*)-

а $ (х (* )) представляет собой функцию определения окрестности, изменяющуюся в процессе обучения. Доказано [73, 74, 134], что при таком способе обучения функция плотности распределения векторов н>,- нейронов сводится к дискретизированной плотности распределения вынужденных векторов.

После предъявления двух раэл1гшых векторов х, например Х| и х*. акти­ визируются два нейрона сети, весв которых наиболее близки к координатам соответствующих векторовх\ их*. Эти веса, обозначенные в векторной форме щ

ин>2, могут отображаться в пространстве как две точки. Сближение векторов Х|

и*2 вызывает соответствующее изменение в расположении векторов н>| и и»2. В пределе равенство н*| = н»2 выполняется тогда и только тогдв, когда Х| и X} совпадают или практически неотличимы друг от друга. Сеть, в котором эти условия выполняются, называется топографической картой, или картой Кохонеиа.

9.1.1. Меры расстояния мееду векторами

Процесс самоорганизации предполагает определение победителя каждого этапа, т.е. нейрона, вектор весов которого в наименьшей степени отличается от поданного на вход сети векторах. В эп)й ситуащш важной проблемой становится выбор метрики, в которой будет измеряться расстояние между векторами х и щ. Чаще всего в качестве меры расстояния используются:

»эвклидова мера

•скалярное произведение

881 - х ■н>, - I-1| х||11| || соз (х,ж ,);

(9.5)

* мера относительно нормы И (Манхэттен)

«мера относительно нормы

с1(х, к»/)« щах |ху- \у,у|.

(9.7)

При использовании эвклидовой меры разбиение пространства на зоны доминирования нейронов равносильно мозаике Вороного, в которой пространство вокруг центральных точек образует окрестность доминирования данного нейрона. Использование при самоорганизации любой другой меры вызывает несколько икос разделение сфер влияния нейронов. Следует отметить, что если векторы нс нормализуются, то использование в качестве меры скалярного произведения может привести к несвязному разделению пространства, при котором в одном регионе может находиться несколько нейронов, а в другом не будет ин одного [25].

9.1.2. Нормализация векторов

Доказано, что если хотя бы один из векторовх или н> подвергается нормализации, то процесс самоорганизации всегда приводит к связному разделению прост­ ранства данных. При нормализованных обучающих векторах х стремящиеся к ним векторы весод нг нормализуются автоматически (норма вектора равна I). Однако нормализация вектора весов приводит к тому, «по если ||н^|| = соп&1,то для всех нейронов при фиксированном эпачепнп х произведение ||х||||и«||| также становится постоянной величиной. Поэтому активация нейрона определяется значением со$(х, и*/), которое становится общей мерой для всей сети. Следует отмелгть, что при ]гормализац1П1 вектора весов эвклидова мера и скалярное произведение равнозначны друг другу, поскольку ||х -и ',||г « 1И|?+||иу||г- 2 х г^ Поэтому т1п||х-1^|(; =тах(дсгн^) при ||н^||*соп$1.

Экспериментальные исследования подтвердили необходимость применения нормализации векторов при малой размерности пространства, например при л = 2 пли л = 3. Такая нормализация может проводиться двумя способами:

•переопределением компонентов вектора в соответствии с формулой

•увеличением размерности пространства иа одну координату (Я** -» ЛА+|) с таким выбором значения (7/+1)-го компонента вектора, чтобы

(9.9)

При использовании этого способа нормализации, как правило, возникает необходимость предварительного масштабирования компонентов вектора л* в пространстве Кы для того, чтобы могло выполняться равенство (9.9).

С увеличением размерности входного вектора эффект нормализации становится все менее заметным, и при больших объемах сети (АГ > 200) она перестает оказывать влияние на процесс сомоорганнэощш.

9.1.3. Проблема мертвых нейронов

При инициализации весов сети случайным способом часть нейронов может оказаться в области пространства, в которой отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Таким образом, входные данные будут интерпретироваться меньшим количеством нейронов (мертвые нейроны нс принимают участие в анализе), а почетность интер­ претации данных, )шачс называемая погрешностью квпнтования, увеличится. Поэтому важной проблемой становится активация всех нейронов сети.

Такую активацию можно осуществить, если в плгарнтме обучения предусмотреть учет количества побед каждою нейрона, л процесс обучения организовать так, чтобы дать шанс победить и меисс активным нейронам. Идея такого подхода к обучению возникла при наблюдении за поведением биологических нейронов. Отмечен факт, что исйрон-побсдитсль сразу после победы на некоторое время теряет активность, “отдыхая" перед следующим этапом конкурентной борьбы [143]. Такой способ учета активности нейронов будет называться в дальнейшем мехапигиаи утомления*.

Существуют различные механизмы учета активности нейронов в процессе обучения. Часто используется метод подсчета потенциала р, каждого нейрона, значение которого модифицируется всякий раз после представления очередной реализации входного вектора х в соответствии со следующей формулой (в ней

предполагается, что победителем стал н*-й нейрон):
Р,(* + 1> = !	Л (*) 4 С''* Л,)	(9.10)
Значение коэффициента рт1„	определяет минимальный	потенциал,

разрешающий участие в конкурентной борьбе. Если фактическое значение потенциала р, падает ниже рт\п, /-й нейрон “отдыхает'’, а победитель ищется среди нейронов, для которых выполняется отношение

</(дг, и>*) = гаш{</ (дг, и\)),

(9.11)

для 1 ^ 1 ир,- 2 РшЬ- Максимальное значение потенциала ограничивается на уровне, равном 1. Выбор конкретного значения рт ;л позволяет установить порог готовности нейрона к конкурентной борьбе. При рт!п= 0 утомляемость нейронов не возникает, н каждый из них сразу после победы будет готов к продолжению

1 Оригинальное название сомскпсс тсс/кмшл иногда переводится как .меммнзч

совести,

соперничества (стандартный алгоритм Кохонсна). (Три Дпц, ~ I возникает другая крайность, вследствие которой нейроны побеждают по очереди, так как в каждый момент только одни иэ них оказывается готовым к соперничеству. На практике хорошие результаты достигаются, когда рт\п« 0,75.

В другом очень удачном алгоритме обучения количество побед нейрона учитывастсн при подсчете эффективного расстояния между вектором весов и реализацией обучающего вектора х. Это расстояние модифицируется про­ порционально количеству побед данного нейрона в прошлом. Если обозначить количество побед г'-го нейрона Л',, такую модификацию можно представить

в виде
сЦдг, Н'/) <- ЭД </(х, и \).	(912)
Активные нейроны с большим значением	штрафуются искусственным

завышением этого расстояния. Следует обратить внимание, что модификация расстояния производится только при выявлении победителя. В момоп уточнения весов учитывается фактическое расстояние. Модификация этой характеристики имеет целью активизировать все нейроны путем введения их в область с большим количеством данных. После решения этой задачи (обычно после двух или трех цнклоа обучения) модификация прекращается, что позволяет продолжить "честную” конкуренцию нейронов [139].

9.2. Алгоритмы обучения сетей с самоорганизацией

Целью обучения сети с самоорганизацией на основе конкуренции нейронов считается такое упорядочение нейронов (подбор значений их весов), которое минимизирует значение ожидаемого искажения, оцениваемого погрешностью аппроксимации входного вектора л*, значениями весов ненрона-победителя в котсурентной борьбе. При р входных векторах х и применении эвклидовой метрики эта погрешность, называемая также погрешностью квантования, может быть выражена в виде

(9-13)

где ицд - это вес ненрона-победителя при предъявлении вектора Этот подход также называется векторным квантование." (акт.: Уес/ог

()\гап11гаНоп - У&. Номера кейроиов-нобсдитслей при последовательном предъявлении векторов лг образуют так называемую кодовую таблицу. При классическом решении задачи кодирования применяется алгоритм АГ-усрсдпс- ний (англ.: К-темк), представленный в разделе 5 и носящий имя обобщенного алгоритма Ллойда [89].