2.2. Функции активации нейронов

В общем случае входной сигнал, весовые коэффициенты и значения смещения могут принимать вещественные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Во многих практических задачах входы, веса и смещения могут принимать лишь некоторые фиксированные значения.

Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими. Таким образом, нейрон полностью описывается своими весами w_i и передаточной функцией f(s). Получив набор чисел (вектор) в качестве входов х_i, сумматор нейрона определяет сумму s взвешенных входов.

На сигнал s нелинейный преобразователь отвечает сигналом f(s), который представляет собой выход нейрона у. Примеры активационных функций представлены в табл. 1 и на рис. 2.

Таблица 1

Название	Формула	Область значений
Пороговая		(0, 1)
Знаковая (сигнатурная)		(–1, 1)
Линейная		(–, )
Полулинейная		(–, )
Полулинейная с насыщением		(0, 1)
Сигмоидальная (логистическая)		(0, 1)

Рис. 2. Примеры активационных функций: а – пороговая; б – полулинейная с насыщением; в – сигмоид (логистическая функция); г – сигмоид (гиперболический тангенс).

Одной из распространенных является нелинейная функция с насыщением, так называемая логистическая функция, или сигмоид (то есть функция S-образного вида):

(2)

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0, 1]. Одно из ценных свойств сигмоидальной функции – простое выражение для ее производной:

(3)

которое используется в некоторых алгоритмах обучения. Кроме того, данная функция обладает свойством «усиливать» слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

2.3. Персептроны

Сети для распознавания изображений, подвергаемых сдвигам и поворотам, используют простую нейронную модель, показанную на рис. 3.

Проходя по синапсам, каждый входной сигнал х_i умножается на вес w_i. Элемент  суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае – нулю.

Эти системы (и множество им подобных) получили название персептронов. Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов (рис. 4), хотя имеются и более сложные системы.

Рассмотрим в качестве примера трехнейронный персептрон (рис. 4), нейроны которого имеют активационную функцию в виде единичного скачка.

w₁₂

На n входов поступают входные сигналы x₁, x₂, x₃, …, x_n, проходящие по синапсам w₁₁, w₁₂, w₁₃, … , w_n1, w_n2, w_n3 на три нейрона, образующие единственный слой этой сети и выдающие три выходных сигнала:

(4)

Все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент w_ij задает величину i-й синаптической связи j-го нейрона. Таким образом, процесс, происходящий в нейронной сети, может быть записан в матричной форме:

S = XW, Y = f (S), (5)

где S – вектор выходов сумматоров;

X = {x₁, x₂, x₃, …, x_n}^т – входной сигнальный вектор;

Y = {y₁, y₂, y₃}^т – выходной сигнальный вектор;

f (S) – активационная функция, применяемая поэлементно к компонентам вектора S.

Здесь и далее под вектором понимается вектор-строка.

На рис. 5 представлен двухслойный персептрон, полученный из персептрона, изображенного на рис. 4, путем добавления второго слоя, состоящего из двух нейронов.

Рис. 5. Двухслойный персептрон

Необходимо отметить важную роль нелинейности активационной функции. Если бы она не имела данного свойства или не входила в алгоритм работы нейронов, результат функционирования любой Q-слойной нейронной сети с весовыми матрицами W^(q) для каждого слоя q = 1...Q сводился бы к перемножению входного вектора сигналов X на матрицу:

W_() = W⁽¹⁾ W⁽²⁾ …W^(q) …W^(Q). (6)

Фактически такая Q-слойная нейронная сеть эквивалентна сети с одним скрытым слоем и с весовой матрицей единственного слоя W_():

Y = XW_(). (7)

Работа персептрона сводится к классификации (обобщению) входных сигналов, принадлежащих n-мерному гиперпространству, по некоторому числу классов. С математической точки зрения это происходит путем разбиения гиперпространства гиперплоскостями. Для случая однослойного персептрона

(8)

где _j – порог активационной функции.

Каждая полученная область является областью определения отдельного класса. Число таких классов для персептрона не превышает 2ⁿ, где n – число его входов.

В частности, однослойный персептрон, состоящий из одного нейрона с двумя входами, способен разделить плоскость (двумерное гиперпространство) на две полуплоскости.

Уравнение сети для этого случая

. (9)

После формирования персептрона необходимо провести его обучение, которое сводится для двухслойного персептрона к формированию весов связей между первым и вторым (рис. 5) слоями в соответствии со следующим алгоритмом.

• Шаг 1. Проинициализировать элементы весовой матрицы (обычно небольшими случайными значениями).

• Шаг 2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход.

• Шаг 3. Если выход правильный, перейти на шаг 4. Иначе – вычислить разницу между идеальным d и полученным Y значениями выхода:

 = d – Y. (10)

Модифицировать веса в соответствии с формулой

(11)

где t и (t +1) – номера, соответственно, текущей и следующей итераций;

 – коэффициент скорости обучения, 0 <  < 1;

i – номер входа; j – номер нейрона в слое.

Если d > Y, то весовые коэффициенты будут увеличены и тем самым уменьшат ошибку. В противном случае они будут уменьшены, и Y тоже уменьшится, приближаясь к d.

• Шаг 4. Повторить цикл с шага 2, пока сеть не перестанет ошибаться.

На втором шаге на разных итерациях поочередно в случайном порядке предъявляются все возможные входные векторы. Нельзя заранее определить число итераций, которое потребуется вы­полнить, а в некоторых случаях невозможно и гарантировать полный успех.