4.1 Искусственный нейрон.
Теория «Модель нейрона Мак-Каллока — Питтса»
В 1943 году исследователи Мак-Каллок и Питтс предложили дискретную математическую модель нейрона – основы устройства мозга.
Модель нейрона Мак-Каллока-Питса (дискретная) является наиболее широко используемой на практике, так как достаточно проста для расчетов и одновременно вполне адекватно отражает работу нейрона. Для детального моделирования процессов, происходящих в нейроне и нейросети, необходимо использовать более сложные варианты, например, динамические модели Ходжкина-Хаксли, Амосова и другие.
Нейроны в модели Мак-Каллока-Питтса упрощенно рассматриваются как устройства, оперирующее двоичными числами, и удобны для построения сети из «нейронов», совокупность которых может выполнять числовые или логические операции любой сложности.
Искусственный нейрон — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона.
Перечислим основные особенности нейрона, представленные в его модели.
1. В модели Мак-Каллока-Питтса нейрон может находиться в двух состояниях: 0 или 1, то есть 0 – не возбужден, 1 – возбужден. Если нейрон возбужден, то на его выходе поддерживается сигнал 1, если не возбужден – 0.
2. Внутри сам нейрон состоит из двух частей: сумматора и активационной функции.
На технических схемах нейрон обозначается кружком (вершиной графа), а связи нейронов – стрелками (связями в графе). На связях ставится вес связи. В кружке указывается значение порога. Нейронная сеть представляется графом.
3. Задача сумматора – получить сигналы X от других нейронов, приходящих к данному нейрону по его входным связям, умножить каждый из них на соответствующее число (k - вес связи) и сложить эти сигналы в общую сумму S по формуле S = Сумма(1, i, ki*xi). Здесь, i – номер входной связи. То есть,
S = k1x1 + k2x2 + … + kixi + … + knxn,
мы имеем дело с линейной функцией S(X). Часто на схемах вес связи обозначают w.
4. Задача активационной функции - нелинейно преобразовать суммарный сигнал S в единственный выходной сигнал нейрона Y:
Y = f(S).
Y является состоянием нейрона и одновременно удерживаемым им его выходным сигналом. Пока состояние Y нейрона не изменится, не изменится его выходной сигнал. Исследователи рассматривают несколько видов функции Y = f(S): ступенчатая, линейчатая (max(0, x) или ReLu), смешанная, сигмоидальная, sign. Выбор активационной функции влияет на точность расчетов нейронной сети, наиболее «физичная» из них - сигмоидальная.
Активационной функция называется потому, что она «решает», возбудится ли нейрон от суммы входных сигналов или нет. Нейрон возбудится, если сумма входных сигналов с учетом весов связей S окажется больше или равна h. Если сумма S окажется меньше h, то нейрон молчит, не возбуждается. Величина h называется порогом возбуждения. Если входные сигналы преодолели порог, то на выходе нейрона появляется 1, если не преодолели – то 0.
У активационной функции с математической точки зрения, таким образом, есть два параметра – крутизна подъема функции L и сдвиг по оси абсцисс h. Нейрон сдвигает порогом h функцию активации Y = f(x) по оси X и весовым коэффициентом связи масштабирует ее в k’ раз по оси Y:
f = k'/(1 + e(-L*(k*x - h))).
Коэффициент L (и весовой коэффициент k) регулирует крутизну функции.
Так как у параллельных нейронов сигналы на выходе суммируются, то таким образом можно сложить несколько элементарных функций активации Y = f(X). Кроме того, нейроны, расположенные последовательно, дают возможность чередовать линейную функцию и простейшую (единичную) нелинейную функцию. Эти два механизма объясняют универсальность и высокую гибкость нейронных сетей при моделировании окружающего нас мира, которые могут реализовать по своей сути функцию любой сложности.
Замечу, порог h в старых схемах часто рисуют в виде числа внутри кружка, изображающего нейрон В новых вариантах изображения сетей порог выносят в виде связи с постоянным значением (–h) и входного сигнала, равного 1 (пример на рисунке), что аналогично в математическом смысле вычитанию значения порога из общей суммы входных сигналов. Последнее время с целью упрощения изображений также перестали рисовать связи, оканчивающиеся стрелками и кружками, заменив их на прямые линии. При этом подразумевается, что сеть передает сигналы слева направо, а знак весового коэффициента указывает на тип связи.
Пример.
На вход нейрона подадим сигналы: X1 = 1, X2 = 1, X3 = 0. Тогда в сумме с учетом входных сигналов и весов связей получится: S = X1*k1 + X2*k2 + X3*k3 + X4*k4 = 1*(-2) + 1*4 + 0*2 + 1*(-3) = -2 + 4 + 0 - 3 = -1. Y = one(-1) = 0. Так как получилось, что S = -1, то есть S < 0, то нейрон «спит», не возбуждается. На выходе нейрона Y = 0.
На вход нейрона подадим сигналы: X1 = 0, X2 = 1, X3 = 1. Тогда в сумме с учетом входных сигналов и весов связей получится: S = X1*k1 + X2*k2 + X3*k3 + X4*k4 = 0*(-2) + 1*4 + 1*2 + 1*(-3) = 0 + 4 + 2 - 3 = 3. Y = one(3) = 1. Так как получилось, что S = 3, то есть S > 0, то нейрон возбужден. На выходе нейрона Y = 1.