Implementation of a neural WTA-network on the memristor crossbar.pdf Искусственная нейронная сеть обычно использует матрицу весовых коэффициентов для представления множества синапсов слоя нейронов. Соответственно вычисление активации слоя нейронов можно рассматривать как умножение этой матрицы весов на вектор входных сигналов слоя. Аппаратная реализация нейронной сети требует много памяти для хранения матрицы весов слоя нейронов и является дорогостоящей. Решение этой проблемы упрощается при использовании в качестве ячейки памяти устройства, называемого мемристором. Мемристор был предсказан теоретически в 1971г. Леоном Чуа [1]. Первую физическую реализацию мемристора продемонстрировала в 2008 г. лаборатория фирмы «Hewlett Packard» в виде тонкоплёночной структуры TiO2 [2]. В России первый мемристор на основе TiO2 получен в 2012г. в Тюменском государственном университете. Мемристор имеет много достоинств, таких, как энергонезависимость хранения информации, малое потребление энергии, высокая плотность интеграции и замечательная масштабируемость. Уникальная способность сохранять следы возбуждения устройства делает его идеальным кандидатом для реализации синапсов в электронных нейронных сетях. Мемристор ведет себя подобно синапсу: он «запоминает» полный электрический заряд, прошедший через него. Память, основанная на мемристо-рах, может достигать очень высокой степени интеграции 100 Гбит/см2, в несколько раз более высокой, чем на основе технологии флэш-памяти. Эти уникальные свойства делают мемристор многообещающим устройством для создания массово-параллельных нейроморфных систем. Мемристорный кроссбар содержит мемристор на каждом пересечении горизонтальных и вертикальных проводников. Он интересен для реализации матриц соединений в нейронных сетях, поскольку может обеспечить большое число сигнальных связей и вычислить взвешенную комбинацию входных сигналов. Слой WTA-нейронов (Winner Takes All) может быть описан выражением N y = f (ai), ai = E WijXj, (1) j=0 где wi - вектор весов i-го нейрона, i = 1,... ,p; f - функция активации нейрона; x - вектор входных сигналов слоя нейронов; yi - выходной сигнал i-го нейрона. Предполагается, что Xj, j = 1,... , N - сигналы, образованные входным объектом сети, x0 = 1, wi0 - порог i-го нейрона. Входной вектор x относится слоем нейронов к классу i при выполнении неравенства ai > aj, j е l1,...^}, j = i. Положим f (a)={i: a^ 0: (2) Пусть на вход слоя поступает множество попарно различимых объектов {xi = = (x1,...,xN)}, т.е. xi = xj при i = j, причём xk = ±1. Такими объектами могут быть бинарные изображения. Пусть каждый из объектов xi содержит m компонентов, равных 1 («белый цвет»), и n компонентов, равных -1 («чёрный цвет»), m + n = N, то есть объекты отличаются друг от друга цветами пикселей (рис. 1). iiS Рис. 1. Изображения символов L, T и X Поставим в соответствие белому пикселю вес wij = Wmax, а чёрному где Wmax > Wmin -заданные значения. Положим порог wi0 = 0, i = 1,.. нейрон выигрывает соревнование при входном векторе xi, поскольку ai = (xi, Wi) = mWmax - nWmin; aj = (xi, Wj) ^ (m - 1)Wmax - (n + 1) Wmin, что соответствует принципу WTA. - Wij = Wmin, . ,p. Тогда i-й (3) (4) Полагая порог wi0 = (m - 1)Wmax - (n + 1)Wmin, из (1)-(4) получаем a = Wmax - Wmin > 0, f (a) = 1; a < 0, f (aj) =0, j = l Отображение данного варианта WTA-сети на мемристорный кроссбар сводится к заданию весов сети посредством проводимостей мемристоров кроссбара. На рис. 2 представлена реализация в симуляторе LTspice IV [3] WTA-сети из трёх нейронов на базе мемристорного кроссбара для распознавания изображений символов L, T и X (рис. 1). На вертикальные шины кроссбара подаются компоненты вектора входных сигналов. Каждый горизонтальный ряд мемристоров образует адаптивный сумматор, вычисляющий активацию нейрона, транзистор NMOS реализует функцию активации (2). Например, нейрон, распознающий символ L, образован мемристорами M10-M19, транзистором T1 и резистором R1. В качестве выходных сигналов нейронов соответственно рассматриваются напряжения на резисторах R1, R2 и R3. Входные сигналы задаются источниками напряжения V0-V9, V10 - источник питания транзисторов T1-T3. Сопротивления мемристоров, соответствующих входным сигналам, равны Rmin = 3 ■ 103 Ом, Rmax = 6 ■ 103 Ом, Wmin = 1/Rmax, Wmax = 1/Rmin. Проводимость пороговых мемристоров M10-M30 равна W0 = (m - 1)Wmax - (n + 1)Wmin = = 4Wmax - 5Wmin = 1/R0, где сопротивление R0 = 2 ■ 103 Ом. В экспериментах использовалась SPICE-модель мемристора из [4, 5]. Эксперименты показали, что предложенная реализация нейронной WTA-сети может быть успешно использована для распознавания изображений. Рис. 2. WTA-сеть

Скачать электронную версию публикации