Использование бинарных и многоуровневых мемристоров при аппаратной реализации нейронных сетей вызывает необходимость квантования их весовых коэффициентов. Исследуется влияние числа уровней квантования весов сети Хопфилда на её информационную ёмкость и устойчивость к искажениям входных данных. Показано, что при числе градаций весов порядка 20 ёмкость сети Хопфилда - Хебба с дискретными весами приближается к ёмкости её варианта с непрерывными весами. Для проекционной сети Хопфилда подобного результата удаётся достичь лишь при числе градаций порядка 100. Эксперименты показали, что: 1) бинарные мемристоры следует использовать в сетях Хопфилда - Хебба, редуцированных путём обнуления всех весов, модули которых строго меньше максимального для данной строки матрицы весов; 2) в проекционных сетях Хопфилда с дискретными весами следует использовать многоуровневые мемристоры с числом градаций (уровней) значительно больше двух, причём конкретное число уровней зависит от размерности хранимых эталонных векторов, их конкретного набора и допустимого уровня шума во входных данных.
Скачать электронную версию публикации
Загружен, раз: 118
- Title Информационная ёмкость сети Хопфилда с квантованными весами
- Headline Информационная ёмкость сети Хопфилда с квантованными весами
- Publesher
Tomsk State University
- Issue Прикладная дискретная математика 45
- Date:
- DOI 10.17223/20710410/45/11
Ключевые слова
сети Хопфилда-Хебба, проекционные сети Хопфилда, информационная ёмкость, квантование весов, бинарные и многоуровневые мемристоры, Hopfield-Hebb networks, projection Hopfield networks, information capacity, weight quantization, binary and multilevel memristorsАвторы
Ссылки
Haykin S. Neural Networks: A Comprehensive Foundation. Prentice Hall, Inc., 1999
Hopfield J. Neural networks and physical systems with emergent collective computational abilities // Proc. NAS USA. 1982. V. 79. P. 2554-2558
Personnaz L., Guyon I., and Dreyfus G. Collective computational properties of neural networks: New learning mechanisms // Phys. Rev. Ser. A. 1986. V. 34. No. 5. P. 4217-4228
Michel A. N. and Liu D. Qualitative Analysis and Synthesis of Recurrent Neural Networks. N.Y.: Marcel Dekker Inc., 2002
Chua L. Memristor - the missing circuit element // IEEE Trans. Circuit Theory. 1971. V. 18. P. 507-519
Strukov D. B., Snider G. S., Stewart D. R., and Williams R. S. The missing memristor found // Nature. 2008. V. 453. P. 80-83
He W., Sun H., Zhou Y., et al. Customized binary and multi-level HfO2-x-based memristors tuned by oxidation conditions // Scientific Reports. 2017. V. 7. Article No. 10070
Yu S., Gao B., Fang Z., et al. A low energy oxide-based electronic synaptic device for neuromorphic visual systems with tolerance to device variation // Adv. Mater. 2013. V. 25. P. 1774-1779
Тарков М. С. Построение сети Хемминга на основе кроссбара с бинарными мемристорами // Прикладная дискретная математика. 2018. № 40. С. 105-113
Тарков М. С. Редукция связей автоассоциативной памяти Хопфилда // Прикладная дискретная математика. 2017. № 37. С. 107-113
Folli V., Leonetti M., and Ruocco G. On the maximum storage capacity of the Hopfield model // Frontiers in Comput. Neuroscience. 2017. V. 10. Article 144. www.frontiersin.org

Информационная ёмкость сети Хопфилда с квантованными весами | Прикладная дискретная математика. 2019. № 45. DOI: 10.17223/20710410/45/11
Скачать полнотекстовую версию
Загружен, раз: 383