On the convergence rate of the subgradient method with metric variation and its applications in neural network approximation schemes | Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i mekhanika – Tomsk State University Journal of Mathematics and Mechanics. 2018. № 55. DOI: 10.17223/19988621/55/3

On the convergence rate of the subgradient method with metric variation and its applications in neural network approximation schemes

In this paper, the relaxation subgradient method with rank 2 correction of metric matrices is studied. It is proven that, on high-convex functions, in the case of the existence of a linear coordinate transformation reducing the degree of the task casualty, the method has a linear convergence rate corresponding to the casualty degree. The paper offers a new efficient tool for choosing the initial approximation of an artificial neural network. The use of regularization allowed excluding the overfitting effect and efficiently deleting low-significant neurons and intra-neural connections. The ability to efficiently solve such problems is ensured by the use of the subgradient method with metric matrix rank 2 correction. It has been experimentally proved that the convergence rate of the quasi-Newton method and that of the method under research are virtually equivalent on smooth functions. The method has a high convergence rate on non-smooth functions as well. The method's computing capabilities are used to build efficient neural network learning algorithms. The paper describes an artificial neural network learning algorithm which, together with the redundant neuron suppression, allows obtaining reliable approximations in one count.

Download file

Counter downloads: 251

Keywords

метод, субградиент, минимимизация, скорость сходимости, нейронные сети, регуляризация, method, subgradient, minimization, rate of convergence, neural networks, regularization

Authors

Name	Organization	E-mail
Krutikov Vladimir N.	Kemerovo State University	krutikovvn@rambler.ru
Samoylenko Natalya S.	Kemerovo State University	nostienataly@mail.ru

Всего: 2

References

Воронцов К.В. Курс лекций «Математические методы обучения по прецедентам» URL: http://www.machinelearning.rU/wiki/images/6/6d/Voron-ML-1.pdf

Хайкин С. Нейронные сети: полный курс. М. : Вильямс, 2006. 1104 с.

Осовский С. Нейронные сети для обработки информации. М.: Горячая линия - Телеком, 2016. 448 с.

Горбань А.Н. Обучение нейронных сетей. М.: Изд-во СССР - США СП «Параграф», 1990. 160 с.

Бурнаев Е.В., Приходько П.В. Об одной методике построения ансамблей регрессионных моделей // Автомат. и телемех. 2013. Вып. 10. С. 36-54.

Горбаченко В.И., Жуков М.В. Решение краевых задач математической физики с помощью сетей радиальных базисных функций // Журнал вычислительной математики и математической физики. 2017. Т. 57. № 1. С. 133-143.

Кретинин А.В. Метод взвешенных невязок на базе нейросетевых пробных функций для моделирования задач гидродинамики // Сиб. журн. вычисл. матем. 2006. Т. 9. № 1. С. 23-35.

Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1986.

Крутиков В.Н., Арышев Д.В. Алгоритм последовательного отсева неинформативных переменных линейной модели // Вестник Кемеровского государственного университета. 2004. № 3(7). С. 124-129.

Li Wang, Ji Zhu, Hui Zou. The doubly regularized support vector machine // Statistica Sinica. V. 16. No. 2. P. 589-615.

Tatarchuk A., Mottl V., Eliseyev A., Windridge D. Selectivity supervision in com-bining pattern-recognition modalities by feature- and kernel-selective Support Vector Machines // Proc. of the 19th Int. Conf. on Pattern Recognition, Vol. 1-6, IEEE, ISBN 978-1-4244-21749. 2008. P. 2336-2339.

Tatarchuk A., Urlov E., Mottl V., Windridge D. A support kernel machine for supervised selective combining of diverse pattern-recognition modalities // Multiple Classifier Systems. Lecture Notes In Computer Science. V. 5997. Berlin; Heidelberg: Springer-Verlag, 2010. P. 165-174.

Алкезуини М.М., Горбаченко В.И. Совершенствование алгоритмов обучения сетей радиальных базисных функций для решения задач аппроксимации // Модели, системы, сети в экономике, технике, природе и обществе. 2017. № 3 (23). C. 123-138.

Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983.

Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир, 1988.

Marquardt D.W. An algorithm for least-squares estimation of nonlinear parameters // J. Society for Industrial and Applied Mathematics. 1963. V. 11. No 2. P. 431-441.

Шор Н.З. Методы минимизации недифференцируемых функций и их приложения. Киев: Наукова думка, 1979.

Wolfe Ph. Note on a method of conjugate subgradients for minimizing nondifferentiable functions // Math. Program. 1974. V. 7. No. 1. P. 380-383.

Lemarechal C. An extension of Davidon methods to non-differentiable problems // Math. Program. Study. 1975. V. 3. P. 95-109.

Нурминский Е.А., Тьен Д. Метод сопряженных субградиентов с ограниченной памятью // Автомат. и телемех. 2014. № 4. P. 67-80; Autom. Remote Control. 2014. V. 75. No. 4. P. 646-656.

Крутиков В.Н., Вершинин Я.Н. Многошаговый субградиентный метод для решения негладких задач минимизации высокой размерности // Вестник Томского государственного университета. Математика и механика. 2014. № 3. С. 5-19.

Крутиков В.Н., Вершинин Я.Н. Субградиентный метод минимизации с коррекцией векторов спуска на основе пар обучающих соотношений // Вестник Кемеровского государственного университета. 2014. T.1. № 1 (57). С. 46-54. DOI: https://doi.org/10.21603/ 2078-8975-2014-1-46-54

Крутиков В.Н., Горская Т.А. Семейство релаксационных субградиентных методов с двухранговой коррекцией матриц метрики // Экономика и мат. методы. 2009. Т. 45. Вып. 4. С. 37-80.

Крутиков В.Н., Петрова Т.В. Релаксационный метод минимизации с растяжением пространства в направлении субградиента // Экономика и мат. методы. 2003. Т. 39. Вып. 1. С. 106-119.

Карманов В.Г. Математическое программирование. М.: Наука, 1980. 256 с.

Tibshirani R.J. Regression shrinkage and selection via the lasso // J. Royal Statistical Society. Series B (Methodological). 1996. V. 58. No. 1. P. 267-288.

Ту Дж., Гонсалес Р. Принципы распознавания образов. М.: Мир, 1978.

Conn A.R., Gould N.I.M., Toint P.L. Trust regions methods. Society for Industrial and Applied Mathematics, 2000. 959 p.

Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. - М.: ДМК Пресс, 2017. 652 с.

Sutskever I., Martens J., Dahl G., Hinton G. On the importance of initialization and momentum in deep learning // Proc. 30th Int. Conf. on Machine Learning. V. 28. Atlanta, Georgia, 2013. P. 1139-1147.