Application of artificial neural networks in the problems of analysis of the dynamic structure of near-earth orbital spa.pdf Введение Представлено описание первого опыта применения искусственных нейронных сетей к анализу результатов численного эксперимента по исследованию резонансной структуры избранной области околоземного орбитального пространства. Исследование динамической структуры околоземного орбитального пространства методами численного моделирования сопряжено с анализом большого количества временных рядов, описывающих эволюцию резонансных характеристик области [1-3]. Анализируя временные ряды, связанные с эволюцией критических аргументов, можно выявить устойчивые резонансы. В данной статье мы не приводим методику выявления резонансов, поскольку она неоднократно подробно описывалась в наших работах, например в [1-3]. Ограничимся пояснением, что необходимо выявить случаи либрации критического аргумента, которая соответствует наличию резонанса. Узким местом в этом процессе как раз и является ручной поиск либрации среди всех временных рядов, количество которых может превышать десятки тысяч. Аналитические методы поиска либрации не обладают достаточной точностью, чтобы автоматизировать этот процесс. В качестве альтернативного подхода предлагается использование методов машинного обучения, а именно классификатор на основе искусственных нейронных сетей. О преимуществах применения машинного обучения и искусственных нейронных сетей (ИНС), а также об их возможностях написано множество книг и статей. Машинное обучение позволяет решать задачи, которые сложно формализуются, например задачи классификации или извлечения информации из изображений или временных рядов [4, 5]. 1. Машинное обучение Опишем задачу машинного обучения в общем виде. Предположим, что имеется некоторое множество объектов (признаковых переменных) X, множество ответов (целевых переменных) Y, а также некоторая целевая функция y: X→Y. Целевая функция является неизвестной, однако известны её значения {y1, …, yn} на некотором конечном наборе точек {x1, …, xn}. Множество пар T = {(x1, y1), … (xn, yn)} называется обучающей выборкой. Решением задачи машинного обучения будет являться некоторая функция признаковой переменной и вектора параметров f(x, ), которая бы наилучшим образом приближала неизвестную зависимость для всех известных пар (xi, yi). Для оценки качества приближения вводится функция потерь L, например квадрат разности целевого и предсказанного значения. Эта задача сводится к задаче поиска вектора параметров функции f, который бы минимизировал функцию потерь L на всей обучающей выборке: . В качестве такой функции в нашей работе используется искусственная нейронная сеть следующей архитектуры (рис. 1): Рис. 1. Архитектура искусственной нейронной сети Данная ИНС (рис. 1) реализована с помощью библиотеки torch для языка python, подробное описание которой можно найти по ссылке [6]. На рис. 1 дано следующее обозначение элементов архитектуры: Conv (CK) - свёрточный слой на C каналов и ядром свёртки K; ReLU - используемая функция активации; MaxPool (K) - max pooling слой с ядром K; BatchNorm - batch normalization слой; AvgPool (K) - average pooling слой с ядром K; Dropout (p) - dropout слой с вероятностью отключения случайного нейрона p; FC (IO) - полносвязный слой с I входами и O выходами. В скобках указаны параметры соответствующих слоёв. Более подробную информацию о слоях можно найти в документации пакета библиотеки torch [7]. Для реализации ИНС был выбран язык python, поскольку он прост в освоении и на нем написано большое число библиотек, которые можно использовать в машинном обучении [8, 9]. 2. Предобработка и аугментация данных для ИНС Схематично процесс обучения ИНС и вывода обработанных данных представлен на рис. 2. В нашей задаче признаковой переменной является временной ряд, соответствующий эволюции значений критического аргумента (рис. 3), которые получаются путем вычисления по методике, описанной в [1-3]. Эволюция орбит вычислялась с помощью модифицированной версии программного комплекса «Численная модель движения систем ИСЗ», реализованного на кластере «СКИФ Cyberia» Томского госуниверситета. Подробное описание основы программного комплекса дано в работе [10]. После вычисления требуемых временных рядов собирается обучающая выборка для тренировки искусственной нейронной сети. Для этого временные ряды вручную разделяются на те, которые соответствуют устойчивым резонансам, и те, которые соответствуют отсутствию резонанса, как на рис. 3. Классификация временных рядов с помощью нейронных сетей, как правило, задача нетривиальная и требует различных архитектурных подходов для различных прикладных областей [11]. Обучение классификатора происходит по схеме supervised learning (обучения с учителем) [12]. После обучения ИНС принимает на вход неизвестный ранее временной ряд, а на выходе выдаёт число от 0 до 1, которое интерпретируется как вероятность того, что данный временной ряд соответствует устойчивому резонансу. Предобработка временного ряда для его подачи на вход ИНС включает следующие этапы: временной ряд произвольной длины приводится к фиксированному количеству точек при помощи интерполяции, затем разделяется на два канала - и , чтобы избежать разрывов при переходе критического аргумента через полный период. Рис. 2. Процесс обучения и вывода Отсутствие векового резонанса Отсутствие орбитального резонанса Устойчивый вековой резонанс Устойчивый орбитальный резонанс Рис. 3. Примеры временных рядов ( и  - критические аргументы для векового и орбитального резонансов соответственно) Объём размеченных данных составил порядка 10 000 примеров, однако в силу того, что в орбитальном пространстве циркуляция критического аргумента (отсутствие резонанса) встречается гораздо чаще - примерно 9 к 1, а алгоритмы машинного обучения чувствительны к разнице в количестве примеров в различных классах, была проведена балансировка классов. Без балансировки во время обучения алгоритм в 9 раз чаще сталкивался бы с примерами циркуляции и соответственно обучался бы в сторону более частого обнаружения отсутствия резонанса. Для балансировки количества примеров по классам в данном случае был применён downsampling, т.е. из большего класса случайным образом отбиралось количество примеров, равное количеству примеров в меньшем классе. Таким образом, объем обучающей выборки составил порядка 2 000 примеров, что много меньше количества параметров ИНС. В таких случаях может возникнуть явление, которое называется «переобучением» - ИНС «запоминает» всю обучающую выборку вместо того, чтобы найти глобальный минимум. Для борьбы с переобучением использовались так называемый Dropout слой, который случайным образом отключает связи между слоями в ходе обучения, а также аугментация данных. Аугментация данных представляет собой внесение малых изменений в исходные данные, которые позволяют получить новый признаковый вектор, не меняя при этом целевую переменную. В качестве аугментаций использовались следующие преобразования: внесение малого случайного шума, случайная обрезка временного ряда с обеих сторон, сдвиг фазы на постоянный угол и разворот ряда в обратную сторону. Стоит отметить, что аугментация обрезки временного ряда проводилась до приведения ряда к фиксированному количеству точек. Такой подход позволяет избежать чувствительности к продолжительности эволюции и дает возможность обучаться на рядах разных временных диапазонов. 3. Численные результаты После обучения ИНС происходит валидация модели на тестовой выборке. Тестовая выборка представляет собой набор временных рядов обоих классов (с устойчивым резонансом и его отсутствием), который не был использован при обучении. Для оценки точности классификации использовались три метрики - sensitivity, specificiity и accuracy. Значение метрик: sensitivity - это отношение количества истинно положительных рядов ко всем, которые были помечены ИНС как положительные; specificity - аналогична предыдущей, но для отрицательных примеров; accuracy - считается как отношение количества правильных ответов к количеству объектов в тестовой выборке. Графики на рис. 4 построены следующим образом: по оси абсцисс отложен порог классификации. При фиксированном значении порога классификации ряды, предсказанная вероятность которых превышает это значение, помечаются как положительные, то есть несущие признак. После этого по оси ординат откладывается значение метрики. Рис. 4. Метрики качества классификации Анализируя получившийся график, можно сделать вывод, что обученная ИНС способна с высокой точностью выявлять устойчивые резонансы как орбитальные, так и вековые. Точность такого классификатора составляет ~ 0.97 AU ROC (Area Under Receiver Operation Curve) на валидационной выборке, что превосходит даже точность ручного поиска. После обучения и валидации ИНС можно использовать для анализа всех неразмеченных временных рядов и отмечать области в пространстве, в которых присутствует устойчивый резонанс. После оценки всех рядов из области можно построить резонансную карту как на рис. 5. Для тестирования обученной ИНС была выбрана хорошо изученная область околоземного космического пространства, включающая в себя как вековые, так и орбитальный резонансы [13]. Была выбрана область зоны MEO в диапазоне больших полуосей (а) от 26 550 до 26 570 км и наклонений (i) от 0 до 180. Для этой области был проведен машинный анализ наличия в динамике объектов пяти мультиплетов орбитального резонанса 1:2 со скоростью вращения Земли, апсидально-нодальных резонансов, связанных с соизмеримостью параметров прецессии орбиты спутника с аналогичными параметрами орбит Луны и Солнца в геоцентрической системе координат. Перечень резонансов можно найти в работах [1-3, 13]. Результаты машинного анализа представлены на рис. 5. Как показала оценка, результаты, полученные с помощью ИНС, полностью согласуются с результатами, полученными в ручном режиме. Единственным недостатком полученной ИНС на данный момент является ее неспособность распознавать смешанные случаи циркуляции и либрации, которые говорят о неустойчивости резонанса. Дальнейшая работа с ИНС будет посвящена обучению её на выявление неустойчивых резонансов. Рис. 5. Карта устойчивых резонансов: а - пять мультиплетов орбитального резонанса; б - вековые апсидально-нодальные резонансы между параметрами прецессии орбит спутника и Луны; в - такие же вековые резонансы для орбиты Солнца; г - все устойчивые резонансы из а-в Заключение Таким образом, описан опыт применения искусственных нейронных сетей для решения задачи обработки большого массива данных по численному моделированию и анализу динамической структуры избранной области околоземного орбитального пространства. Анализ временных рядов, связанных с эволюцией резонансных характеристик, определяющих динамическую структуру области, обычно выполняется вручную. Однако при исследовании динамической структуры большой области орбитального пространства количество таких временных рядов исчисляется десятками тысяч. В качестве альтернативы ручной обработке данных рассматривается использование технологий глубинного обучения (deep learning), а именно дизайн архитектуры одномерной свёрточной сети и обучение её методом обучения с учителем (supervised learning). Анализируя представленные результаты, можно сделать вывод, что обученная ИНС способна с высокой точностью выявлять устойчивые резонансы как орбитальные, так и вековые. Точность такого классификатора составляет ~ 0.97 AU ROC на валидационной выборке, что превосходит точность ручного поиска.

Скачать электронную версию публикации