Application of artificial neural networks in studying the dynamic structure of the near-Earth orbital space.pdf Введение Настоящая статья является продолжением работы [1] по применению методов машинного обучения для исследования динамической структуры околоземного космического пространст-ва (ОКП). В работе [1] средства машинного анализа для изучения резонансной структуры ОКП применялись в несколько упрощенном варианте, поскольку искусственные нейронные сети (ИНС) были способны находить только устойчивые резонансы, а в наших исследованиях важно распо-знавать и неустойчивые резонансы. В данной работе мы рассмотрим алгоритм, который позволяет определять резонансы любого типа. Методика, как и ранее, основана на интегрировании уравнений движения с помощью «Чис-ленной модели движения систем ИСЗ» [2, 3] и численном определении частот движения около-земных объектов [4, 5] с последующим машинным анализом получаемых временных рядов с по-мощью искусственных нейронных сетей, но уже по новому алгоритму. В данной статье мы не приводим методику выявления резонансов, поскольку она неоднократ-но подробно описывалась в наших работах, например в [4, 5], и ограничимся только пояснением, что для временного ряда, связанного с некоторым критическим аргументом, строится график, ко-торый затем визуально оценивается и относится в одну из категорий: «циркуляция», «либрация», «смешанный тип», что соответствует «отсутствию резонанса», «устойчивому резонансу» и «неус-тойчивому резонансу». 1. Машинное обучение Машинное обучение позволяет решать задачи, которые сложно формализуются, например за-дачи классификации или извлечения информации из изображений или временных рядов [6, 7]. Задачу машинного обучения в общем виде можно сформулировать следующим образом [8]. Пусть задано множество объектов (признаковых переменных) X , множество допустимых от-ветов (целевых переменных) Y и существует некоторая целевая функция . Кроме того, заданы некоторое конечное подмножество объектов и соответствующие им значения це-левой функции . Совокупность соответствующих пар из этих подмножеств называется обучающей выборкой. Задача машинного обучения заключается в нахожде-нии некоторой функции, которая бы наилучшим образом приближала целевую функцию на всей обучающей выборке. Такая функция называется алгоритмом или моделью машинного обучения. Для реализации машинного обучения с помощью ИНС нами был выбран язык python, по-скольку на нем написано большое число библиотек, которые можно использовать в наших зада-чах [9-12]. 2. Схема эксперимента Для получения модели, способной сопоставлять временным рядам метку класса, потребова-лось несколько принципиально разных шагов, требующих вовлечения алгоритмов из разных об-ластей машинного обучения [13, 14]. Шаг первый: обучение ИНС-автокодировщика [15] для получения скрытых представле-ний временных рядов. После выполнения этого шага получается модель, способная преобразовы-вать временной ряд в вектор размерности 16. Шаг второй: кластеризация скрытых представлений для последующей разметки челове-ком. Кластеризация позволяет сократить количество меток в десятки раз и соответственно время на разметку. Кластеризация проводилась посредством алгоритма HDBSCAN [16]. Его несомнен-ное достоинство для данной задачи заключается в том, что количество кластеров определяется ав-томатически, так как мы заранее не знаем, на какое количество кластеров делятся наши данные. Шаг третий: построение классификатора на скрытых представлениях. Классификатор ставит в соответствие скрытому представлению число от 0 до 1, которое соответствует отсутствию или наличию резонанса. Использование скрытых представлений позволяет снизить количество па-раметров модели-классификатора, что, во-первых, ускоряет обучение, а во-вторых, снижает веро-ятность переобучения. ИНС-автокодировщик Автокодировщик - это такая архитектура ИНС, которая обучается повторять на выходе тот же самый сигнал, который получает на входе. Таким образом, обучающая выборка для такой сети состоит не из пар (объект, ответ), а из пар (объект, объект), что позволяет отнести такую ар-хитектуру к классу моделей частичного обучения с учителем (semi-supervised learning) [14]. В общем виде схема автокодировщика представлена на рис. 1. Такую ИНС можно разделить на две части: кодировщик и декодировщик . Первый является отображением из в , где - размерность скрытого пространства. В нашей реализации = 16, N = 3650. Таким образом, временному ряду X ставится в соответствие элемент называемый кодом. Декодировщик же является обратным отображением. Тогда элементом обучающей выборки для задачи обучения автокодировщика являются пары , результатом работы , а функцией потерь - сумма квадратов отклонений элементов и . Примеры работы автокоди-ровщика представлены на рис. 2. Темно-серым цветом на рис. 2 на графиках слева показаны зна-чения исходного ряда, а светло-серым - результат работы автокодировщика. На графиках справа дана визуализация скрытого представления. В скобках приведены значения классификатора. Чем сильнее отклоняется восстановленный ряд от исходного, тем выше функция потерь. Рис. 1. Принципиальная схема автокодировщика Рис. 2. Результат работы автокодировщика (слева) и визуализация скрытого представления (справа): а - отсутствие резонанса (0.05); б - неустойчивый резонанс (0.39); в - устойчивый резонанс (0.89) Поскольку кодировщик и декодировщик есть набор линейных преобразований (за исключе-нием функции активации ReLU), можно считать, что гипотеза компактности выполняется. То есть похожие с точки зрения человека временные ряды будут иметь близкие коды. Более того, можно сделать предположения, что коды неустойчивых резонансов будут находиться в скрытом про-странстве в областях между устойчивыми резонансами и их отсутствием. Помимо описанных выше преимуществ, формирование новой обучающей выборки из , т.е. замена временных рядов на соответствующие им коды, кар-динально снижает размерность задачи. ИНС-автокодировщик тренируется воспроизводить временной ряд, соответствующий эволю-ции критического аргумента, имея размерность скрытого представления равную 16. То есть слой, являющийся выходом кодировщика и входом декодировщика, имеет 16 нейронов. Схема формирования новой выборки T' и обучения на ней ИНС представлена на рис. 3. Рис. 3. Процесс формирования обучающей выборки T' и обучения на ней новой модели Кластеризация Кластеризация (или кластерный анализ) - многомерная статистическая процедура, выпол-няющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы [17]. После обучения автокодировщика и перевода временных рядов в их скрытые представления появляется возможность автоматически кластеризовать временные ряды для их дальнейшей раз-метки в смысле наличия устойчивого резонанса, проводя разметку не по каждому примеру в от-дельности, а по целому кластеру. Кластеризация проводится алгоритмом HDBSCAN. Рис. 4. Пример кластеризации при помощи HDBSCAN (каждый ряд представляет собой один из кластеров) Кластеризация также позволяет найти интересные и нетипичные примеры для ручной обра-ботки. Построение классификатора на скрытых представлениях На размеченных данных обучается еще одна ИНС, представляющая собой многослойный перцептрон. Именно эта ИНС и является классификатором. ИНС сопоставляет временному ряду число от 0 до 1 в соответствии с разметкой. Стоит отметить, что коды временных рядов, соответствующие неустойчивому резонансу, не участвовали в обучении. Значения ответов ИНС на них оказались между значениями ответов на классах 0 и 1. Так, в ходе тестирования значения классификатора в случае отсутствия резонанса находятся в окрестности 0, для неустойчивого резонанса - в окрестности 0.4 и для устойчивого близки к 1, что подтверждает сделанное на базе гипотезы компактности предположение. Как уже упоминалось выше, на рис. 2 справа в виде столбчатой диаграммы представлена ви-зуализация кода в скрытом пространстве для каждого примера: ось ординат соответствует номеру координаты в скрытом пространстве, а ось абсцисс - значению этой координаты. В подписях к графикам в скобках указано значение обученного классификатора на данном коде. 3. Численные результаты В ходе эксперимента моделируемые объекты равномерно распределялись по изучаемой области ОКП с шагом 200 км по большой полуоси и 5° по наклонению. Рассматривалась область орбитального пространства, простирающаяся по большой полуоси от 45000 до 120000 км и по наклонению от 0 до 180°. В данной области околоземного пространства мы исследовали около 14 тыс. объектов, и для каждого объекта изучили эволюцию 39 резонансных аргументов [1], т.е. более полумиллиона временных рядов. Поэтому привлечение к решению задачи машинного ана-лиза было вполне естественным. На рис. 5 приведена карта распространенности вековых апсидально-нодальных резонансов. Таблицу с перечнем исследуемых резонансов можно найти в работе [4]. По данной карте легко от-следить области с максимальным наложением резонансов, а значит, с наиболее интересной дина-микой. Результаты тестирования показали, что применение методов машинного обучения для вы-явления резонансов в околоземном пространстве дает хороший результат и значительно ускоряет процесс исследований. К сожалению, в данной модели иногда встречаются случаи ложного при-своения того или иного класса, соответственно модель нуждается в дальнейшем усовершенство-вании. Рис. 5. Карта распространенности вековых резонансов Заключение В данной работе описан новый эксперимент по применению искусственных нейронных сетей для решения задачи обработки и анализа большого массива данных численного моделирования динамической структуры ОКП. Приведенный алгоритм способен выявлять не только устойчивые, но и неустойчивые резонансы. Показано, что анализ временных рядов, связанных с эволюцией ре-зонансных характеристик, определяющих динамическую структуру, в обширных экспериментах целесообразно проводить с использованием методов машинного анализа, поскольку число вре-менных рядов, которые необходимо обработать, превышает 0.5 млн. С применением методов ма-шинного анализа получена карта распространенности вековых апсидально-нодальных резонансов в обширной области ОКП от 45 тыс. до 120 тыс. км по большой полуоси.

Скачать электронную версию публикации