Formation of one-dimensional distributions of values of correlators of network traffic agregates.pdf Введение Для анализа сетевого трафика с целью обнаружения и классификации его аномальных состояний, вызванных, например, DDoS-атаками, было построено множество статистик, основанных на методах корреляционного, спектрального, фрактального и динамического анализа [1, 2]. Однако результаты применения данных статистик для обнаружения сложных атак [2] в литературе не приведены, а были лишь высказаны предположения о возможной применимости рассмотренных методов. В [3] был предложен и исследован новый метод корреляционного анализа связанных с сетевым трафиком сигналов, основанный на введении оператора их эволюции, а также экспериментально показана его применимость для обнаружения сложных атак на основе байесовской классификации. В данной работе оператор эволюции реконструировался по вещественным сигналам, связанным с нагрузочными характеристиками заголовков пакетов данных сетевого трафика. Цель настоящей работы - развитие метода оператора эволюции, но применительно к аналитическим сигналам трафика, позволяющим рассматривать сетевой канал передачи телеметрических данных как динамическую систему, описываемую обобщенными координатами и скоростями. Для этого вводятся поток агрегатов или агрегированных нагрузочных характеристик пакетов данных сетевого трафика, каждый аналитический сигнал связывается с одним из флаговых индексов агрегата, а значение его реальной части определяется как функция числа агрегированных пакетов. Для формирования статистик и их распределений, характеризующих различные нормальные и аномальные состояния трафика, в работе проводится условная аналогия между потоком агрегатов сетевого трафика и огибающей потока волновых пакетов когерентного электромагнитного поля. Важной задачей исследования является проведение численного эксперимента по использованию данных распределений для различения состояний сетевого трафика при сложных DDoS-атаках. 1. Постановка задачи В численном эксперименте использовались 10-минутные записи сетевого трафика, снятые с одного из Frontend-серверов к некоторому Web-сервису. Frontend-сервер работал под управлением сервера Nginx [4]. В качестве аппаратной поддержки применялась сетевая карта Qlogic с производительностью 10 Гбит/с. Для извлечения значений управляющих бинарных полей (флагов) заголовков передаваемых пакетов данных использовался формат потокового протокола передачи (TCP) [5,6]. Двоичная последовательность флагов образует двоичный код возможных флаговых индексов пакета. В эксперименте использовалось 6 флагов протокола TCP, образующих 64 флаговых индекса. Все пакеты данных, наблюдаемых на смежных интервалах с временной длительностью , были сгруппированы по 64 флаговым индексам. Для каждого j-го флагового индекса (j = 1, 2, …, J) каждого агрегата интервала регистрировались число пакетов и их общая информационная емкость (j == 1, 2, …, J). На основании рассмотренных данных построим статистическую и динамическую модели потока агрегатов сетевого трафика, а также их статистики, необходимые для формирования распределений статистик, описывающих различные состояния сетевого трафика. 1.1. Статистическая модель потока агрегатов сетевого трафика В результате был сформирован поток последовательных по дискретному времени (k = 0, 1, …, K) сгруппированных пакетов (агрегатов) сетевого трафика. Каждому k-му агрегату поставим в соответствие его обобщенную динамическую координату , где вид функции ( ) будет обоснован ниже. С помощью быстрого преобразования Фурье временного ряда и преобразования Гильберта [1] в частотной области вычислим значения обобщенной скорости для каждого k-го агрегата. Дискретную модель потока агрегатов сетевого трафика зададим в виде совокупности аналитических сигналов: (1) Пример реализации компонентов аналитического сигнала для нормального состояния трафика (normal) одного из флаговых индексов приведен на рис. 1. Из рисунка виден достаточно сложный флуктуационный характер дискретного аналитического сигнала . Рис. 1. Реальная X и мнимая Y компоненты аналитического сигнала Модель (1) совокупности флуктуирующих аналитических сигналов в форме спектрального представления выражается как [7]: (2) где - комплексные амплитуды гармонических составляющих сигналов с соответствующими плотностями распределений вероятности совокупностей комплексных значений спектральных амплитуд. Заметим, что в случае стационарных сигналов их усредненные спектральные плотности , определяемые через моменты второго порядка известной зависимостью Эйнштейна - Винера - Хинчина, являются описанием в целом структур сигналов в спектральном представлении [7]. При этом усреднение производится по ансамблю различных условий процедуры измерения сигналов с помощью многомерных плотностей распределений вероятности, зависящих лишь от абсолютных значений спектральных амплитуд из (2). При использовании плотностей возникает известная фазовая проблема - различным сигналам, спектральные амплитуды которых отличаются фазовыми составляющими, отвечают одинаковые спектральные описания [7]. Поэтому в общем случае как при стационарных, а тем более при нестационарных сигналах исключить фазовую проблему возможно, используя плотности . Таким образом, выражения (1) и (2) с учетом плотностей описывают статистическую модель потока агрегатов сетевого трафика. 1.2. Динамическая модель потока агрегатов сетевого трафика При описании динамической модели сетевого трафика будем использовать подход, основанный на операторе эволюции [3], но применительно не к самому введенному потоку аналитических сигналов (1), а к их нормированным образам, которым соответствует комплексный фазовый вектор : (3) Тогда динамическая модель изменения фазового вектора , двигающегося в соответствии с (3) по единичной гиперсфере, описывается оператором эволюции: (4) Используя результаты работы [3], запишем выражение для неэрмитового оператора эволюции из (4) для каждых дискретных моментов времени в виде (5) В дальнейшем будем использовать только реальную часть оператора эволюции: (6) 2. Аналогия потока агрегатов сетевого трафика с огибающей потока волновых пакетов когерентного электромагнитного поля Приведем в данном пункте полезную, на наш взгляд, аналогию рассмотренных моделей потока агрегатов сетевого трафика с моделью огибающей потока волновых пакетов когерентного электромагнитного поля. Полезность физических аналогий еще раз подтверждена в работе [8], в которой рассмотрено описание структуры (координатной волновой функции) фотона как «радиационного осциллятора», т.е. поведение электромагнитного поля фотона рассматривалось по аналогии с поведением механического осциллятора. Как будет видно далее, из аналогии, проводимой нами, будет получен явный вид функции , а главное - вид статистик агрегатов сетевого трафика и их распределений. 2.1. Поток волновых пакетов когерентного электромагнитного поля Осуществим с помощью сигналов (j = 1, 2, …, J) внешнюю пространственную модуляцию когерентного электромагнитного поля одного источника, имеющего комплексную амплитуду электрической напряженности c заданным единичным вектором поляризации и циклическую оптическую частоту . При этом каждому j-му флаговому индексу агрегата поставим в соответствие j-ю пространственную координату или моду поля. В результате получим поток волновых пакетов поля , каждая j-я пространственная мода которых описывается как (7) где - единичный импульс с длительностью , сдвинутый во времени на величину . Медленно меняющаяся по сравнению с частотой комплексная огибающая поля имеет в каждой своей j-й моде каждого k-го волнового пакета амплитуду и фазу . Запишем амплитуду в виде (8) Отсюда видно, что функцию логично выбрать как , поскольку , где - постоянная Планка; - число фотонов, излучаемых когерентным источником c мощностью . Тогда на каждую j-ю моду поля каждого k-го волнового пакета будет приходиться фотонов, пропорциональное числу пакетов в j-м флаговом состоянии для k-го агрегата, где - число фотонов, приходящихся на k-й волновой пакет. Например, для оптического диапазона ( Гц) число фотонов, излучаемых непрерывным лазером с мощностью P = 10 мВт в интервал времени агрегата = 50 мс, будет порядка . Поэтому даже для незначительных весов флаговых состояний, например для J = 64, числа фотонов в каждой моде поля будут большими ( 1013). Такой поток волновых пакетов из (7) можно рассматривать как квазиклассическое поле и описывать статистику его огибающих как их фазовыми портретами (ФП), так и классическими полевыми корреляторами [9, 10]. 2.2. Фазовые портреты потока агрегатов сетевого трафика Для статистического описания медленно флуктуирующей огибающей или аналитического сигнала , соответствующего классическому когерентному электромагнитному полю, наблюдаемому в одной пространственной моде (т.е. электромагнитному сигналу ), по аналогии с результатами работы [9] было введено распределение, названное распределением Глаубера [10]. Данное распределение является редуцированной оценкой многомерной плотности распределения вероятности комплексных амплитуд гармонических составляющих аналитического сигнала из представления (2): (9) где - дельта-функция Дирака. Распределение названо в [10] также ФП в силу следующего. Вещественные составляющие и аналитического сигнала связаны взаимным преобразованием Гильберта, т.е. и , где означает операцию свертки сигналов с обобщенной функцией (P - главное значение обобщенной функции). Протяженность обобщенной функцией дает причинную связь отсчетов аналитического сигнала , учитывая такие фазовые соотношения, как его прошлое, настоящее и будущее. В то же время по своему действию на сигнал гильберт-фильтрация аналогична взятию его производной [6]. Если считать измеряемый сигнал некоторой обобщенной координатой порождающего его динамического процесса, то гильберт-образ можно рассматривать как обобщенную скорость процесса. Тогда в соответствии с подходом Людвига Больцмана, Анри Пуанкаре и Уилларда Гиббса [11] распределение будет отображением процесса на фазовой плоскости : при изменении времени t изображающая точка с координатами , будет двигаться по некоторой траектории, формируя в пределе ( ) распределение . Следует заметить, что действительная и мнимая составляющие электромагнитного сигнала , также связанные взаимным преобразованием Гильберта, рассматриваются в оптике как его обобщенные координаты и скорости [9]. Однако в силу высокой несущей частоты электромагнитного поля оптического диапазона распределение , формируемое на плоскости Ван дер Поля [7], не наблюдаемо и имеет лишь теоретическое значение [7, 9, 10]. Следует заметить, что ФП играет роль, аналогичную многомерной плотности распределения вероятностей, но уже в двумерном пространстве, порожденном значениями измеряемого сигнала и его гильберт-образа. Его основным преимуществом по сравнению с исходным описанием, заданным в пространстве значений спектральных амплитуд сигнала, является значительное снижение размерности. В то же время оба статистических описания эквивалентны, так как в соответствии с (7) дают одно и то же среднее значение любой случайной физической величины - действительной функции , зависящей от данного сигнала через совокупность его комплексных спектральных амплитуд [10]: (10) В [12] показано, что ФП случайного комплексного сигнала является подобно (9) редукцией его n-точечной плотностью вероятности, которая наиболее полно описывает данный сигнал, поскольку позволяет определить элементарную вероятность прохождения его возможных траекторий через n «отверстий» с площадями , задаваемых в различные дискретные моменты времени ( ). Теоретически ФП соответствует плотности вероятности w совместных событий, заключающихся в том, что сигнал и его гильберт-образ принимают конкретные значения x и y в элементарной области . Элементарная вероятность того, что значения сигнала и его гильберт-образа находятся в данной области, равна . Поэтому она может быть легко оценена экспериментально путем измерения всевозможных комбинаций совместных значений попадания временных отсчетов сигналов и в элементарные -е области с координатами и последующим построением эмпирического распределения в виде нормированной двумерной гистограммы или диаграммы рассеяния ( ). При формировании ФП необходимо учесть, что все реализации случайных сигналов и практически недоступны. Поэтому в [12] было предложено производить оценивание ФП с помощью «размытия» эмпирического распределения , сформированного по реализации сигнала с достаточно большим временем T наблюдения, с использованием двумерной функции: (11) где, например, - произведение двух нормальных распределений со стандартными отклонениями и . В соответствии с рассмотренным для статистического описания потока агрегатов сетевого трафика необходимо формировать совокупность эмпирических распределений и с помощью (11) производить их сглаживание для оценивания теоретических ФП (j = 1, 2, …, J). Если считать, что сигналы флаговых состояний независимы, то результирующий ФП можно представить в виде . Однако для упрощения мы буднем использовать далее эмпирическое распределение в виде , где , (12) а - статистические веса или значимости флаговых индексов агрегатов. Тем не менее распределение , как и распределение , является сложным описанием, требующим больших вычислительных ресурсов. Поэтому мы рассмотрим далее более простые описания, используя также аналогию потока агрегатов сетевого трафика с огибающей потока волновых пакетов когерентного электромагнитного поля 2.3. Корреляторы потока агрегатов сетевого трафика Действию неэрмитового проекционного оператора из (5), отвечает действие реального физического объекта - объемной голограммы, записанной с помощью когерентных сигнальной и кодированной опорной электромагнитных волн [3]. Такая голограмма восстанавливает (путем резонансного брэгговского рассеяния) волну как отклик на входную волну , где . Тогда выходная волна несет огибающую или оптический сигнал, пропорциональный оптическому сигналу с коэффициентом перекрытия огибающей кодированной опорной волны и огибающей входной волны. При этом брэгговское рассеяние происходит на структуре объемных решеток, соответствующих структуре интерференции сигнальной и опорной волн [3]. В электродинамике контраст интерференционной картины, образованной электромагнитными волнами с амплитудами и , наблюдаемыми в двух пространственно-временных точках и , описывают нормированным коррелятором или комплексной функцией когерентности первого порядка [6, 9]: (13) модуль которой определяет контраст интерференционных решеток . Легко заметить, что рассмотренный в (6) оператор эволюции практически аналогичен , однако определяет контраст не отдельной интерференционной решетки, а целой интерференционной структуры , сформированной множеством ( ) решеток. Практически во всех экспериментах приведенное в (13) усреднение осуществляют путем временного накопления. Благодаря этому и проявляется высокий контраст ( ) интерференционных полос когерентных сигналов, поскольку для них [13]. Однако в нашем случае данное усреднение для флуктуирующих сигналов (см. рис. 1) не годится. Так, например, в [14] показано, что запись множества голограмм (в эксперименте их было записано несколько десятков) с различными сигнальными и опорными волнами, т.е. формирование усредненной структуры , приводит к снижению ее контрастности и размытию восстанавливаемых оптических сигналов. Поэтому мы будем использовать оператор эволюции, соответствующий смежным агрегатам (для k = 1, 2, …, K), а для количественного описания их связей введем парциальные (не усредненные по времени, но усредненные по флаговым индексам) корреляторы первого порядка: (14) (15) Диагональные матричные элементы статистического оператора из (15) соответствуют весам или значимостям одноименных флаговых индексов смежных агрегатов. Недиагональные матричные элементы определяют статистические веса связей их разнородных флаговых индексов. По сравнению с корреляторами, введенными в работе [3], нормированные парциальные корреляторы как средние (по флаговым индексам) значения физической величины, соответствующей оператору эволюции, учитывают перекрестные связи не только обобщенных координат смежных агрегатов сетевого трафика, но и их обобщенных скоростей, а также содержат информацию о статистических весах флаговых индексов смежных агрегатов. 3. Вычислительный эксперимент В вычислительном эксперименте были исследованы эмпирические распределения и для описания различных состояний сетевого трафика: нормального состояния - normal (r = 0); состояния атак tcpcon - TCP Connection Flood (r = 1); slowloris - Slow Loris (r = 2), httpget - HTTP Get Flood (r = 3). Данные атаки относятся к атакам прикладного уровня модели взаимодействия открытых систем (OSI) и по классификации работы [2] являются сложными для обнаружения. Ниже приведены некоторые эмпирические распределения для разных состояний сетевого трафика. 3.1. Фазовые портреты потока агрегатов сетевого трафика На рис. 2 приведены примеры эмпирических распределений , построенных для различных интервалов формирования агрегатов (50 мс, 1 мс). Виден различный характер их зависимости от переменных и , свидетельствующий о некотором вырождении распределений для малых : распределения практически зависят только от . Рис. 2. Эмпирические распределения : а) = 50 мс; б) = 1 мс 3.2. Корреляторы потока агрегатов сетевого трафика На рис. 3 приведены распределения значений парциальных корреляторов из (14) для = 50 мс. Наглядно видно значительное различие полученных распределений. Дополнительные численные эксперименты показали, что данное время является минимальным, при котором критерий различия распределений (16) удовлетворяет соотношению D > 0.9. На рис. 4 приведены экспериментальные (calculated data) и сглаженные (fit function) данные. При увеличении свыше 50 мс (selected aperture) критерий D практически не меняется, но при этом падает теоретическая вероятность чистых состояний агрегатов трафика: возрастает вероятность включения в его агрегаты пакетов, относящихся к атакам различного вида. Показанная на рис. 4 вероятность чистых состояний соответствует эффективному времени = 475 мс. Увеличение повлечет ситуацию, при которой агрегаты будут состоять из пакетов, относящихся к различным типам атак, что приведет к ошибке при оценивании состояний трафика. Рис. 3. Эмпирические распределения для = 50 мс Рис. 4. Зависимость меры D различия распределений и вероятности чистых состояний агрегатов от их временной апертуры Заключение Основным результатом проведенного исследования является построение статистической и динамической моделей потока агрегатов сетевого трафика на основе введения аналитических сигналов, зависящих от количества входящих в агрегаты пакетов данных с различными флаговыми индексами. Путем проведения условной аналогии между потоком агрегатов сетевого трафика и огибающей потока волновых пакетов когерентного электромагнитного поля рассмотрены фазовые портреты и парциальные корреляторы первого порядка смежных агрегатов сетевого трафика. В вычислительном эксперименте показано, что эмпирические фазовые портреты и одномерные распределения значений парциальных корреляторов возможно использовать для описания различных нормальных и аномальных состояний сетевого трафика, обусловленных сложными DDoS-атаками. В дальнейшем авторы намереваются провести исследование парциальных корреляторов более высокого порядка.

Скачать электронную версию публикации