COGNITIVE INTERNET TELEVISION: PRINCIPLES AND TECHNOLOGIES.pdf Введение С развитием высокоскоростных телекоммуникационных каналов стало возможным использование универсального IP-протокола передачи данных в передаче видеопотоков и создание IP-телевидения. Как результат, в последние годы бурно развивается цифровое телевидение, обладающее широкими перспективами для создания интерактивной коммуникационной среды – познавательного телевидения. Конвергенция аудиовизуальных средств и технологий реализуется как новая форма интерактивной коммуникативной среды телевидение+Интернет. Одним из важных направлений развития познавательного телевидения в Интернете является создание информационной системы для обеспечения широкополосного доступа к медиаконтенту, поддержка и сопровождение познавательных телевизионных программ для максимально широкого круга зрительской аудитории. По оценке J’son & Partners Consulting, количество российских клиентов сети Интернет, имеющих фиксированный широкополосный доступ в Интернет в 2011 году составило 21,7 млн человек Динамика роста пользователей Интернета на протяжении последних трех лет составляет около 35% в год, и в 2012 г. этот показатель достиг 25 млн человек [1]. Создание и внедрение широкополосного доступа по наземным каналам связи требует комплексного пересмотра схем взаимодействия между веб-сервером и пользователем сети Интернет для минимизации дублирования видео-потоков по одним и тем же сегментам сети. Основным способом модернизации таких схем является применение технологии CDN (Content Delivery Network). За рубежом сети CDN полноценно функционируют уже более 15 лет, а их количество за последние годы увеличилось в несколько раз. В 2008 г. чистая прибыль CDN-провайдеров составляла более 400 млн долларов (www.CDNpricing.com). Впервые масштабное Интернет вещание с применением технологии CDN произошло в 2008 г. на олимпийских играх в США, которую организовал CDN-провайдер Limelight (http://www.limelight.com/). В результате на сайт www.nbcolympics.com было отправлено более 7000 часов видео с качеством от 650 до 1500 Kbps. Нагрузка на сайт составляла примерно 85 млн посетителей в сутки, и без сети CDN организовать подобное было просто невозможно. Анализ подобных систем в России и за рубежом показал ряд достоинств сетей, построенных по технологии CDN: – распределение нагрузки между серверами с учетом возможности региональных сетей; – высокий уровень доступности к ресурсам за счет CDN-серверов. Однако учитывая особенности использования медиаресурсов в научно-образовательной деятельности, можно выделить ряд общих недостатков, которые свойственны CDN-сетям: – размещение периферийных CDN-серверов в крупных Дата-центрах не гарантирует качество доставки мультимедиаресурсов в региональные научно-образовательные сети ввиду загруженности магистральных линий; – обмен данными между CDN-серверами происходит по наземным каналам без возможности multicast обмена, что может повлиять на качество предоставления доступа к мультимедийным услугам в разных сегментах CDN-сети; – отсутствие высокопроизводительных ресурсов на стороне CDN-провайдера для высокоскоростной обработки «сырого» видео; – существующие кодеки сжатия (H.264, H.263) не учитывают возможности изменения полосы пропускания во время вещания видеопотока, что приводит к ухудшению качества при динамическом уменьшении пропускной способности канала. Принципы и технологии построения распределенной информационной системы интернет-телевидения Вещание познавательного телевидения на видеопортале в сеть Интернет, используя широкополосные технологии, требует высокого уровня доступности к сетевым ресурсам, эффективного использования телекоммуникаций, адаптивного масштабирования в условиях возрастания нагрузок [2]. Существующие прикладные протоколы сети Интернет (HTTP, FTP), а также телекоммуникационная архитектура сетей общего пользования разрабатывались без учета передачи больших объемов мультимедиа по вещательной технологии, что приводит к высоким нагрузкам в сетях телекоммуникаций и, как правило, к резкому снижению качества предоставляемых услуг. С другой стороны, прикладные протоколы обеспечивают мульти платформенность видеопорталов, так как могут функционировать в кабельной, мобильной и спутниковой инфраструктуре. Информационная сеть, построенная с использованием CDN-технологии – это регионально распределенная сеть доставки контента с децентрализацией серверных и магистральных мощностей. Данный подход увеличивает скорость доступа к мультимедиаресурсам за счет уменьшения количества промежуточных серверов, что, в свою очередь, влияет на увеличение пропускной способности канала до конечного пользователя. Такие технологии применяются при построении сетей Akamai Technologies, Amazon CloudFront за рубежом и Ngenix, CDNVideo в России. Стандартная CDN-сеть представляет собой сложную инфраструктуру узлов связи, каждый из которых может состоять из одного и более серверов. Каждый узел, как правило, расположен в местах наибольшей концентрации пользователей. Сеть CDN в России используется в основном для трансляции видео в прямом эфире, предоставления видео по запросу и для передачи статического медиаконтента. На данный момент в России можно выделить две наиболее крупных CDN-системы, а именно CDNVideo и NGENIX. Оператор сотовой связи «Мегафон» стал первым, кто решил развернуть CDN-сеть на территории России. Тестирование услуги по доставке контента ведут такие компании, как: Limelight & DENIVIP Media, RuCDN, TeliaSonera, а также недавно к ним присоединившиеся провайдеры «Ростелеком» и «ЭР-телеком». NGENIX (http://www.ngenix.net/) – это первый сетевой оператор в России, предоставляющий услуги CDN (Content Delivery Network). Компания специализируется в сфере дистрибуции и распределения доставки сетевого контента, максимальной производительности и оптимизации интернет-приложений. Все услуги оказываются на основе специальной сети по доставке информации NCDN (NGENIX Content Delivery Network), серверы для обработки которой находятся во всех крупнейших телекоммуникационных городах России [3]. CDNvideo (http://cdnvideo.ru/) – это одна из крупнейших компаний в России, которая предоставляет CDN-услуги. Компания начала свою работу в 2009 г., но уже завоевала популярность в сфере потребления CDN-услуг. Именно в данном комплексе сосредоточено большое количество интернет-операторов, обеспечивающих широкополосный доступ. CDN-video предлагает самые оптимальные решения по реализации доставки информации на территории России: проведение онлайн вещания мероприятий и передачи видео в сеть (Live Streaming), оптимальное кеширование статического контента (Streaming on Demand), распределение нагрузки между всеми серверами. Также компания может передавать данные на мобильные телефоны (Mobile Streaming) и предоставляет три степени защиты данных от несанкционированного доступа. Серверы компании расположены в: Лондоне (Великобритания), Амстердаме (Голландия), Франкфурте (Германия), Киеве (Украина) и два сервера – в Москве [4]. Все коммуникации между CDN-серверами и пользователями происходят через сеть Интернет. При этом используется только стандартный протокол HTTP (HyperText Transfer Protocol), что позволяет подключать к системе практически любые сети с CDN-узлами, имеющие доступ в Интернет. Система не требует настройки для работы через прокси-серверы, firewall и другие системы защиты. Основными техническими и технологическими недостатками существующих прикладных протоколов при передаче мультимедиатрафика являются: – дублирование видеопотоков по одним и тем же сегментам сети, что приводит к возрастанию сетевых и аппаратных нагрузок; – ограниченность вертикального масштабирования Web-серверов при постоянном росте пользователей; – невысокое качество видео, транслируемого в сети Интернет. В данной работе предлагается другой подход оказания медиауслуг, основанный на следующих принципах: – для построения CDN-сети используется инфраструктура существующей спутниковой инфраструктуры Телепорта ТГУ; – взаимодействие между серверами для синхронизации файлов и вещания данных происходит с использованием технологий multicast и peer-to-peer в спутниковом и наземном сегментах сети; – для предварительной обработки «сырого» видео используются технологии параллельного программирования и высокопроизводительные ресурсы суперкомпьютера; – адаптивное управление доступом к мультимедийным ресурсам осуществляется с учетом динамического изменения полосы пропускания в сети телекоммуникаций; – выбор оптимального маршрута между пользователем и CDN-сервером для доставки медиаконтента с учетом динамических изменений параметров сетевых соединений производится на основе взвешенного ориентированного графа. На рис. 1 приведена схема гибридной распределенной информационной системы для широкополосного доступа к мультимедиаконтенту. Рис. 1. Схема гибридной распределенной информационной системы для интернет-телевидения Модель гибридной распределенной информационной системы включает в себя: – узловые элементы в виде CDN-серверов, обладающие функциональными возможностями ввода, вывода и репликацией медиаданных; – стандартные программные средства обмена данными между CDN-серверами по одноранговой (P2P, peer-to-peer, point-to-point) сети, а также спутниковой сети, построенной по топологии «звезда» с применением технологии multicast; – ресурсные центры медиаданных, имеющие аналоговые и цифровые интерфейсы вывода высококачественного контента; – программные модули, использующиеся для высокоэффективного сжатия медиаданных, транслируемых из ресурсных центров; – функциональные интерфейсы, обеспечивающие выбор оптимального маршрута между CDN-сервером и пользователем, используя построение взвешенного ориентированного графа; – видеопортал, организующий доступ к мультимедиауслугам посредствам http-протокола; – оборудование абонента. Гибридная распределенная CDN-сеть основана на разделении коммуникационных каналов на два типа. Первый тип каналов предназначен для взаимодействия между CDN-серверами, с включением репликации баз данных и синхронизации медиафайлов. Эффективная репликация данных между CDN-серверами должна обеспечиваться: – технологией multicast для централизованного обновления медиафайлов на стороне периферийных серверов; – гарантированной полосой пропускания между центральным CDN-сервером и периферийными независимо от географического местоположения последних; – защищенностью каналов связи. Наиболее подходящей транспортной средой, удовлетворяющей данным условиям, является спутниковая сеть на базе VSAT-технологий. Спутниковая VSAT-сеть объединяет большое количество географически разделенных образовательных учреждений в общую корпоративную сеть и является транспортной средой передачи медиаданных в коллективной научной и образовательной деятельности. Технология multicast в спутниковой сети реализована в прямом канале для обеспечения рассылки информации по системе «от одного ко многим». Групповую рассылку в спутниковом прямом канале обеспечивает специализированный сервер MUL IPGW. Второй тип каналов обеспечивает доступ в сеть конечных абонентов, которые запрашивают медиаконтент через CDN-сеть. Данная сеть работает по стандартным протоколам TCP, HTTP и является общедоступной для данного сегмента обслуживания CDN-сервера. Одним из основных элементов информационной системы является видеопортал, представляющий собой комплекс программных средств, обеспечивающих хранение, управление и доступ к медиаданным посредством http-протокола с требуемой степенью сетевой доступности и масштабированием. Видеопортал имеет следующую структуру: – системное ядро на основе платформы «1С-Битрикс: Управления сайтом», которое включает API (интерфейс программирования приложений) для разработки программных компонент, интерфейс для создания базы данных, системы мониторинга производительности и работоспособности всей CDN-сети; – база данных медиаданных разработанная на платформе «1С-Битрикс: Управление сайтом», которая обеспечит необходимую степень структурирования информации на видеопортале; – совокупность разработанных и стандартных программных компонент, обеспечивающих: вывод медиаданных на веб-страницы, обратную связь пользователей мультимедийными услугами. Серверная архитектура видеопортала должна работать в дуплексном режиме, поддерживая multicast-режим для обмена данными большого объема и unicast-режим для репликации баз данных и обмена служебной информацией. Условно серверы CDN-сети можно разделить на несколько типов в зависимости от выполняемых задач: балансировщик нагрузки; сервер приложений; сервер баз данных. Балансировщик нагрузки обеспечивает распределение запросов пользователей между серверами приложений, кэшированием данных, выполняет функции firewall’а. В качестве балансировщика нагрузки используется веб-сервер Nginx, кеширование данных выполняет программное обеспечение memcached. В качестве firewall’а используется приложение iptables. Сервер приложений обеспечивает обработку запросов от пользователей, получая их запросы от балансировщика нагрузки, взаимодействует с сервером баз данных, CDN-сервером, осуществляет работу с кэш-данными. В качестве сервера приложений используется веб-сервер Apache2 с поддержкой PHP. Сервер баз данных выполняет обработку запросов от сервера приложений и может использоваться для хранения кэша. В качестве сервера баз данных используется программное обеспечение MySQL. Сервер баз данных и сервер приложений должны быть выполнены на одном физическом устройстве и представляют собой одну ноду кластера. Все программное обеспечение работает под управлением операционной системы Ubuntu Linux Server. При таком подходе ограниченность вертикального масштабирования возможно решить созданием системы горизонтального масштабирования посредством оптимизированной архитектуры с балансировкой нагрузки между территориально разделенными серверами. Видеопортал предназначен для организации доступа к мультимедийным услугам, таким как потоковое видео (Live Streaming), медиаданные по запросу (Media Delivery). Доступ к потоковому видео будет осуществляться посредством авторизации на видеопортале, а также в открытом режиме. Главным принципом построения крупных видеопорталов является децентрализация серверных и магистральных мощностей. Отличительными особенностями Web-сервера в CDN-сети, являются: – возможность ввода дополнительных CDN-серверов пропорционально возрастанию сетевых и аппаратных нагрузок (горизонтальное масштабирование); – бесперебойная работа посредством сетевого и аппаратного резервирования; – балансирование нагрузки, трафика и данных между несколькими CDN-серверами. Обмен данными в существующих на данный момент CDN-сетях обеспечивается стандартными проколами в режиме unicast. Соответственно, если необходимо доставить медиафайл объемом n-мегабайт в сеть на k-серверов, тогда трафик в сети составит S=k*n Мегабайт. Режим multicast, который возможен в спутниковой сети Телепорта ТГУ, позволяет передать в один временной такт, используя один сетевой ресурс, медиафайл для всех CDN-серверов трафиком S=n. На рис. 2 показан результат выполнения нагрузочного тестирования двух CDN-серверов. Время генерации страницы регистрировалось с нагрузкой 100 http-подключений в секунду. Все http-подключения распределялись поровну между двумя CDN-серверами. Безымянный Рис. 2. Время генерации/получения страницы В некоторый момент происходит полное отключение одного из серверов, в результате чего все http-подключения передаются только на один рабочий CDN-сервер. Очевидно, что время загрузки страницы увеличилось за счет аппаратной нагрузки. Данный тест показывает способность аппаратного и сетевого резервирования видеопорталов в любых сегментах CDN-сети. Другими словами видео-портал остается доступным при выключении части CDN-серверов сети. Заключение Реализация описанного подхода к созданию гибридной распределенной информационной системы интернет-вещания позволит организовать общее «мультимедиаполе» в существующем наземном и спутниковом сегменте научно-образовательной сети, обеспечить эффективную работу целевой аудитории в научно-образовательной среде, проводить мониторинг спроса на мультимедийные услуги.

Скачать электронную версию публикации