«CLOUD» SERVICES HIGH-POWER computing RESOURCES FOR EDUCATION, SCIENCE AND INDUSTRY.pdf ВведениеРазвитие скоростных телекоммуникаций и технологий широкополосного доступа к высокопроизводительным вычислительным ресурсам стало основой создания нового сервиса в сети Интернет для хранения и обработки данных. Термин «облачные вычисления» (Cloud computing) появился в середине 2000-х гг. и означает технологию распределенной обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как интернет-сервис [1]. Главным инфраструктурным элементом в новой концепции обработки огромных массивов данных является ЦОД - Центр обработки данных (Data-Center), представляющий собой программно-аппаратный комплекс для высокопроизводительной обработки, хранения и передачи данных, обладающий высокой эксплуатационной готовностью [2]. Наиболее значимой технологией, обеспечившей работу ЦОДа как «облачного» сервиса, стала технология виртуализации. С появлением этой технологии стало возможным создание виртуальных серверов на оборудовании ЦОДа и появление «облачного» сервиса «Инфраструктура как сервис» » (Infrastructure as a Service - IaaS) [3]. Таким образом, концепция «облачной» обработки данных представляет собой очередной этап развития распределенных вычислений, предшественниками которой являются такие концепции, как «мэйнфрейм», grid и «клиент-сервер» [4]. К настоящему времени можно выделить пять основных технологий «облачного» сервиса: инфраструктура как услуга (Infrastructure as a Service, IaaS); платформа как услуга (Platform as a Service, PaaS); программное обеспечение как услуга (Software as a Service, SaaS); рабочее место как услуга (Workplace as a Service, WaaS); данные как услуга (Data as a Service, DaaS); Преимущества такого сервиса очевидны [4]: - высокая эксплуатационная готовность сервиса. Доступ к данным, находящимся на ЦОДе, предоставляется в любое время независимо от Вашего местонахожднения;- объем данных не ограничивается возможностями Вашего компьютера; - не нужно покупать дорогостоящее оборудование. Его можно получить в системе «облачных» сервисов. Необходим лишь компьютер, используемый в качестве «тонкого клиента» для доступа к ЦОДу;- не нужно покупать программное обеспечение для каждого компьютера;- не нужно тратить средства на обслуживание дорогостоящего оборудования. Все эти преимущества стимулировали резкий рост рынка «облачных» вычислений. Среди ключевых провайдеров «облачных» услуг такие крупные компании, как Amazon, Google, Microsoft, Salesforce и т.д. В списке разработчиков в области «облачных» вычислений компании HP, VMware, Citrix, IBM, Oracle, SAP, Fujitsu [4]. По оценке компании Garther, «облачные» вычисления в последние годы находятся в списке 10 ключевых технологических трендов. Рынок «облачных» сервисов становится всё более популярной услугой в России. Объем сервиса IaaS в 2011 г. в денежном выражении составил 380 млн руб. В ближайшие три года темпы роста данного рынка составят порядка 150-250% в год, а общий объем рынка приблизится к 3 млрд руб. [5].Высокопроизводительные вычисления занимают особое место в научных исследованиях. Экспоненциальный рост объема данных кардинально изменил природу исследований. Развитие высокопроизводительных ресурсов стало основой применения методов математического моделирования в науке, промышленности и бизнесе [6]. Технологии «облачных» вычислений дают возможность использования высокопроизводительных ресурсов, консолидированных в научно-образовательных центрах, широкому кругу исследователей, что значительно повышает потенциал научного сообщества и эффективность научных исследований [7, 8]. Как результат развития инфраструктуры высокопроизводительных «облачных» вычислений в России создаются аппаратно-программные вычислительные комплексы, обеспечивающие «облачный» сервис для проведения фундаментальных и прикладных исследований. В качестве примера можно привести инфраструктуру «облачных» вычислений Национального исследовательского центра «Курчатовский институт» [9], корпоративное облако СО РАН [10], Суперкомпьютерный информационно-вычислительный комплекс Национального исследовательского Томского государственного университета [11]. 1.Суперкомпьютерный информационно вычислительный комплекс ТГУВ 2011 г. на базе Томского государственного университета в рамках программы развития Национального исследовательского университета создан Суперкомпьютерный информационно-вычислительный комплекс (СК ИВК) - интегрированный комплекс инженерных, информационно-телекоммуникационных и вычислительных систем, обеспечивающих высокопроизводительную обработку, хранение и передачу данных, необходимых для решения задач экспертной оценки, контроля, мониторинга, прогноза развития ситуации, оперативного управления и обеспечения принятия управленческих решений. Ключевыми элементами СК ИВК ТГУ являются: - Система космической связи, включающая: Телепорт ТГУ, космическую группировку спутников связи «Ямал» ОАО «Газпром космические системы», сеть наземных спутниковых станций; - Супервычислительный кластер СКИФ Cyberia;- Центр обработки данных. Телепорт Томского государственного университета является сегодня крупнейшим за Уралом космическим комплексом для оказания услуг спутниковой связи, способным обслуживать одновременно более 5 000 абонентских спутниковых терминалов и предоставлять весь комплекс мультисервисных услуг связи, включая доступ в Интернет, передачу данных, гарантированную доставку пакетов, видеоконференц-связь, цифровое телерадиовещание, телефонию. К Телепорту подключены учебные аудитории, научные лаборатории, центры коллективного пользования уникальным оборудованием университета, суперкомпьютер «СКИФ Cyberia», а также ресурсы других образовательных учреждений региона. Телепорт использует частотно-энергетические ресурсы двух российских спутников связи «Ямал-200» открытого акционерного общества «Газпром космические системы», лучи которых покрывают практически всю территорию Российской Федерации, Европы и Азии. Периферийные спутниковые станции серии обеспечивают высокоскоростную двухстороннюю спутниковую связь. Сеть Телепорта включает более 300 приемно-передающих и приемных спутниковых станций, установленных на учреждениях образования, органов государственной и муниципальной власти, здравоохранения, других организаций, находящихся в отдаленных и труднодоступных местностях в десяти регионах Сибири, включая Томскую, Новосибирскую, Омскую, Кемеровскую, Тюменскую области, Алтайский и Красноярский края, республики Алтай, Бурятия, Саха (Якутия).Суперкомпьютер Томского государственного университета является мощным вычислительным ресурсом. Сегодня СКИФ «Cyberia» - самый мощный за Уралом суперкомпьютер в России, это 1280 высокопроизводительных процессоров с пиковой производительностью 63,7 трлн операций в секунду, система хранения данных с объемом 100 трлн байт, программное обеспечение для решения научно-технических и хозяйственных задач. Суперкомпьютер Томского государственного университета входит в список ТОП-500 самых мощных суперкомпьютеров мира, он занимает 10-е место в списке ТОП-50 самых мощных суперкомпьютеров стран СНГ и 3-е место среди суперкомпьютеров университетов стран СНГ. Центр обработки данных ТГУ - уникальный программно-аппаратный комплекс, представляющий собой 250 высокопроизводительных серверов, систему хранения данных объемом 70 трлн байт, лицензионное программное обеспечение сетевого доступа. В составе ЦОДа аналитический ситуационный центр для мониторинга природных и техногенных процессов, прогнозирования и оценки последствий стихийных бедствий и чрезвычайных ситуаций.2.Инфраструктура высокопроизводительных ресурсов ТГУВ состав суперкомпьютера СКИФ Cyberia входят вычислительные узлы в форм-факторах T-Blade 1.1, T-Blade 2.0 и 1U. Каждый вычислительный узел содержит по 2 процессора следующих типов:а) 283 вычислительных узла, оснащенных двумя двуядерными процессорами Intel Xeon 5150 (4 МБ cache, 2,66 ГГц, 1333 МГц FSB) на базе микроархитектуры Woodcrest, с тактовой частотой 2,66 ГГц, оперативной памятью 8 Гб, жестким диском на 80 Гб;б) 190 вычислительных узлов, оснащенных двумя шестиядерными процессорами Intel Xeon 5670 (12 МБ cache, 2,93 ГГц, 6,40 GT/s Intel® QPI) на базе микроархитектуры Westmere, с тактовой частотой 2,93 ГГц, оперативной памятью 24 ГБ, жестким диском 160 ГБ;в) 40 вычислительных узлов, оснащенных двумя шестиядерными процессорами Intel Xeon 5670 (12 МБ cache, 2,93 ГГц, 6,40 GT/s Intel® QPI) на базе микроархитектуры Westmere, с тактовой частотой 2,93 ГГц, оперативной памятью 48 ГБ, жестким диском 160 ГБ;г) 128 вычислительных узлов, оснащенных двумя шестиядерными процессорами Intel Xeon 5670 (12 МБ cache, 2,93 ГГц, 6,40 GT/s Intel® QPI) на базе микроархитектуры Westmere, с тактовой частотой 2,93 ГГц, оперативной памятью 24 ГБ, без жесткого диска.Суммарная оперативная память составляет 10,8 ТБ = 8,6 ТБ DDR3-PC10600 + 2,2 TБ FB-DIMM. На каждое вычислительное ядро приходится по 2 ГБ оперативной памяти. Вычислительные узлы кластера связаны высокопроизводительной сетью Mellanox QDR Infiniband, скорость передачи сообщений между узлами 40 Гбит/с, задержка не более 2,5 мкс.Использование технологии Infiniband QDR в реализации компании Mellanox на суперкомпьютере СКИФ Cyberia обеспечивает высокоскоростную передачу данных между вычислительными узлами со скоростью 40 Гбит/с. Такие скорости позволяют проводить эффективное масштабирование задач с использованием любого количества доступных вычислительных ресурсов.На суперкомпьютере СКИФ Cyberia установлены лицензионные операционные системы SuSE Linux Enterprise Server 10.1, CentOS 5.5 и Microsoft Windows HPC Server 2008. Имеющаяся система распределения вычислительной нагрузки регулирует количество используемых узлов под каждой операционной системой в зависимости от потребностей пользователей. В случае повышения потребностей в ОС Windows необходимое количество узлов переводится в эту ОС и наоборот. Суперкомпьютер оборудован внешней системой хранения данных (СХД) Panasas с параллельной файловой системой Panasas ActiveScale File System с протоколом параллельного доступа к данным DirectFLOW, объектной архитектурой и защитой от сбоев. Система резервирования модулей хранения данных StorageBlade, динамическая балансировка загрузки, адаптивная поддержка RAID на уровне файлов обеспечивают равномерное распределение данных по всему дисковому массиву с сохранением максимальной скорости доступа к данным, а также полную сохранность данных при форс-мажорных ситуациях. Высокоскоростная параллельная система хранения данных с объектной архитектурой обеспечивает пропускную способность 700 Мб/с, система защиты от сбоев обеспечивает надежную сохранность данных, а гибкая политика безопасности - защиту данных от несанкционированного доступа.В состав суперкомпьютера СКИФ Cyberia, помимо вычислительных ресурсов, входят инфраструктурные модули системы бесперебойного электропитания APC Symmetra PX 80 и MGE Galaxy 5000 120kVA, обеспечивающие бесперебойную работу вычислительных мощностей суперкомпьютера, защиту от перепадов напряжения, а также силовые модули для поддержания электрического напряжения на уровне 230 В, что обеспечивает наилучший режим функционирования вычислительного оборудования и продлевает срок его безотказной работы. Система бесперебойного электропитания в случае нештатной ситуации, как, например, отключение электроэнергии, способна обеспечить штатное отключение вычислительного оборудования с сохранением всех данных и переход всего комплекса в режим ожидания, в котором он может работать до 4,5 ч непрерывно. При этом сохраняется доступность всех данных, находящихся на файловой системе из сети Интернет. Системы электропитания и охлаждения спроектированы с учетом резервирования N+1, а управляющие узлы и СХД - с резервированием 2N, что обеспечивает максимально высокую надежность всего комплекса. Доступность всей системы, рассчитанная методом блок-схем, составляет 99,97 %.Суперкомпьютер оборудован системой удаленного мониторинга и управления оборудованием, которая проводит сбор информации от всех инфраструктурных узлов, анализ полученной информации и в зависимости от важности проводит оповещение персонала по е-mail, СМС или звуковым сигналом в операторной комнате, а также при необходимости осуществляет ввод резерва. Под постоянным наблюдением находятся системы электропитания, климатические системы (контроль температуры и влажности в машинных залах), вычислительные узлы. В вычислительном центре ведется круглосуточное дежурство квалифицированного персонала для обеспечения работоспособности всего вычислительного и инфраструктурного оборудования. При необходимости осуществляется техническая поддержка по e-mail или телефону.Вычислительная система, предназначенная для решения серьезных задач, требует обязательного наблюдения за ее работой и анализа эффективности. Это возможно лишь в том случае, когда имеется подробная информация о состоянии системы в различные моменты времени. Ganglia - масштабируемая распределенная система мониторинга для высокопроизводительных компьютерных систем, таких как кластеры или гриды. На каждой вычислительной машине запускается «демон» gmond, который собирает системную информацию (скорость процессора, использование памяти и т.д.) и посылает ее на управляющий сервер. Накладные расходы, связанные с работой gmond, очень малы, поэтому этот код можно запускать без ущерба для производительности. В своей работе данные системы мониторинга применяют пакет RRDTool. RRDtool набор утилит для работы с RRD (Round-robin Database), т.е. с кольцевой базой данных. Подробность хранимых данных в такой базе уменьшается по мере их устаревания, т.е. размер базы остается неизменным. Это позволяет сохранить компактность базы данных без ущерба для ее полезности. В настоящий момент RRDTool является практически промышелнным стандартом мониторинга. Предусмотрен Web-интерфейс, разработанный на языке программирования PHP, для работы которого необходим Web-server, например Apache или nginx.Вычислительные узлы в форм-факторах T-Blade 1.1 и 1U оборудованы жесткими дисками SATA II для хранения временных файлов, необходимых непосредственно во время проведения расчетов, с пропускной способностью 300 Мбит/с. Суммарный объем всего дискового пространства 100 ТБ.Суперкомпьютер подключен к сети TSUNet каналом с пропускной способностью 1 Гбит/с, имеет соединение с Центром обработки данных выделенным каналом на скорости 10 Гбит/с. Возможен доступ с любого компьютера, подключенного к сети Интернет. На уровне маршрутизаторов обеспечивается высокая безопасность передачи данных. Вычислительные мощности суперкомпьютера СКИФ Cyberia также обладают надежными системами разграничения доступа, что позволяет обеспечивать надежный контроль за доступом к информации, находящимся в каждый конкретный момент на вычислительных узлах и файловом хранилище.ЦОД представляет собой систему, состоящую из двух аппаратно-программных комплексов, разнесенных в разные здания. В каждом из комплексов размещаются: шасси, в котором установлено 10 Blade IBM HS22V, 2 системы хранения, 2 дисковых массива: 1 SATA, 1 SAS. Каждый Blade IBM HS22V имеет следующие характеристики: процессоры - 2 CPU × 6 Cores × 2,67 ГГц, CPU = Intel® Xeon® CPU X5650 @ 2.67. GHz, память: 54 ГБ. Для управления дисковыми массивами используется система хранения IBM N6040. Управление дисковыми массивами осуществляется через Fibre Channel Target Host Adapter с двумя адаптерами, что обеспечивает дополнительный вклад в отказоустойчивость. Общее дисковое пространство составляет 210 ТБ. Общий объём оперативной памяти 540 ГБ. Для распределения электропитания и охлаждения предусмотрено несколько резервных схем. Инженерные системы обладают двойной избыточностью и дополнительной поддержкой с помощью ресурсов суперкомпьютера СКИФ Cyberia. Таким образом, уровень надежности оборудования ЦОД по стандарту TIA EIA 942 присвоен Tier 3. Управление ЦОДом осуществляется посредством программного обеспечения для виртуализации от VMware. Серверную часть обслуживает VMware vSphere, а клиентскую - VMware View. В зависимости от запросов пользователей или заказчиков им предоставляются операционные системы: Windows XP, Windows 7, Windows Server 2003, Windows Server 2008, различные версии Linux. Все необходимое программное обеспечение ставится централизованно и может быть клонировано в кратчайшие сроки. Система виртуальных компьютерных классов, организованная с помощью VMware View, не только позволяет обращаться к внутренним ресурсам сети с дополнительной степенью защиты, но и повышает уровень удобства для конечных пользователей с поддержкой трехмерной графики по протоколу PCoIP. Взаимодействие пользователя с СК ИВК осуществляется по клиент-серверной технологии, где в качестве сервера выступает сервер кластера, а в качестве клиентов - удаленные пользовательские машины. Оно сводится к получению доступа с клиентского компьютера к серверу, к выполнению команд клиента на сервере и к копированию файлов между сервером и клиентским компьютером. Для предотвращения несанкционированного доступа к информационным и вычислительным ресурсам кластера, для защиты конфиденциальной информации и ее целостности и т.п. используется протокол безопасного удаленного доступа к кластеру. Назначение протокола безопасного удаленного доступа к СК ИВК состоит в защите взаимодействия между пользователем и комплексом от перечисленных угроз. Эта цель достигается с помощью следующих средств защиты информации на сетевом уровне: а) аутентификация сервера перед клиентом и клиента и пользователя перед сервером; б) контроль целостности сообщений, передаваемых между клиентом и сервером; в) шифрование конфиденциальных сообщений. В наиболее подходящем виде данные средства реализованы в пакете программ SSH, выполняющем функции одноименного протокола удаленного доступа. Его главная цель - защита сетевого взаимодействия - достигается благодаря следующим основным свойствам протокола: а) все используемые алгоритмы шифрования, обеспечения целостности и ключевого обмена являются хорошо известными и проверенными алгоритмами; б) все алгоритмы применяются с криптографически сильными ключами, обеспечивающими защиту на десятилетия даже от сильнейших криптографических атак; в) все алгоритмы сторонами согласовываются, и в случае если некоторый алгоритм взламывается, можно легко переключиться на другой алгоритм без изменения основного протокола. Серверная часть SSH (компонента sshd пакета, позволяющая удаленным пользователям подсоединяться к серверу) установлена на платформе Linux, а соответствующая клиентская часть (компонента ssh пакета, которую удаленные пользователи запускают на своих компьютерах) доступна как для ОС Unix, так и для Microsoft Windows всех версий, начиная с 95-й. Доступ к СК ИВК осуществляется через FireWall Server на базе ОС Slackware Linux и межсетевого экрана (МСЭ) iptables, в правилах которого реализована политика доступа во внутреннюю сеть кластера. Межсетевой экран имеет следующие особенности: а) доступ осуществляется посредством протокола SSHv2 + SFTP; б) по умолчанию на МСЭ используется политика полного запрета; в) доступ на кластер разрешён только на управляющие хосты;д) изнутри сети доступ к МСЭ запрещён, кроме сервиса доступа к серверу лицензий специального ПО.Удаленный доступ к СК ИВК осуществляется по защищенному протоколу SSH (Secure Shell) версии 2 для Linux-кластера и по протоколу RDP (Remote Desktop Protocol) для Windows-кластера. Доступ может быть организован с любой рабочей станции, имеющей доступ в сеть Интернет. Приведем пример организации работы SSH с использованием доступа по ключу пакета openssh, установленного на кластере СКИФ Cyberia.Для начала необходимо сгенерировать пары RSA или DSA ключей, соответственно будет использоваться протокол аутентификации сторон на основе алгоритмов электронно-цифровой подписи RSA или DSA .Для генерации ключа используется программы из состава пакета openssh - ssh-keygen: ssh-keygen -t dsaили соответственно для RSAssh-keygen -t rsa.Для повышения безопасности в процессе работы данной программы целесообразно установить непустую парольную фразу (passphrase). В дальнейшем избежать ввода пароля можно, используя программу ssh-agent.В результате работы данной программы будет сгенерирована пара ключей - публичный ключ (public key) и приватный ключ (private key). Приватный ключ всегда должен оставаться на машине, выступающей в роли клиента. Публичный ключ в свою очередь копируется на суперкомпьютер в директорию $HOME/.ssh того пользователя, от имени которого будут выполняться необходимые вычисления. Для работы ключ необходимо переименовать в autorized_keys.Теперь при соединении машины клиента с кластером будет проверяться существование файла ~/.ssh/autorized_keys, и если нужный ключ найден, SSH-сервер будет отправлять клиенту сообщение, зашифрованное данным публичным ключом. Клиент, в свою очередь, расшифровывает сообщение с помощью имеющегося у него приватного ключа. Если сообщение расшифровано, значит подтверждена правильность публичного и приватных ключей, и клиенту предоставляется доступ.Окончание расчета задачи отслеживаются по специальному индивидуальному номеру - job id, который присваивается задаче при ее постановке в очередь.Если по окончании вычислений необходимо забрать файлы с полученными результатами с кластера на клиентскую машину, в роли которой выступает интерактивный портал, для последующей обработки полученных данных, например для визуализации, с этой целью используется протокол SCP - протокол копирования файлов, использующий в качестве транспорта SSH. Обычно используется утилита scp из состава пакета openssh.Схема удаленного доступа к вычислительным ресурсам суперкомпьютера СКИФ Сyberia показана на рис. 1.Рис. 1. Схема удаленного доступа к вычислительным ресурсам суперкомпьютера СКИФ CyberiaСовместное использование ресурсов ЦОД и суперкомпьютера можно представить в виде блок-схемы (рис. 2) взаимодействия пользователя с высокопроизводительными вычислительными ресурсами ТГУ. Пользователь обращается к вычислительным ресурсам ТГУ посредством специальных программных продуктов, которые позволяют передавать большие объемы информации на СХД ЦОД через виртуальный сервер, созданный в vSphere. Виртуальный сервер обеспечивает защиту информации и проверяет ее корректность. С помощью VMware View Client пользователь получает доступ к своей рабочей виртуальной машине с ОС Windows и установленными на ней приложениями, а также специально настроенными ссылками для запуска необходимых программ и расчетов, которые осуществляются через специальные приложения, установленные на суперкомпьютере СКИФ Cyberia и управляемые сервером в vSphere на ЦОД. Суперкомпьютер обрабатывает данные на выполнение расчетов, забирает необходимую информацию из СХД ЦОД, осуществляет вычисления и записывает полученные данные на СХД ЦОД. На случай проблем с сетевыми соединениями или других ситуаций СКИФ Cyberia может в автоматическом режиме записать данные на СХД СКИФ, а при восстановлении связи автоматически восстановить нужную передачу данных в СХД ЦОД. Рис. 2. Блок-схема взаимодействия пользователя и высокопроизводительных вычислительных ресурсов ТГУСуперкомпьютерный информационно-вычислительный комплекс ТГУ объединяет пользователей в единую инфраструктуру, управляемую с помощью виртуализации. Пользоваться и управлять вычислительными ресурсами ТГУ можно удаленно из различных мест с использованием технологии тонкого клиента, в том числе с помощью iPad. Описанная информационно-вычислительная система позволяет проводить передачу и обработку больших потоков медицинских данных, обеспечить им необходимую защиту, а также устойчивость и бесперебойную работу системы в целом.ЗаключениеУникальные свойства СК ИВК по обработке сверхбольших потоков данных дают практически неограниченные возможности применения данных ресурсов по различным направлениям:- геофизические исследования, обработка и интерпретация геолого-геофизических данных для обнаружения оценки запасов полезных ископаемых;- дистанционное зондирование Земли с применением космических технологий: обнаружение и мониторинг лесных пожаров, картирование паводковой обстановки на реках, прогнозирование заторов льда на реках, обнаружение и мониторинг нефтяных загрязнений, определение структуры сельскохозяйственных угодий, мониторинг состояния и прогноз урожайности сельскохозяйственных культур, обнаружение и картирование вырубок леса, экологический контроль; - прогнозирование климатических изменений, техногенных и природных катастроф, загрязнений окружающей среды;- создание информационных систем в здравоохранении для решения задач трехмерной медицинской визуализации биологических объектов; - решение научно-технических задач в области нано-, биотехнологий, поиск новых лекарств; - создание распределенной информационно-телекоммуникационной системы для образования, экономичных программно-аппаратных комплексов для школ Томской области. В рамках государственного контракта № 07.514.11.4057 на выполнение научно-исследовательских работ ресурсы суперкомпьютерного информационно-вычислительного центра используются для моделирования перспективных лазерных сред на основе органических соединений в твердотельных матрицах. Разработанный программный комплекс с использованием высокопроизводительных ресурсов СК ИВК дает возможность осуществлять «облачные» вычисления спектрально-люминесцентных и генерационных характеристик перестраиваемых лазеров на основе сложных органических соединений, проводить теоретические исследования в режиме реального времени, оперативно получать результаты расчетов и проводить сравнение с экспериментом.

Скачать электронную версию публикации