17313

ЗАСОБИ БЕЗПЕКИ GRID - ТЕХНОЛОГІЙ

Лекция

Информатика, кибернетика и программирование

Лекція 24. Засоби безпеки Grid технологій Сучасний стан програмного забезпечення інфраструктури GRID На сьогодняшній день розроблено нове покоління програмного забезпечення GRID ГПЗ. Представниками цього покоління є дві основні розробки: Globus Alliance випустив версію 4.0 комп...

Украинкский

2013-06-30

124 KB

4 чел.

Лекція 24. Засоби безпеки Grid - технологій

Сучасний стан програмного забезпечення інфраструктури GRID

На сьогодняшній день розроблено нове покоління програмного забезпечення GRID (ГПЗ). Представниками цього покоління є дві основні  розробки: Globus Alliance випустив версію 4.0 комплексу Globus Toolkit, а робоча група Jra1 проекту EGEE випустила комплекс glite.

По-перше, відбувся перехід до стандартів відкритої архітектури служб OGSA, і, по-друге, нове ГПЗ крім інструментальних засобів включає комплект служб, які не тільки підтримують дистанційні операції (запуск завдань, передача файлів), але і забезпечують функціонування GRID як операційного середовища (моніторинг апаратно-програмної інфраструктури, стеження за завданнями, розподіл ресурсів і так далі).

Хоча концепція OGSA була сформульована ще в 2002 році, її проведення в життя виявилося досить важким. OGSA ввела поняття GRID -служб як основної форми програмних компонентів розподілених систем і вирішила завдання стандартизації взаємодії GRID - служб. Відповідні специфікації були розроблені в пропозиціях по інфрастуктурі GRID -служб OGSI і вперше реалізовані в Globus Toolkit 3. Далі історія розвивалася таким чином, що OGSI був переглянутий, і новий підхід отримав назву WSRF - Web-services Resource Framework.

Основним мотивом трансформації OGSI в WSRF став пошук компромісу між технологіями GRID- і Web-служб, що важливе перш за все з практичної точки зору, оскільки полегшується переклад вже наявних Web-додатків на технології GRID, а з іншого боку відкривається можливість використання в GRID розвиненого інструментарію. Рішення, запропоноване в WSRF, є надбудовою над Web-службами, що розширюють їх можливості засобами роботи з ресурсами, що запам'ятовують стан (stateful): WSRF - це п'ять доповнюючих стандарти Web-служб специфікацій, які дозволяють встановлювати зв'язок між Web-службами і ресурсами.

З’явилися перші реалізації WSRF. У Globus Toolkit 4.0 і glite це, відповідно, WS Core і Wsrf::lite. Ці компоненти містять контейнери (середовище функціонування) для грид-служб, а також API і засоби їх розробки. Маючи в своєму розпорядженні реалізацію WSRF, програмісти, зокрема прикладні, отримають інструментарій для створення служб із стандартними інтерфейсами і компоновки з них розподілених застосувань.

Друга особливість нового ГПЗ - розширений комплект служб. Версії Globus Toolkit з першої по третю містили лише служби для виконання дистанційних операцій, проте GRID - це просторово розподілена інфраструктура, що виконує роль операційного середовища для різних застосувань. Як підтверджує практика, щоб це середовище зберігало властивості звичайних комп'ютерних систем, в ній необхідне вирішення завдань забезпечення надійності та якості обслуговування, керованості, і вони починають реально вирішуватися службами планування, моніторингу завдань і пристроїв, обліку, протоколювання і так далі .

Програмний продукт GLOBUS

Набір програм Globus Toolkit (GT) – програмний продукт з відкритим початковим кодом і набором бібліотек, розроблений в національній лабораторії. Він містить набір стандартних блоків і інструментів, які можуть бути використані розробниками і системними інтеграторами. За декілька років вийшли чотири версії програми Globus: оригінальна – в кінці дев'яностих, GT2 – в 2000, GT3 – в 2003, і GT4 – в 2005. Версія GT2 послужила базисом для безлічі GRID розробників по всьому світу. GT3 – стала першою повноцінною реалізацією інфраструктури GRID, побудованої на технології Web - сервісів, з використанням проміжної ланки GGF’s OGSI. GT4 – перша версія, повністю сумісна з основними Web - сервісами так само, як GRID -  сервіси засновані на WSDL і WSRF. Більшість систем GRID використовують ОС UNIX.

Випущений стабільний реліз GT 4 Final, де зафіксовані всі зовнішні інтерфейси.

На сайті Globus Alliance приводиться опис складу служб GT 4 (Мал. 11), відомості про них, плани і стан реалізації.

Рис.1. Компоненти Globus Toolkit 4.0

Для управління виконанням пакет надає можливість виявлення і управління ресурсами GRID, управління робочим простором і засобу планувальника співтовариства користувачів.

Для забезпечення безпеки пакет надає сервіси аутентифікації і авторизації, надання видаленого доступу і авторизації співтовариств користувачів.

Для управління даними в програмі закладені функції надійної передачі файлів, інтеграції і доступу до даним і їх тиражування.

Для забезпечення інформаційних служб, в програму закладені функції моніторингу і виявлення різних сервісів системи.

Для підтримки спільної роботи система містить різні ядра Web – сервісів, бібліотеки і розширені функції підтримки введення/виводу.

GT4 містить набір стандартних служб. На даний момент вони представлені дев'ятьма Web - сервісними інтерфейсами, але їх число росте.

  1.  Управління завданнями: Пакет програм виявлення і управління ресурсами (GRAM);.
  2.  Надійна файлопередача (RFT);.
  3.  Делегування функцій.
  4.  Система моніторингу і виявлення вільних ресурсів – індекс (MDS - index);
  5.  Система моніторингу і виявлення – MDS - trigge.
  6.  Система моніторингу і виявлення – збір даних (MDS - aggregate);
  7.  Авторизація співтовариства (CAS);
  8.  Інтеграція і доступ до даним (OGSA - DAI);
  9.  Робота в реальному масштабі часу.

Слід зазначити, що Globus Toolkit не містить брокера ресурсів, залишаючи завдання його реалізації розробникам, що створюють системи GRID на його основі.

Система Gridge

Gridge  -  програмний продукт PSNC з відкритим початковим кодом, покликаний допомогти користувачам у використанні проміжного ПО GRID і в створенні ефективних інфраструктур GRID. Всі програмні компоненти системи Gridge були сполучені в єдину розподілену систему, що працює по єдиних інтерфейс - специфікаціям, ліцензіям і гарантіям якості.

Компоненти програми Gridge, так само як і інші представники проміжного ПЗ GRID, пройшли успішне тестування різними версіями системи Globus. Компоненти програми Gridge розповсюджуються безкоштовно з повною комерційною підтримкою. PSNC пропонує:

  1.  технічну підтримку, консультування, навчання і послуги розробників для програм Gridge і Globus.
  2.  сприяння в розробці, використанні і настройці проміжного ПО.
  3.  Установку і інтеграцію компонентів Gridge і Globus.
  4.  семінари і тренінги з технологій GRID.

Програмний продукт Gridge містить наступні інструменти і служби:

Служба авторизації GRID (GAS) – система авторизації, яка може служити єдиною точкою ухвалення рішень для всіх компонентів системи. Політика безпеки для всіх компонентів системи розміщена в GAS. Використовуючи умови даної політики GAS здатна анулювати рішення про авторизацію на прохання користувача. Служба GAS розроблена таким чином, що легко може інтегруватися із зовнішніми компонентами і здатна підтримувати безпеку комплексних систем. Здатність взаємодіяти з різними компонентами Globus і операційних систем, роблять GAS привабливим рішенням для GRID додатків.

Система управління даними GRID  -  один з основних компонентів пакету управління даними Gridge (GDMSuite) – платформа проміжного ПО, що надає уніфікований інтерфейс для з'єднання з різнорідними сховищами даних по всій мережі. GDMSuite є основою всього середовища Gridge, в рамках якого всі обчислювальні служби виконують всі свої операції. Пакет управління даними Gridge містить набір блоків, розроблених для створення повного і добротного середовища управління даними. Він розроблений так, щоб відповідати всім глобальним вимогам середовища GRID, таким як, безпека, сумісність і ефективність.

Мобільні служби GRID. Розробка програмного забезпечення для мобільних пристроїв повинна фокусуватися на додатках, які здатні встановити взаємодію між мобільними пристроями (мобільними телефонами, КПК, лэптопами) і службами GRID.

Журнальна система Toth. Цей компонент був розроблений для вирішення проблеми збору даних про події, що генеруються розподіленими службами середовища Gridge. Деякі сервіси при рішенні загальних завдань віддають перевагу системі на основі бібліотеки LOG4J, тому Toth повністю з нею сумісний.

Система моніторингу GRID. Система моніторингу Mercury розроблена в рамках проекту GridLab і надає собою головну інфраструктуру моніторингу GRID. Вона була спеціально розроблена для того, щоб відповідати специфічним вимогам моніторингу GRID: проведення моніторингу даних, представлених у вигляді метрик через моделі pull/push семантики доступу до даним, а також надавати можливість моніторингу управління.

Портали GRID розроблені спеціально для різних сценаріїв використання середовища співтовариствами кінцевих користувачів. Портали Gridge розроблені за допомогою наступних інструментів і додатків: GridSphere, сумісної оболонки Java і провайдера GRID, які дозволяють швидко розгортати і використовувати додатки, засновані на GRID, а також легко регулювати доступ до середовища декількох незалежних порталів.

Система управління ресурсами GRID. Цей компонент є системою мета - планування з відкритим початковим кодом, він дозволяє розробникам створювати і використовувати системи управління ресурсами для великих, важко керованих обчислювальних інфраструктур.

У 2008 році сформувалася схема взаємодії між GRID і базами даних Oracle (друге покоління технології GRID – обчислень).

Програмне забезпечення LCG

Для побудови повністю функціональної GRID-системи необхідне програмне забезпечення проміжного рівня, що побудоване на базі існуючих інструментальних засобів і надає високорівневі сервіси завданням і користувачам.

Прикладом такого програмного забезпечення може служити ПЗ LCG (LHC Computing Grid), що розробляється в Європейському центрі ядерних досліджень (CERN). Спочатку метою проекту LCG була розробка повністю функціонуючої GRID-системи на базі Globus Toolkit для обробки даних у фізиці високих енергій. З часом область застосування LCG розширилася, і в даний час це – один з найпоширеніших пакетів, що швидко розвиваються, ПО GRID.

Пакет LCG складається з декількох частин, званих елементами. Кожен елемент є самостійним набором програм (одні і ті ж програми можуть входити в декілька елементів), що реалізовують деякий сервіс, і призначений для установки на комп'ютер під управлінням ОС Scientific Linux.

Нижче перераховані основні елементи LCG і їх призначення:

  •  CE (Computing Element) – набір програм, призначений для установки на вузол, що управляє, обчислювального кластера. Даний елемент надає універсальний інтерфейс до системи управління ресурсами кластера і дозволяє запускати на кластері обчислювальні завдання;
  •  SE (Storage Element) – набір програм, призначений для установки на вузол зберігання даних. Даний елемент надає універсальний інтерфейс до системи зберігання даних і дозволяє управляти даними (файлами) в GRID-системі;
  •  WN (Worker Node) – набір програм, призначений для установки на кожен обчислювальний вузол кластера. Даний елемент надає стандартні функції і бібліотеки LCG завданням, що виконуються на даному обчислювальному вузлі;
  •  UI (User Interface) – набір програм, що реалізовують призначений для користувача інтерфейс GRID-системи (інтерфейс командного рядка). У цей елемент входять стандартні команди управління завданнями і даними, деякі з яких розглянуті в наступному розділі;
  •  RB (Resource Broker) – набір програм, що реалізовують систему управління завантаженням (брокер ресурсів). Це найбільш складний (і об'ємний) елемент LCG, що надає всі необхідні функції для скоординованого автоматичного управління завданнями в GRID-системі;
  •  PX (Proxy) – набір програм, що реалізовують сервіс автоматичного оновлення сертифікатів (myproxy);
  •  LFC (Local File Catalog) – набір програм, що реалізовують файловий каталог GRID-системи. Файловий каталог необхідний для зберігання інформації про копії (репліках) файлів, а також для пошуку ресурсів, що містять необхідні дані;
  •  BDII (Infornation Index) – набір програм, що реалізовують інформаційний індекс GRID-системи. Інформаційний індекс містить всю інформацію про поточний стан ресурсів, отримувану з інформаційних сервісів, і необхідний для пошуку ресурсів;
  •  MON (Monitor) – набір програм для моніторингу обчислювального кластера. Даний елемент збирає і зберігає в базі даних інформацію про стан і використання ресурсів кластера.
  •  VOMS (VO Management Service) – набір програм, що реалізовують каталог віртуальних організацій. Даний каталог необхідний для управління доступом користувачів до ресурсів GRID-системи на основі членства у віртуальних організаціях.

На один комп'ютер можлива установка відразу декількох елементів LCG, якщо це дозволяють його потужності (об'єм пам'яті і продуктивність). Мінімальна кількість вузлів, необхідних для розгортання повного набору ПЗ LCG, рівна трьом. Слід відмітити, що установка всіх сервісів на один вузол, хоча і можлива технічно, але настійно не рекомендується. Брокер ресурсів, з міркувань безпеки, слід розташувати на окремому вузлі. Обчислювальні вузли також слід виділити окремо, оскільки навантаження, що створюється на них працюючими завданнями, приведе до дефіциту ресурсів для решти сервісів. Решта всіх елементів може бути встановлені спільно.

У основі ПО LCG лежать розробки, виконані в рамках європейського проекту EDG (European DataGrid) кілька років тому. Зараз проект LCG активно розвивається і стоїть на порозі переходу до нової, більш функціональній інфраструктурі програмного забезпечення, що носить назву gLite. Даний перехід має на увазі поступову заміну застарілих програм новими із збереженням сумісності.

Важливо відзначити, що все програмне забезпечення, що розробляється в рамках проекту LCG, може вільно використовуватися. На основі цього програмного забезпечення можливе створення національних і регіональних GRID-систем для ефективного розподілу локальних ресурсів. LCG є технологічною базою для інфраструктури, що реалізовується в рамках проекту EGEE.

Комплекс glite

Навіть враховуючи появу в Globus Toolkit 4 нових служб (CAS, RLS), слід визнати, що головний напрям його розвитку - засоби розробки і підтримки служб. Основна відмінність комплексу glite в тому, що крім інструментальних засобів, в нього входить ширший набір служб. glite істотно спирається на досвід ряду крупних європейських проектів: EDG, LCG, Alien, NorduGrid і створюється колективно - в його розробці беруть участь більше 80 фахівців з 11 дослідницьких центрів. glite повинен стати основним ГПЗ проекту EGEE, прийшовши на зміну комплексу Lcg-2.

Приведемо огляд основних підсистем glite.

Обчислювальний елемент (Computing Element - CE) - це служба, що представляє ресурсний вузол GRID і що виконує на нім функції управління завданнями (запуск, видалення і так далі). Звернення до CE можуть надходити або від інтерфейсу користувача, або від Менеджера завантаження (Workload Manager -wm), який розподіляє завдання по безлічі CE. У glite функціональність CE розширена в порівнянні з аналогічною службою Lcg-2. Якщо в Lcg-2 CE може працювати тільки у відповідністі до Push моделі (WM самостійно ухвалює рішення про посилку завдання на CE), то в glite можливий режим роботи CE також і в Pull моделі, коли CE запрошує завдання у WM.

Крім функцій управління завданнями CE також виробляє інформацію про стан ресурсів. У Push моделі її публікує інформаційна служба, і вона використовується WM для вибору CE, на якому запускатиметься завдання. У Pull моделі інформація вбудовується в посилане WM повідомлення "CE доступний".

Підсистема управління даними (Data Management Subsystem - DM) включає три служби, що підтримують доступ до файлів: елемент пам'яті (Storage Element - SE), служби каталога (Catalog Services - CS) і диспетчер даних (Data Scheduling -ds). Всі служби працюють з даними на файловому рівні, в протилежність, наприклад, системам баз даних, які оперують такими елементами як записи і поля.

У розподіленому середовищі GRID призначені для користувача файли можуть зберігатися в безлічі екземплярів - реплік, розміщених в різних місцях, і завдання CS і DS полягає в тому, щоб зробити процес управління репліками прозорим для користувача, так щоб додатки діставали доступ до файлів по їх іменах або дескрипторах метаданих.

Доступ до даним файлів реально відбувається через SE, але DM підтримує також концепцію віртуальних наборів даних. Це відкриває нові цікаві можливості, засновані на абстракції глобальної файлової системи: при навігації по файлах клієнтське застосування може бути влаштоване як командна оболонка Unix, використовуючи команди зміни директорій, проглядання файлів і тому подібне Захист файлів забезпечується в DM списками контролю доступу ACL (Access Control Lists).

Підсистема обліку (Accounting Subsystem - DGAS) акумулює інформацію про використання ресурсів GRID окремими користувачами, групами користувачів і віртуальними організаціями. Зібрана інформація дозволяє побудувати загальну картину діяльності в GRID, на основі якої може формуватися політика розподілу ресурсів і стягуватися плата за їх використання.

Підсистема протоколювання (Logging and Bookkeeping - LB) відстежує кроки обробки завдання, виконуються в різних точках GRID, фіксуючи події (запуск, розподіл на відповідний CE, початок виконання і так далі), що відбуваються і запам'ятовуючи їх. Інформація про події (протокол) поставляється компонентами WM і CE, для чого в ці компоненти вбудовуються звернення до LB.

Протоколи збираються в два прийоми. Спочатку події передаються в локальну службу (Locallogger) і записуються у файл на диску. Locallogger відповідає за передачу протоколу одному з серверів зберігання (Bookkeeper), який "збільшує" події, даючи загальну картину зміни станів завдання (Submitted, Running, Done.). Крім того, Bookkeeper зберігає різні атрибути завдання: його опис (JDL); CE, на якому воно виконувалося; коди завершення і так далі Як протокол станів, так і протокол подій можна отримати або за допомогою спеціального інтерфейсу WM, або через повідомлення при певних змінах стану, наприклад, при закінченні завдання.

Підсистема інформаційного обслуговування і моніторингу GRID (Relational Grid Monitoring Architecture - R-GMA) вирішує задачу збору і управління даними про стан GRID, отримуючи інформацію від безлічі розподілених джерел - постачальників. У її основі лежить розроблена однією з груп Global Grid Forum (GGF-PERF) схема "Споживач-Постачальник", що описує спосіб взаємодії цих компонентів. Оскільки схема достатньо загальна, вона застосовна як для зберігання даних про GRID (які ресурси і служби доступні, які їх характеристики), так і для моніторингу додатків.

R-GMA є реляційною реалізацією цього загального підходу. За наявності безлічі розподілених постачальників з погляду інформаційних запитів R-GMA діє як одна велика реляційна база даних. "Реляційність" виявляється у формі представлення даних: постачальники оголошують про склад публікованої інформації за допомогою конструкції SQL CREATE TABLE, публікують її за допомогою SQL INSERT, а споживачі отримують дані через SQL SELECT.

Підсистема управління завантаженням (Workload Management System - WMS) складається з ряду компонентів, відповідальних за розподіл завдань між ресурсами GRID, а також що забезпечують управління завданнями. Центральною компонентой є Менеджер завантаження (WM), який отримує від своїх клієнтів запити по управлінню завданнями. Зокрема, обробляючи запит типу "запуск" WM визначає відповідний для виконання CE, зважаючи на вимоги і переваги, задані в описі завдання.

Система безпеки. Вона розглядається як засіб захисту Web-служб і реалізована у вигляді додаткових модулів, що розміщуються в контейнерах (Apache Axis, Tomcat). Розроблені пропозиції по архітектурі безпеки: https://edms.cern.ch/document/487004/ і сформульовані основні цілі: модульність, розширюваність, відповідність стандартам Web-служб, що розвиваються (Ws-security).


 

А также другие работы, которые могут Вас заинтересовать

33421. Понятие «корпоративная культура» и отношение к феномену корпоративной культуры 39 KB
  Основу корпоративной и организационной культуры составляют те идеи взгляды основополагающие ценности которые разделяются членами организации. Свойства корпоративной культуры базируются на признаках: всеобщность не формальность устойчивость. Всеобщность корпоративной культуры выражается в том что она охватывает все виды действий осуществляемых в организации.
33422. Краткое содержание. Корпоративный кодекс в организации 34 KB
  Корпоративный кодекс в организации Создание корпоративного кодекса – это один из способов обеспечения информационной открытости и публичности компании свидетельство приверженности высоким стандартам корпоративного поведения. Корпоративный кодекс – это открытая книга повествующая о принципах деятельности компании отвечающая на вопросы о том куда двигается предприятие как себя позиционирует. Послание от руководителей компании. Организационная структура компании главные персоналии.
33423. Невербальное общение и его роль в формирования имиджа управленца 19.73 KB
  Оно может либо дополнять и усиливать словесное общение либо ему противоречить и ослаблять. Невербальное общение – не так сильно структурировано как вербальное.
33424. Основы имиджелогии. Структура имиджа и его составляющие 26.48 KB
  Структура имиджа и его составляющие. В ряде определений получила отражение знаковая информационно –символическая природа имиджа. Но данный аспект в технологии имиджа на мой взгляд не главное. В этом определении ощутим акцент на таком прагматическом результате построения имиджа как передача информации о субъекте в виде его имиджа адресату в качестве которого выступает социальная группа.
33425. Финансовый менеджмент 22.96 KB
  Эффективное управление финансовой деятельностью предприятия обеспечивается реализацией принципов основными из которых являются: интегрированность с общей системой управления предприятием; комплексный характер формирования управленческих решений; высокий динамизм управления; многовариантность подходов к разработке отдельных управленческих решений; ориентированность на стратегические цели развития предприятия. Главной целью финансового менеджмента является обеспечение максимизации благосостояния собственников предприятия в текущем и...
33426. Управление денежными активами или остатком денежных средств и их эквивалентов 21.97 KB
  Размер остатка денежных активов которым оперирует предприятие в процессе хозяйственной деятельности определяет уровень его абсолютной платежеспособности влияет на размер капитала инвестируемого в оборотные активы а также характеризует в определенной мере его инвестиционные возможности. Операционный или трансакционный остаток денежных активов формируется с целью обеспечения текущих платежей связанных с операционной деятельностью предприятия: по закупке сырья материалов и полуфабрикатов; оплате труда; уплате налогов; оплате услуг...
33427. Управление затратами и себестоимостью продукции 23.55 KB
  Проведение общего анализа издержек предприятия: Анализ учетной политики предприятия; Формирование классификатора потребляемых ресурсов; АВС–анализ структуры затрат по видам ресурсов; Классификация затрат (переменные/постоянные, прямые/косвенные); Факторный анализ тенденций изменений структуры затрат
33428. Управление денежными средствами 25.91 KB
  Устанавливается минимальная величина денежных средств которую целесообразно иметь на р с исходя из средней потребности денег для оплаты банковских счетов и других требований; 2. определяются расходы по хранению средств на р с 4. рассчитывается верхняя граница денежных средств исходя из того что при ее достижении часть ДС необходимо будет конвертировать в ценные бумаги.
33429. Управление рисками 23.62 KB
  Выявление всех потенциальных рисков и анализ возможных потерь. Оценка и ранжирование потенциальных рисков. Выбор методов и определение путей снижения рисков. Пока риск не определен невозможно предпринять какиелибо меры по его минимизации поэтому первой стадией в управлении риском является идентификация вероятных рисков.