Грид технологии
DESCRIPTION
Грид технологии. Лекция 7 Архитектура Globus Toolkit. Радченко Глеб Игоревич, каф. СП, ЮУрГУ. http://dom.susu.ru/grid.htm. Содержание. Обеспечение безопасности в GT4 Компоненты управления данными Управление выполнением задач Информационные службы. Обеспечение безопасности в GT4. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/1.jpg)
Ю У р Г У
МехМат
С П
Грид технологииЛекция 7
Архитектура Globus Toolkit
Радченко Глеб Игоревич, каф. СП, ЮУрГУ http://dom.susu.ru/grid.htm
![Page 2: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/2.jpg)
Ю У р Г У
МехМат
С ПСодержание
1. Обеспечение безопасности в GT4
2. Компоненты управления данными
3. Управление выполнением задач
4. Информационные службы
2
![Page 3: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/3.jpg)
Обеспечение безопасности в GT41
![Page 4: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/4.jpg)
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
Globus Toolkit v4www.globus.org
CredentialMgmt
4
![Page 5: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/5.jpg)
Ю У р Г У
МехМат
С ПБезопасность GT
Контроль доступа к разделенным ресурсам Обеспечение управления доступом, например
разделение политик доступа для рабочих групп Поддержка многопользовательских
объединений Объединение посредством взаимно-доверяемых
служб Поддержка динамического определения
доверяемых областей пользователями и ВО Персональная (или ВО) коллекция ресурсов,
которые работают вместе на базе доверия пользователя (ВО).
5
![Page 6: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/6.jpg)
6
Безопасность GT4
Пользователи
Права
Вычислительныйцентр
Доступ
Службы (работают на стороне пользователя)
Права
Local policyon VO identityor attributeauthority
CAs или VOMsвыпускают сертификаты SAMLили X.509
SSL/WS-Securityc сертификатамидоступа
Authz Callout:SAML, XACML
KCA
MyProxyВО
Права
![Page 7: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/7.jpg)
Ю У р Г У
МехМат
С ПБезопасность GT4 Аутентификация на основе открытого ключа Расширяемая инфраструктура авторизации на
основе стандартов Web-служб Идентификатор авторизации SAML Интегрированный механизм обработки политик
язык XACML и т.п. Службы управления сертификатами
MyProxy Служба Групповой Авторизации Отдельная служба делегирования
7
![Page 8: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/8.jpg)
Ю У р Г У
МехМат
С П
Использование стандартов безопасности GT4
Самый быстрыйпо умолчанию
Поддерживается но медленный
Поддерживаетсяно не безопасный
8
![Page 9: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/9.jpg)
Ю У р Г У
МехМат
С ПИнтеграция GT и XACML
eXtensible Access Control Markup Language — расширяемый язык разметки контроля доступа стандарт OASIS, открытая реализация
XACML: сложный язык работы с политиками GT предоставляет среду исполнения XACML
Включена в каждом клиенте и сервере GT … которая может быть прозрачно вызвана из среды
исполнения или пользовательского приложения.
9
![Page 10: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/10.jpg)
Ю У р Г У
МехМат
С П
Инфраструктура авторизации GT
10
![Page 11: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/11.jpg)
Ю У р Г У
МехМат
С ПДругие службы безопасности
MyProxy Упрощенное управление сертификатами Интеграция с Web-порталами (Tomcat) Поддержка единого входа
KCA & kx.509 Интеграция с доменами Kerberos
SimpleCA Генерация сертификатов Online
11
![Page 12: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/12.jpg)
Компоненты управления данными
2
![Page 13: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/13.jpg)
13
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
Globus Toolkit v4www.globus.org
CredentialMgmt
![Page 14: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/14.jpg)
Ю У р Г У
МехМат
С ПGT4 Data Management
Хранение/перемещение больших объемов данных с/на узлы GridFTP, Reliable File Transfer (RFT) Отдельно, и интегрировано с GRAM
Определение местонахождения необходимой информации Replica Location Service (RLS)
Реплики данных для увеличения производительности Distributed Replication Service (DRS)
Обеспечение доступа к различным источникам данных Файловые системы параллельные файловые системы,
иерархические системы хранения: GridFTP Базы данных: OGSA DAI
14
![Page 15: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/15.jpg)
Ю У р Г У
МехМат
С ПGridFTP в GT4
Поддержка IPv6 Расширенный ввод/вывод
(XIO) для различных транспортных протоколов
Разделение на полосы (Striping) скорости передачи данных порядка мульти-Gb/sec 27 Gbit/s на 30 Gbit/s канале
Подключаемый Front-end: канал, контролируемый
WS Back-end: HPSS, кластерная
файловая система Передача: UDP, NetBLT transport
15
Bandwidth Vs Striping
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4
# Stream = 8 # Stream = 16 # Stream = 32
Bandwidth Vs Striping
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4
# Stream = 8 # Stream = 16 # Stream = 32
![Page 16: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/16.jpg)
Ю У р Г У
МехМат
С П
16
Reliable File Transfer:надежный протокол передачи
RFT Service
RFT ClientSOAP Messages
Notifications(Optional)
DataChannel
Protocol Interpreter
MasterDSI
DataChannel
SlaveDSI
IPCReceiver
IPC Link
MasterDSI
Protocol Interpreter
Data Channel
IPCReceiver
SlaveDSI
Data Channel
IPC Link
GridFTP Server GridFTP Server
Передача: запустил и забыл
Интерфейс Web-служб Интегрированная
система
восстановления
16
![Page 17: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/17.jpg)
Ю У р Г У
МехМат
С ПReplica Location Service
Позволяет определить положение файлов посредством карты имен: логических в физические
Распределенный индекс имен
Управление ~40 миллионами файлов на ~10 сайтах
IndexIndex
Local DB
Update send (secs)
Bloom filter
(secs)
Bloom filter (bits)
10K <1 2 1 M
1 M 2 24 10 M
5 M 7 175 50 M
17
![Page 18: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/18.jpg)
Ю У р Г У
МехМат
С ПOGSA-DAI
Предоставляет сервисно-ориентированный доступ к структурированным ресурсам данных как часть системы Globus
Определяет интерфейсы доступа к различным типам хранилищ данных (начиная с реляционных и XML)
18
![Page 19: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/19.jpg)
Ю У р Г У
МехМат
С П
OGSA-DAI: инфраструктура для разработки приложений
Поддерживает доступ к данным Реляционные: MySQL, Oracle, DB2, SQL Server,
Postgres XML: Xindice, eXist Файлы – CSV, BinX, EMBL, OMIM, SWISSPROT,…
Поддерживает передачу данных SOAP над HTTP FTP; GridFTP E-mail Inter-service
Поддерживает трансформацию данных XSLT ZIP; GZIP
Поддерживает безопасность X.509 certificate based security
19
![Page 20: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/20.jpg)
Ю У р Г У
МехМат
С П
20MySQL
OGSA-DAI service
Engine
SQLQuery
JDBCРесурсыданных
Действия
DB2
Инфраструктура OGSA-DAI
GZip GridFTPXPath
XMLDB
XIndice
readFile
File
SWISSPROT
XSLT
SQLServer
Базы данных
ApplicationApplicationClient ToolkitClient Toolkit20
![Page 21: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/21.jpg)
Ю У р Г У
МехМат
С П
MySQL
OGSA-DAI service
Engine
SQLQuery
JDBC
SQL
JDBC
SQL
JDBC
SQL
JDBC
SQL
JDBC
MultipleSQL GDS
SQLQuery
Пример расширения21
![Page 22: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/22.jpg)
Ю У р Г У
МехМат
С П
OGSA-DAI: другие свойства
Инфраструктура для создания клиентов Библиотека Client Toolkit library
Инфраструктура для разработки функциональности Возможность расширения существующих или
создания собственных действий Возможность объединения действий
Высоко-расширяемая Возможность «затачивать» продукт Разработка собственных служб, клиентских
приложений и собственной функциональности (в зависимости от данных)
22
![Page 23: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/23.jpg)
Управление выполнением задач
3
![Page 24: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/24.jpg)
24
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
CredentialMgmt
![Page 25: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/25.jpg)
Ю У р Г У
МехМат
С П
Управление исполнением (GRAM) Общий интерфейс для планировщиков на
основе WS Unix, Condor, LSF, PBS, SGE, …
Обобщенно: интерфейс для управления процессами Формирование среды исполнения Загрузка данных Мониторинг и управление жизненным циклом Завершение работы, очистка
25
![Page 26: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/26.jpg)
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
26
![Page 27: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/27.jpg)
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может быть переданприложению
27
![Page 28: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/28.jpg)
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может бытьпередан для авторизации в RFT
28
![Page 29: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/29.jpg)
Ю У р Г У
МехМат
С П
GRAMservices
GT4 Java Container
GRAMservices
Delegation
RFT FileTransfer
Transferrequest
GridFTPRemote storage element(s)
Localscheduler
Userjob
Compute element
GridFTP
sudo GRAMadapter
FTPcontrol
Local job control
Delegate
FTP data
Cli
ent Job
functions
Delegate
Service host(s) and compute element(s)
Архитектура GT4 WS GRAM
SEGJob events
Сертификат может быть использован для аутентификацииВ GridFTP
29
![Page 30: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/30.jpg)
Ю У р Г У
МехМат
С П
Производительность WS GRAM Время постановки базового задания GRAM
Pre-WS GRAM: < 1 секунды WS GRAM: 2 секунды
Максимальное количество заданий Pre-WS GRAM: 300 заданий WS GRAM: 32,000 заданий (максимум папок в
директории)
30
![Page 31: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/31.jpg)
Ю У р Г У
МехМат
С П
Workspace Service: Службарабочего пространства
Политика
Клиент
Окружение
Задача
Согласование доступаИнициация задачиМониторинг задачиКонтроль задачи
Интерфейс Поставщик ресурса
31
![Page 32: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/32.jpg)
Ю У р Г У
МехМат
С П
32
Задачи могут быть вложенные
Политика
Клиент
Среда
Интерфейс Поставщик ресурсов
Клиент
Клиент
32
![Page 33: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/33.jpg)
Ю У р Г У
МехМат
С ПНапример
Физическая машинаОбеспечить аппаратныересурсы
Гипервизор/OS Установить гипервизор/OS
VM VM Установить виртуальнуюмашину
Инициация, управление и мониторинг на всех уровнях
JVM Установить контейнер
JVMУстановить службу
33
![Page 34: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/34.jpg)
Ю У р Г У
МехМат
С П
Динамическое развертывание служб
Сообщество А
СообществоZ
…
• Групповые механизмы планирования• Распределение данных• Групповой менеджмент• Научные службы• ...
Требования:• Управлениегруппами• Устойчивость•Гарантированныересурсы• Изолированность(принцип«невмешательства»)
34
![Page 35: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/35.jpg)
Ю У р Г У
МехМат
С П
Затраты на использование виртуальных машин
GRAM job
GRAM job in paused VM
Job in booted VM
35
![Page 36: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/36.jpg)
Информационные службы4
![Page 37: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/37.jpg)
37
Data MgmtSecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
Data Access& Integration
Grid ResourceAllocation &
ManagementIndex
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol
Protocol
CredentialMgmt
![Page 38: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/38.jpg)
Ю У р Г У
МехМат
С ПМониторинг и обнаружение
Должны поддерживаться стандартные механизмы мониторинга и обнаружения служб WSRF/WSN предоставляют такие механизмы
Общая инфраструктура для сбора информации: MDS-Index: кешируемые Xpath запросы MDS-Trigger: выполнение действия по условию
Глубокая интеграция с контейнерами и службами Globus: каждая служба GT4 может быть обнаружена GRAM, RFT, GridFTP, CAS, …
38
![Page 39: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/39.jpg)
Ю У р Г У
МехМат
С П
GT4 Container
Мониторинг и обнаружениеслужб GT4
GRAM User
MDS-Index
GT4 Cont.
RFT
MDS-Index
GT4 Container
MDS-Index
GridFTP
adapter
Регистрация идоступ WSRF/WSN
Особые протоколы дляне-WS сущностей
Клиенты(WebMDS)
Автомат.регистрацияв контейнере
WS-ServiceGroup
39
![Page 40: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/40.jpg)
Ю У р Г У
МехМат
С П
Производительность сервера индекса По мере роста индекса MDS4, замедляется
время обработки запроса, хотя и менее чем линейно
Время ответа увеличивается в связи с увеличивающимся объемом передаваемых данных Ответ перестраивается под каждый запрос
40
![Page 41: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/41.jpg)
Ю У р Г У
МехМат
С ППоставщики информации
Поставщики информации (information providers) GT4 собирают информацию с определенной системы и предоставляют в виде свойств ресурса WSRF
Количество поставщиков информации постоянно растет Ganglia, CluMon, Nagios SGE, LSF, OpenPBS, PBSPro, Torque
Множество попыток разработки новых поставщиков Например мониторинг сетей, систем хранения,
сенсоров
41
![Page 42: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/42.jpg)
Ю У р Г У
МехМат
С ПВыводы GT442
Службы Java на Apache Axis плюс библиотеки и
обработчики GT
YourJava
Service
Вашаслужба(Python)
Вашаслужба(Java) R
FT
GR
AM
Del
egat
ion
Inde
x
Trig
ger
Arc
hive
r
pyGlobusWS Core
Ваша служба
(С)
C WS Core
RLS
Pre
-WS
MD
S
CA
S
Pre
-WS
GR
AM
Sim
pleC
A
MyP
roxy
OG
SA
-DA
I
GT
CP
Grid
FT
P
Службы на C, использующие библиотеки GT
СЕРВЕР
КЛИЕНТ
Совместимые сWS-I
сообщения SOAP
YourJavaClient
YourC
Client
YourPythonClient
Вашклиент(Java)
Вашклиент
(С)
Вашклиент(Python)
X.509 сертификаты =общая аутентификация
Хостинг на Python, библиотеки GT
YourJavaClient
YourC
Client
YourPythonClient
Вашклиент(Java)
Вашклиент
(С)
Вашклиент(Python)
![Page 43: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/43.jpg)
Ю У р Г У
МехМат
С ПСсылки и литература
Я. Фостер, К. Кессельман, Д.М. Ник, С. Тьюке “ФИЗИОЛОГИЯ ГРИД”. Открытая архитектура грид-служб для интеграции распределённых систем. [http://www.gridclub.ru/library/publication.2004-11-29.8307957187/publ_file/]
Borja Sotomayor. The Globus Toolkit 4 Programmer’s Tutorial. November 2005. http://gdp.globus.org/gt4-tutorial/download/progtutorial-pdf_0.2.1.tar.gz]
Globus Toolkit 4.2.1 Release Manuals [http://www-unix.globus.org/toolkit/docs/4.2/4.2.1/]
43
![Page 44: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/44.jpg)
Ю У р Г У
МехМат
С ППрезентации44
![Page 45: Грид технологии](https://reader035.vdocument.in/reader035/viewer/2022062410/5681548a550346895dc29a0d/html5/thumbnails/45.jpg)
Ваши вопросы?
Спасибо за внимание!
Страница курса:http://dom.susu.ru/grid.htm
Радченко Глеб Игоревич, каф. СП, ЮУрГУ