grid de calcul: tehnologia, arhitectura Şi viitorul

UC2007, V.Sidorenco

GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI

VIITORUL

Dr. Veaceslav Sidorenco

RENAM, UTM

www.renam.mdwww.utm.md

1st RENAM UC – 2007National Research and Education Network

User’s Conference

14 - 15 May, 2007

UC2007 V.Sidorenco 2

Evoluţie: Valul nr cinci

Mainframe InternetPC Client/ServerOperationalProductivity

PersonalProductivity

DepartmentalProductivity

Distributed

Computing

21st

Century

EnterpriseProductivity

ChannelProductivity

http://www.alltheweb.com/search?t=all&q=wave+pictures&c=img&o=8&s=full&l=any&browse=1

http://www.alltheweb.com/search?t=all&q=wave+pictures&c=img&o=19&s=full&l=any&browse=1

http://www.alltheweb.com/go/1/IB/img/http/home.eznet.net/~blkbear/Pictures/Scenic/


Principiul Grid Computing

constă în utilizarea optimizată a infrastructurii informatice eterogene prin considerarea reţelei de calculatoare cao maşină virtuală unică


Evoluţie: Distributed Computing

1985 1992 1996 2000 2006

Computing Ubiquity

DC Research

Distributed Batch QueuingNQS, DQS, Condor, … LSF Batch

Grid Research

Internet Grid Computing

JobSchedulerParallelAnalyzerMultiCluster

UNIX workstations & supercomputers

SMPs & UNIX workstations

Linux & Windows farms with commd. chips

2 Vaxen + Ethernet

System Arch Trend :


Obiectivul Grid Computing

Obiectivul principal al grid computingului este acela de a trata reţeaua mondială de sisteme de calcul drept o vastă resursă computaţională a cărei putere de calcul să fie oferită utilizatorilor, în aceeaşi manieră în care serviciile reţelei de electricitate sunt oferite clienţilor acesteia.

Gridul îşi propune să furnizeze infrastructura şi mijloacele care fac posibilă partajarea pe scară largă, sigură a resurselor, dar şi o putere de procesare impresionantă.

UC2007 V.Sidorenco 6Bit+ 2007, V.Sidorenco 6

Grid Computing: proprietăţi

•Colaborare – capacitatea de a partaja resurse în mod distribuit, acoperind transparent mai multe domenii de administrare. Colaborarea inspiră o sinergie pozitivă în relaţiile dintre utilizatori şi furnizori de servicii. Există chiar şi o concepţie aparte de grid de colaborare (Collaboration Grid).

•Agregare – gridul uneşte mulţimi de resurse individuale într-o resursă virtuală de capacitate mare. Resursele individuale putând fi unite atât static cât şi dinamic.

•Virtualizare – serviciile grid sunt dotate cu interfeţe ce ascund complexitatea internă a resurselor din substrat. Virtualizarea formează un strat abstract amplasat între clienţi şi resurse de diferite tipuri:

•Grid folosit pentru virtualizarea fluxului de lucru (workflow virtualization);

•Grid de Date folosit pentru virtualizarea datelor (Data Grid);•Grid Semantic folosit pentru virtualizarea informaţiilor.



• Orientare spre servicii – gridul realizează concepţia arhitecturii orientate spre servicii.

• Eterogenitate – gridul tipic constă din resurse de calcul eterogene: componente hardware şi software cu diferite performanţe şi latenţe.

• Gestiune descentralizată – gridul nu are un singur punct de gestiune, realizând mecanisme de gestiune distribuită. Componentele gridului pot fi gestionate din partea mai multor entităţi.

• Standardizare şi interoperabilitate – gridul promovează standardizarea interacţiunii şi interfeţelor dintre componente şi servicii eterogene. Succesul dezvoltării tehnologiilor grid este dependent mult de gradul de standardizare în acest domeniu. Pentru gridul ştiinţific sunt specifice standarde deschise.



•Transparenţa accesului – prin virtualizare utilizatorii accesează resursele gridului fără să apeleze la studierea detaliată a arhitecturii din substraturi şi topologiilor de reţele.

•Scalabilitate – gridul posedă mecanisme de extindere flexibilă a resurselor necesare pentru executarea unei aplicaţii cu cerinţe variabile de elemente de calcul, elemente de stocare, de număr de utilizatori etc.

•Reconfigurabilitate – gridul trebuie să fie reconfigurabil în mod dinamic: o specificaţie fundamentală stipulată în CoreGRID.

•Securitate – accesul securizat la resursele gridului este furnizat prin intermediul infrastructurii gridului securizat (Grid Security Infrastructure – GSI).

•Suportul aplicaţiilor – gridul este capabil să posede şi să execute mulţimi de aplicaţii variate. Dezvoltarea şi testarea aplicaţiilor de asemenea face parte din serviciile de suport aplicaţii grid.



• Modelul de calcule – gridul este capabil să realizeze mai multe modele de calcule: în lot de lucrări (batch), interactive, distribuite, paralele ş.a.

• Modelul de licenţe – gridul provine din surse academice. Modelul de bază este Open Source Software, care este respectat şi de câteva companii, care activează în dezvoltarea gridului. Există şi soluţii de grid corporative cu licenţe comerciale.

• Proceduri şi politici – utilizatorii şi furnizorii (providerii) de servicii grid interacţionează în condiţiile pieţii deschise urmând regulile ei. Deja există modele de proceduri şi de politici şi în acest domeniu nou.

• Audit – toate activităţile în cadrul gridului se înregistrează şi pot fi analizate multilateral ulterior.


Principiul Grid Computing


Domenii de aplicaţie

Circa 20 applicaţii din 7 domenii se folosesc în EGEE – grid pentru e-ştiinţăHigh Energy Physics

4 LHC experiments (ALICE, ATLAS, CMS, LHCb)BaBar, CDF, DØ, ZEUS

BiomedicineBioinformatics (Drug Discovery, GPS@, Xmipp_MLrefine, etc.)Medical imaging (GATE, CDSS, gPTM3D, SiMRI 3D, etc.)

Earth Sciences Earth Observation, Solid Earth Physics, Hydrology, Climate

Computational ChemistryAstronomy

MAGICPlanck

Geo-PhysicsEGEODE

Financial SimulationE-GRID



Analiza în afaceri Proiectare Inginerească

Cercetare şi Dezvoltare

Dezvoltarea Guvernului

Optimizarea Întreprinderilor

Ajută la planificarea şi analiza rapida în domeniul de afacere.

Accelerează procesele de elaborare (design) prin folosirea partajată a puterii mari de calcule şi aplicaţiilor de profil ingineresc şi ştiinţific.

Accelerează şi îmbunătăţeşte procesele de Cercetare şi Dezvoltare prin folosirea puterii mari de calcule în cazul aplicaţiilor de profil de cercetare intensivă.

Creează infrastructuri IT de scară largă pentru dezvoltare economică şi suport de noi servicii de guvern.

Optimizează procesele de calcul şi acces la date pentru o utilizare mai bună, mai eficientă. Continuitatea afacerilor.

Servicii FinanciareDomeniul public Domeniul industrialPiaţa de Petrol & Energie

Domeniul industrial Domeniul public Domeniul industrial

Domeniul public Servicii FinanciareDomeniul public Domeniul industrial



Imaginea Universului reconstruită în cadrul resurselor TeraGrid



Search Engine for South-East Europe (SE4SEE) for Grid-aided web-crawling & data indexing.


Climate Simulation

client

server

grpc_call

Sim.Server

Vis.Server

front node - public IP - Globus - gatekeeper - jobmanager - pbs, grd, sqms - NAT

backend nodes - private IP or public IP - Globus SDK - Ninf-G Lib

Sequential Run: 8000 secExecution on Grid: 300 sec (100cpu)


Arhitectura Grid Computing


Structura TeraGrid


Structura EU Data Grids for High Energy Physics


Proiectul UE EGEE


Principii de funcţionare

• Open Source

• Middleware

• Security

• Job brokering

• Resources management

• SOA – Services Oriented Architecture (XML, SOAP, WS)



Grid Service Architecture

GRAM - Grid Resource Access and Management Remote allocation, reservation, monitoring, control of compute resources

GridFTP protocol (FTP extensions)High-performance data access & transport

GRIS - Grid Resource information ServiceAccess to structure & state information

Network reservation, monitoring, controlAll integrated with GSI: authentication, authorization, policy, delegation.


Pilonii tehnicii Grid Computing

• OGSA - Open Grid Services Architecture - model arhitectural. Defineşte noţiunea de serviciu Grid. Concepe mediul grid ca o colecţie de servicii, conferind avantajele unei arhitecturi orientate pe servicii (SOA – Service Oriented Architecture).

• GGF - Global Grid Forum. Încearcă crearea unor standarde în domeniu.

• Globus Toolkit - mediu de dezvoltare a aplicaţiilor grid, resurse gratuite.


Infrastructura multistrat

Applications

Grid ServicesGRAM

GSI HBM

Nexus

I/O

Grid Fabric

LSF

Condor MPI

NQEPBS

TCP

NTLinux

UDP

Application Toolkits

DUROC globusrunMPI Nimrod/GCondor-G HPC++

GlobusView Testbed Status

GASS

Solaris DiffServ

GSI-FTPMDS


Architectura Protocolului Grid


Calculul în reţea Grid



constă în punerea în comun a puterii tuturor calculatoarelor dintr-o reţea prin distribuirea resurselor de calcul în funcţie de necesităţile fiecărui client



GRID



User Interface (UI)

Information Service (IS)

Computing Element (CE)Frontend NodeWorker Nodes (WN)

Storage Element (SE)

Replica Catalog (RC,RLS)

Resource Broker (RB)



UIJDL

Logging &Logging &Book-keepingBook-keeping

ResourceResourceBrokerBroker

Job SubmissionJob SubmissionServiceService

StorageStorageElementElement

ComputingComputingElementElement

Information Information ServiceService

Job Status

ReplicaReplicaCatalogueCatalogue

DataSets info

Author.&Authen.

Job S

ub

mit

Even

t

Job

Qu

ery

Job

Stat

us

Input “sandbox”

Input “sandbox” + Broker InfoGlobus RSL

Output “sandbox”

Output “sandbox”

Job Status

Pu

blis

h

grid

-pro

xy-in

it

Exp

and

ed J

DL

SE & CE info


Managementul infrastructurii Helpdesk, database, wiki /


Monitorizare în timp real http://gridportal.hep.ph.ic.ac.uk/rtm/


GSI: Grid Security Infrastructure

Single sign-onvia “grid-id”

User

User Proxy

GlobusGlobusCredentialCredential

Site 1

Kerberos

GRAM Process

Process

ProcessGSI

TicketTicket

Site 2

Public Key

GRAM

GSI

CertificateCertificate

Process

Process

Process

Authenticatedinterprocess

communication

CREDENTIAL

GSSAPI:multiplelow-level

mechanisms

Mutualuser-resourceauthentication

Mappingto local ids

Assignment of credentials to“user proxies”


Tehnologia Grid de Noua Generaţie

Arhitectura Gridului de calcul de generaţia a treia NGG3 este definită ca soluţie total distribuită, scalabilă, reconfigurabilă în mod dinamic destinată aplicaţiilor ştiinţifice şi de afacere, ce oferă nu numai putere de calcul dar şi acces la informaţii şi cunoştinţe prin intermediul unei mulţimi de servicii orchestrate.


Service Oriented Knowledge Utility

Nucleul NGG3 reprezintă Utilitatrul de Cunoştinţe Orientat spre Servicii - Service Oriented Knowledge Utility (SOKU).

Concepţia SOKU se bazează pe evoluţia naturală şi convergenţa următoarelor TI:

• Web-Servicii, • Tehnologii grid, • Web semantic, • Sisteme analitice distribuite, cu auto-organizare (self-

organising).


Service Oriented Knowledge Utility


Pilonii concepţiei SOKU

• Orientare spre servicii – ce pot fi instanţiate şi asamblate în mod dinamic: structura, comportarea şi locaţia modulelor de programe se determină şi se modifică în procesul execuţiei (at run-time);

• Cunoştinţe – serviciile interpretează semantica informaţiilor pentru a facilita şi automatiza livrarea către utilizatori a serviciilor avansate, de nivel superior;

• Utilitate imediată – SOKU este un serviciu imediat utilizabil având funcţionalitatea, performanţa şi dependenţele prestabilite, axate pe necesităţile şi preferinţele utilizatorului.


… unde suntem acum?

Concepţia “Grid” ne orientează aici…


Mulţumesc pentru atenţie !

ÎntrebăriÎntrebări ? ?

Veaceslav Sidorenco

[email protected]

grid de calcul: tehnologia, arhitectura Şi viitorul

Documents