1

IL PROGETTO SCoPE

Slides in progress – 14-2-2008 L. Merola, G. Russo

2

Soggetto Proponente

L’Università degli Studi Napoli Federico II è il secondo ateneo italiano per estensione, con oltre 3.000 tra professori e ricercatori e 100.000 studenti.

Nella linea dell’e-science, l’Università Federico II è impegnata nei principali settori strategici della ricerca fondamentale in particolare nei campi delle Scienze del Microcosmo e del Macrocosmo, delle Scienze della Vita, delle Scienze dei Materiali e dell’Ambiente.

3

Coofinanziamenti PON-MiUR (Avviso 1575/2004)

S.Co.P.E.: Progetto di Ateneo coofinaziato dal MiUR su fondi Europei

Programma Operativo Nazionale“Ricerca Scientifica, Sviluppo Tecnologico, Alta

Formazione” per le regioni dell’Obiettivo 1

4

Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche

Multidisciplinari (S.CO.P.E.)

Il Progetto S.Co.P.E.

5

OBIETTIVI

Realizzazione di un’infrastruttura di calcolo ad alte prestazioni basata sul GRID, Aperta e Multidisciplinare

Realizzazione di codici innovativi nei settori strategici della ricerca fondamentale.

Il Progetto S.Co.P.E.

6

CAMPUSGRID

MEDICINE

ENGINEERING

CSI

NETWORK2.4 Gbit/s

COLLECTIVEAND SITE SERVICES

SITE SERVICES

SITE SERVICES

SITE SERVICES

Il Progetto S.Co.P.E.

L’infrastruttura di calcolo SCoPE prevede l’integrazione, sotto il paradigma del Grid Computing, di nuovo hardware ad alte prestazioni con le maggiori risorse di calcolo preesistenti e distribuite su area metropolitana nei principali siti dell’ateneo.

Tutte le sedi sono interconnesse mediante un anello in fibra ottica di proprietà dell’Università Federico II.

7

CAMPUS-GRID

MEDICINE

CSI

ENGINEERING

ENGINEERING

ASTRONOMICALOBSERVATORY

Fiber Optic Already Connected Work in Progress

Il Progetto S.Co.P.E.

8

Il Progetto S.Co.P.E.

RICERCA FONDAMENTALECon l’ausilio della infrastruttura SCoPE si intende svolgere ricerche nei seguenti settori strategici della ricerca fondamentale:

•Scienze del Microcosmo e del Macrocosmo•Scienze dei Materiali e dell’ambiente•Scienze della Vita•Scienze Sociali•Middleware

9

Comunità attive nel campo delle scienze computazionali

Gruppo di Astrofisica: impiegato nella ricerca per la rivelazione delle onde gravitazionali e nello studio di tecniche avanzate di data-mining e visualizzazione di immagini su massivi data-set Astronomici ( http://virgo.infn.it e http://www.eurovotech.org/).

Gruppo di Bioinformatica: impegnato in applicazioni che richiedono un accesso massivo a grandi database, studio di clustering methods con differenti approcci computazionali per genome sequence analysis e image analyses per lo studio di cell motility ed altri fenomeni dinamici (http://bioinfo.ceinge.unina.it/ e http://www.ceinge.unina.it ).

10

Comunità attive nel campo delle scienze computazionali

Gruppo di Ingegneria Elettromagnetica: impegnato nella modellizzazione, simulazione e studio di procedure di misura del campo elettromagnetico a livello urbano.

(http://www.diet.unina.it/gruppoCE/GruppoEl.html).

Gruppo di Scienze dei Materiali, impegnato nello studio di dinamiche molecolare e meccanica molecolare, codici tight binding per lo studio di proprietà ottiche di materiali nano strutturati, metodi ab initio e metodi DFT. ( http://lsdm.campusgrid.unina.it/ and http://www1.na.infn.it/cmg/ ).

Gruppo di Matematica Numerica e Calcolo scientifico: design ed analisi di algoritmi per la risoluzione di problemi di matematica di base per applicazioni scientifiche distribuite ed implementazione di tali algoritmi su infrastrutture di HPC

11

Comunità attive nel campo delle scienze computazionali

Gruppo di Fisica delle Particelle, impegnato in attività fortemente connesse con il TIER 2 di ATLAS che prevede l’utilizzo di infrastrutture di calcolo per applicazioni large-scale e data-intesive, simulationi Montecarlo ed attività di data anslysis. (http://lxatlas.na.infn.it )

Gruppo di fisca teorica, fortemente attivo in applicazioni di meccanica statistica con uso massivo di tecniche di calcolo parallelo e di strumenti avanzati di HPC ( http://smcs.na.infn.it/ ).

12

Il Progetto SCoPE – Organizzazione WP1 - PROGETTAZIONE, REALIZZAZIONE E TEST

DELL'INFRASTRUTTURA DI CALCOLO E GRID

WP2 - IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID

WP3 - REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI

WP4 - PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE

WP5 - INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE

WP6 - DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI

13

I Lavori – WP1 Opere Edili

COSTRUZIONE DI UN CAPANNONE PER OSPITARE IL NUOVO HARDWARE

14

I Lavori – WP1 Opere Edili

15

I Lavori – WP1 Opere Edili

Nuova cabina elettica da 1 Mwatt

16

Obiettivi delle forniture

• INTEGRAZIONE DELLE PREESISTENZE

• ACQUISTO DI HARDWARE ETEROGENEO PER LE DIFFERENTI APPLICAZIONI

• SOLUZIONE CHIAVI IN MANO

17

Le Attrezzature: Il prototipo

Sala infrastrutturaSala infrastrutturaPrincipale Campus GridPrincipale Campus Grid

Sala Sala Tier-2 ATLASTier-2 ATLAS

Prototipo SCoPE Prototipo SCoPE Servizi Core - GSCServizi Core - GSC

Prototipo SCoPE Prototipo SCoPE Servizi CollectiveServizi Collective

Tier-2 ATLASTier-2 ATLAS

Servizi Core Servizi Core GSCGSC

Campus GridCampus Grid

Servizi Servizi CollectiveCollective

18

Le Attrezzature: Nuovo Hardware

• Circa 2000 Core in soluzione Blade

• Connessioni Infiniband tra i nodi

• Oltre 130 TByte disponibile su Storage Element

• Sistema di Storage Remoto Oltre 50 TByte

• Farm Multiprocessore

19

collectivecollective10 srv

worker nodeworker nodeworker node

TIPO A 96

blade

worker nodeworker nodeworker nodeworker node

TIPO B 128

blade

Storage elementStorage element

10 srv

SCSI SATA

Computing element

UI & test nodeUI & test node10 srv

2 srv

Sw

itch

giga

bit

ethe

rnet

Sw

itch

fas

t et

her

net

Sw

itch

In

fin

iban

d

worker nodeworker nodeworker nodeworker node

Servizi collettivie di Infrastruttura Grid

Nodi di CalcoloBiprocessori ed SMP

Grid Storage Element

Sistemi di Storage

Le Attrezzature: Hardware del nuovo CED

20

Le Attrezzature: Nuovo Hardware

In corso le prime installazioni delle nuove forniture:

• Cluster Multiprocessore

• Sistema di storage 50TB

La consegna e l’installazione completadi tutte le apparecchiatureentro maggio 2008.

21

Le Attrezzature: La rete LAN e WAN• LAN• Dorsale di rete a 10 Gbit/sec• Rete ridondata (2x Gbit/sec, 4x Gbit/sec)• Rete a bassa latenza (1x infiniband)• Rete separata per monitoraggio e management (1x

100 Mbit/sec)

• WAN• Collegamenti Intranet a 2.4 Gbit/sec, ridondati• Collegamenti Internet a 1 Gbit/sec, ridondati

22

La nuova sede: Sala di controllo SCoPE

2333 POSTAZIONI

La nuova sede: Sala di controllo SCoPE

24

Middleware• INFNGRID gLite 3.0

– Il middleware INFNGRID garantisce piena compatibilità con il middleware EGEE (gLite/LCG)

• release e aggiornamenti/bugfix frequenti

– Update 37 - 05/12/2007

• semplicità di integrazione con l'infrastruttura Grid italiana (Grid.it) ed europea (EGEE)

• S.O. Scientific Linux 3 (SL3)

• Prevista migrazione a

• INFNGRID gLite 3.1 (SL4)

25

Servizi Collective

• Servizio di autenticazione/autorizzazione• Servizi di allocazione dei job• Servizio informativo• Servizio di gestione proxy• Servizio di catalogazione file• Servizio di monitoring• Repository Middleware

RB - II

WMS-LB

MyProxy

VOMS

LFC

GridICE

YAIM

26

Servizi Collective - VOMS

• VOMS (Autenticazione / Autorizzazione)– Il servizio VOMS (Virtual Organization Membership

Service) estende le informazioni presenti nel certificato proxy di un utente con:

• VO membership• gruppo• ruolo• privilegi

– Gestione degli utenti della VO scope tramite interfaccia web

collectivecollectiveVOMS

https://scopevoms01.dsf.unina.it:8443/voms/scope/

27

Servizi Collective – RB, WMS-LB

• Resource Broker (allocazione dei job)– Il Resource Broker consente di abbinare un job

(seriale o parallelo) ad una risorsa di computing e/o storage; tale abbinamento prende il nome di matchmaking e avviene tramite l'elaborazione di• requirement del job• stato della Grid

– WMS (Workload Management System) LB (Logging & Bookeeping): RB gLite

collectivecollectiveRB, WMS-LB

28

Servizi Collective - GridICE

• GridICE (servizio di monitoring)– Il servizio si occupa del monitoring delle risorse

presenti nell’infrastruttura SCoPE– attività strategica per il calcolo distribuito

• analisi delle prestazioni• controllo delle risorse• statistiche sull'utilizzo delle risorse

– basato sul contenuto del servizio informativo– consultabile tramite interfaccia web

collectivecollectiveGridICE

http://scopegridice01.dsf.unina.it/

29

Servizi Collective - GridICEcollectivecollectiveGridICE

http://scopegridice01.dsf.unina.it/

30

Servizi Core

• Sito UNINA-SCOPE-GSC– Raffreddamento ad acqua dei rack, con unità

LCP e chiller esterno– Impianto antincendio interno ai rack– Monitoraggio e telecontrollo– Sensori su tutto (apertura porte rack,

allagamento, umidità aria, etc)

• Servizi di computing• Servizio di storage• User Interface

UI

SE

WN

CE

31

Il Portale – Obiettivo WP6

Nell’ambito del WP6 il progetto S.Co.P.E. si impegna per la massima diffusione dei risultati ottenuti e promouove

treaning per gli utenti inesperti all’utilizzo del grid computing.

STRUMENTI DI DIFFUSIONE

Portale, Forume di discussione

32

Il Portale

http://www.scope.unina.it

Portale attivo conInformazioni sul progetto e in costanteaggironamento

33

STATO AVANZAMENTO (1)

• Prototipo completo (20 blade, 1 multiCPU, 20 server 1U/2U): operativo dal 30.09.2007

• Attrezzature sito remoto 1 (CSI) operative dal 30.07.2007

• Attrezzature sito remoto 2 (multi CPU) (Dipartimento di Chimica) installate; in esercizio dal 01.03.08

34

STATO AVANZAMENTO (2)

• Attrezzature sito remoto 3 (Centro di Eccellenza in Malattie Genetiche) installate; in esercizio dal 10.03.08

• Attrezzature di rete siti remoti: gara in corso

35

Sito centrale a Monte S. Angelo (1)

• Sito fisico centrale (locale Data Center, impianto elettrico 1 Mwatt): realizzato

• 33 rack, 20 “occupati” e 13 “liberi” per espansioni

• 256 blade (2 CPU quad core), connessi con Infiniband + Gigabit

• 40 server per servizi collective

36

Sito centrale a Monte S. Angelo (2)

• Sito Control Room: realizzato

• Attrezzature Control Room: gara in corso

• Cablaggio passivo Gigabit + Infiniband: inizio il 18.02.2008

• Installazione rack raffreddati nel sito centrale: inizio il 02.04.2008

37

Middleware

• VO SCopE operativa

• Adottato gLITE

• Servizi “collective” attivati sul prototipo

• Servizi “core” attivati sul prototipo

• Servizi di secondo livello (monitoring, accounting, ticketing)

• Tutti testati per l’interoperabilità

38

Applicativi

• Codice nuovo sviluppato in tutte le aree tematiche – Astrofisica– Bioinformatica– HEP – Scienze dei Materiali

• Adattamento delle applicazioni esistenti per Grid computing: in completamento

• Presentazione a numerosi convegni worldwide