CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

CRESCO – Centro Computazionale di

RicErca sui Sistemi Complessi

Programma Operativo Nazionale 2000-2006 “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”

Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale”Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

CitrixMetafra

me

CitrixNfuse

ICA

WEB(ICA)

sp4_-1.frascati.enea.it

boquad.bologna.enea.it

dafne.casaccia.enea.it

Kleos.portici.enea.it

ENEA - GRID 2 0 0 7 GEANT

infocal.trisia.enea.it

ercules.brindisi.enea.itGateway

to EGEE

30 CPU

150 CPU

400 CPU

50 CPU

Portici 25 CPU (CRESCO >2500 cpu)

Brindisi 15 CPU

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Infrastruttura HPC CrescoGARA Europea

www.cresco.enea.it

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Caratteristiche codici CRESCO

• Codici seriali ( UNIX)• Codici paralleli fortemente accoppiati• Codici paralleli debolmente accoppiati • Più codici paralleli fortemente accoppiati che

interagiscono fra loro ( es. accoppiamento fluido struttura)

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

• Data base grandi dimensione• Codici seriali ( windows)• …….

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

• Accesso ai file di input ed output – frequenza– flusso per accesso

• Dimensione della memoria RAM– visibile direttamente dal singolo nodo– totale su tutti i nodi

• Data base grandi dimensione • File grandi dimensioni (maggiori 20GB)• …..

Caratteristiche dei dati dei codici CRESCO

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Infrastruttura HPC Cresco• sistema di supercalcolo HPC• sistema di storage ad alte prestazioni• sistema software

– software di sistema– software di gestione – middleware ENEA-GRID– software di monitoring – ambienti per lo sviluppo applicativi ad alto parallelismo– software applicativo

• rete di interconnessione– alta banda e bassa latenza – alta banda – interconnessioni di servizio

• rete di interconnessione alla rete locale• sistema di backup• sistema di sicurezza• sistema di alimentazione e di continuità• adeguamento sistema condizionamento

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (1) struttura in funzione dei codici

• Codici seriali ( UNIX) • Sezione 1 ( dimensionamento preliminare)

• Codici seriali che necessitano di memoria RAM maggiore di 4 GByte

– Una sezione con almeno 512 core organizzata ad uno o più nodi ad immagine unica di ciascuno di tipo SMP con almeno 16 Core per nodo.

– doppia interconnessi in fibra per il calcolo con una rete di almeno 1 Gbit/s;

– una memoria ram di almeno 2 GByte per core;– due dischi almeno da 73GByte;– predisposizione connessione InfiniBand

• Sezione GRID• Codici seriali che necessitano di memoria RAM minore di 2 GByte• Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 1 ( AIX,

SGI, LinuxSGI)

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (2) struttura in funzione dei codici

• Codici paralleli fortemente accoppiati

• Sezione 2 ( dimensionamento minimo)

– Una sezione con almeno 2048 core organizzata con nodi ad immagine unica ciascuno di tipo SMP con almeno 8 Core per nodo, con configurazione 2 socket quad-core

– doppia connessione Gbit ( per ogni 8 core )– doppia connessione Infiniband 4X ( per ogni 8 core ) ( reti

proprietarie per immagini uniche SMP maggiori di 16 core) – 1 GByte per core – Un disco da 73GB SAS (per 8 core)

• Sezione GRID• Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione

2 ( AIX, LinuxSGI, LinuxCRAY) per parallelismo fino ad un massimo di 192 proc.

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici paralleli debolmente accoppiati

• Sezione 1 + Sezione 2 – Una sistema totale con almeno 2560 core– doppia connessione Gbit ( per ogni 8/16 core)– 1/2 GByte per core – Un disco da 73GB SAS (per 8 core)

• Sezione GRID• Per codici fortemente disaccoppiati si possono sperimentare

anche casi con circa 3000 core.

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (3) struttura in funzione dei codici

• Più codici paralleli fortemente accoppiati che interagiscono fra loro ( es. accoppiamento fluido struttura)

• Soluzioni possibili:– Partizionando la Sezione 2 (2 codici fortemente

accoppiati)– Sezione 1 ( codice poco scalabile) Sezione 2

(codice scalabile) – Sezione GRID codici su più site

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

• Piccola sezione integrata CELLBE ( 8 CPU)

• Data base grandi dimensione

• Storage ad alte performance

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (4) struttura in funzione dei codici

• Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica)

Piccola sezione integrata CELLBE ( 8 CPU)

• Data base grandi dimensione

Dischi ad alte performance

• Codici seriali ( windows)4-5 nodi 4 core 64 bit 16 GByte RAM insieme a

nodi di servizio ( Fuori gara)

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Sistema di supercalcolo HPC (5) Dischi ad alte prestazioni

• Caratteristiche FunzionaliIl sistema dischi che ha come riferimento una capacità di circa 100 TByte

nominali dovrà avere al minimo le seguenti caratteristiche:– Capacità nominale minima 120 TByte– Capacita con in configurazione RAID6 96 TByte ( ovvero con due dischi di parità)– Prestazioni di picco minime 3 GByte/s– Prestazioni sostenute minime, con File system GPFS, 2GByte/s– Interfaccie minime: (preliminare)

• n. 8 FC4 • supporto nativo InfiniteBand (IB)• IB e FC4 devono poter essere inteconnesse allo stesso controller

– Caratteristiche di merito• Velocità di scrittura e lettura uguali;• Verifica della parità in scrittura e lettura ( questo è estremamente

significativo per avere un’affidabilità nelle fasi di lettura)• Livello di degrado delle prestazioni nella fase di ricostruzione del dato

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Configurazione fisica di massimaSala Calcolo Portici

Ingresso

Sezione 1 (4-5 Rack) Sezione 2 (4-5 Rack)

Rete e servizi ( 3 Rack)

Dischi (1 Rack)

Backup (1 Rack)

Condizionamento 4 x 50 K watt + 1 predisposizione

Rete HPC

Rete HPC

Rete LAN

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

SP I.1 Realizzazione dell’infrastruttura HPCN

• Sala Calcolo CRESCO Portici

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

SP I.1 Realizzazione dell’infrastruttura HPCN

Nuovi Uffici CRESCO

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Struttura dati SPX.X CRESCO

Frascatii Portici AFS enea.it

Dati Sottoprogetto SP Cresco

Dati Utente Cresco

I Lanciatori multipiattaforma anno una visibilità globale unica

\afs\enea.it\project\cresco\....... AIX

SGI

Linux

Tool GRID Portale GRID

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Menu

• Questo tool consente la gestione del DB dei codici generati dagli utenti nell’ambito del progetto CRESCO in ENEA

MENU

Tabella con i dati dei campi

Ordinare per campo

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Tutorial Utilizzo Folder Viewer

Requisiti:

•AFS Client

•Utenza AFS

Questo tool consente la navigazione nelle cartelle ‘’public_html’’ AFS in modalità grafica via Web, permettendo inoltre l’aggiunta di una descrizione dei contenuti.

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Utilizzo file .htaccess generale

•Consente l’accesso a una pagina web protetta da login a tutti gli utenti AFS ENEA.

• Consente l’accesso a una pagina web protetta da login a una lista idi utenti AFS ENEA.

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Struttura generale dati CRESCO

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Struttura dati SPX.X CRESCO

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Cronogramma1 aprile 2006 – 31 dicembre 2008

Mesi 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 33 F

SP I.1 “Realizzazione del Polo di calcolo”

                                   

Progettazione degli interventi e definizione delle specifiche

                                 

Acquisizione ed installazione di sistemi HW/SW

                                 

Implementazione dei sistemi HW/SW, avvio sperimentazione

                                 

Collaudo finale dell’intera infrastruttura                                  

Tutti gli altri Sottoprogetti                                    

Progettazione delle attività di R&S nella tematica applicativa

                                 

Sviluppo di modelli e codici, realizzazione di Software applicativi

                                 

Implementazione di modelli, codici, ecc. per l’utilizzo sulla piattaforma

                                 

Produzione, elaborazione e pubblicazione dei risultati di R&S

                                 

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Integrazione con gli altri progetti

Definire un gateway ed una VO per ognuno dei progetti

CYBERSAR - Cyberinfrastructure per la ricerca scientifica e tecnologica in Sardegna – Cons. COSMOLAB /CRS4

PI2S2 - Progetto per l'implementazione e lo sviluppo di una e-infrastruttura in Sicilia basata sul paradigma della GRID – Cons. COMETA/INFN

SCOPE - Sistema cooperativo distribuito ad alte prestazioni per elaborazioni scientifiche multidisciplinari – Univ. Federico II Napoli

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Collaborazioni di CRESCO (unfunded)

Iniziati i contatti per definire i temi operativi della collaborazione

Politecnico di Milano – Dipartimento di Elettrotecnica

United States Department of State, USAOak Ridge National Laboratories, USA

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

CRESCO

Centro Computazionale di RicErca sui Sistemi COmplessi

CRESCO

Centro Computazionale di RicErca sui Sistemi COmplessi

www.cresco.enea.it

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Struttura dati SPX.X CRESCO

Frascatii Portici AFS enea.it

Dati Sottoprogetto SP Cresco

Dati Utente Cresco

I Lanciatori multipiattaforma anno una visibilità globale unica

\afs\enea.it\project\cresco\....... AIX

SGI

Linux

Tool GRID Portale GRID

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

WARC: amministratori “super” e di Sito

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

WARC: amministratori di progetto

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Attività di supporto e formazione

• Create delle utenze esterne ENEA-GRID dedicate al progetto (circa 20)

• Creazione dei tutorial per l’utilizzo della GRID;

• I primi ricercatori esterni hanno iniziato a sviluppare e lavorare nell’ambiente generato;

• Creazione del sito web di progetto www.cresco.enea.it

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

WARC: amministratori di progetto

CRESCO – Kick-off meeting LA II – 23 maggio 2006CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it

Ambiente GRID per CRESCO

• Progettata la struttura dati per le aree progettuali e iniziata dell’ implementazione

• Progettate le la modalità di inserimento dei software e della documentazione relativi al progetto

• Progettato e realizzato un di un tool di amministrazione capace di delegare la gestione delle aree progettuali