1 leonardo merola riunione di gr. i napoli - 18/12/2002 progetto egee enabling grid for e-science in...

1 Leonardo Merola

Riunione di gr. I NAPOLI - 18/12/2002

Progetto EGEE

“Enabling GRID for E-Science in Europe”

(6° Progr. Quadro UE)

2

Una soluzione su scala mondiale per:

Calcolo distribuitoAccesso a grandi moli di dati

Nata in ambito scientifico, si sta evolvendo anche verso il campo

industriale, commerciale, governativo

World Wide WEB World Wide GRID

GRID ( “La Griglia” )

3

Collegameno di una qualunque apparecchiatura alla presa elettrica in modo

“trasparente” all’utente

Accesso a Computers e Dati in modo

“trasparente” all’utente

4

Modello di calcolo distribuito per gli esperimenti a LHC

Multi-level Regional Center hierarchy

Data ServerData Server

Data Server

CPU Server

CPU Server

CPU Server

desktop

CPU Server desktop

desktop

desktop

CERNTier 0

CPU Server

Tier 1

Tier 2

Tier 3-4

Il “Middleware”, una via di mezzo tra hardware e software, deve assicurare la compatibilità fra i vari ambienti.

5

Struttura a Tiers di ATLAS

CNAF

US

MI RM1 NA

PV GE …

Il numero e la localizzazione dei Tier3 è in fase di discussione

6

Progetto triennale (2001-2003) “DataGRID” finanziato per 9.8 milioni di Euro, da utilizzare sopratutto per contratti di personale qualificato allo scopo di realizzare il ”Middleware” e realizzare “Testbed” su casi reali.

Il CERN è il coordinatore del progetto

EUROPEAN PROJECTTHE

7

Struttura del progetto DataGRID:

10 Workpackages

Earth Observation Appl. (WP9)

Workload Management (WP1)

Data Management (WP2)

Fabric Management (WP4)

Monitoring Services (WP3)

Application Areas

Data Grid Services

Core Middleware

Physics Appl. (WP8) Biology Appl. (WP10)

Globus Middleware Services (Information, Security, ...)

Networking (WP7) Mass Storage Management (WP5)

Physical Fabric

8

• Programma triennale per lo sviluppo dell’infrastruttura di GRID per le sue 26 unità operative.

• Stessa struttura a workpackages di DATAGRID

• L’obiettivo è realizzare entro la seconda metà del 2003 prototipi di “Tier1,2,3” per il calcolo a LHC, nella misura del 10-20% della realizzazione da completare per il 2006.

Il Progetto INFN-GRID

9

La collaborazione IG-BIGEST

The Italian Grid for eBusiness eIndustry eGovernment

EScience and TechnologyScopi:• Provide coordination to research, study, design, deploy and operate the Grid components needed to support the modern scientific, business and government colloborative activities in Italy and to integrate this infrastructure with similar ones in Europe and the rest of the world • Create Italian Research Area (IRA)

10

Partecipanti IG-BIGEST

11

12

Il progetto GRID.IT

FIRB 2001/03 – Fondo per gli Investimenti della Ricerca di Base: Progetto GRID.IT:

PIATTAFORME ABILITANTI PER GRIGLIE COMPUTAZIONALI A ELEVATE PRESTAZIONI ORIENTATE A ORGANIZZAZIONI VIRTUALI SCALABILITOT: 8 M€ funded, of which 1.1 M€ for young researchers

All’INFN: 1580 k€ funded, of which 300 k€ for young researchers

13

• CNR: Agenzia 2000, Strategic projects “5%”, …

• ASI: ASI-PQE2000, Cosmo-SkyMed, National Space Program (PSN),

• E-Science (PON): Centri di Eccellenza per l’e-Learning UniSA-UniBN

• SPACI (PON): Southern Partnership for Advanced Computational Infrastructures

UniLe ISUFI, ICAR-CNR Na (Murli), UniCal

14

Modello di Grid FIRB

INGVRisorseE servizi

Grid comune

INAFRisorseE servizi

BioRisorseE servizi

INFN-LCGRisorseE servizi

RisorseE servizicomuni

AltriRisorseE servizi

15

Atività di Ricerca

Programming Tools and Environment

GARR Large-bandwidth Optical NetHigh-perf. Networks

• High-perf. Components

• Scientific Libraries

• Cost models

• Resource Management

• ProblemSolving

Environments

Applications forE-Science&Engineering

• Astrophysics• Geophysics

• High Energy Physics• Comp. Chemistry

• Earth Observation• Bio-informatics

Middleware

Data Intensivecore services

Scheduling Monitoring Commmunic.

GridPortals

SecurityKnowledge

ServicesResourceBrokers

16

Coinvolgimento INFN in GRID.IT

o Responsabilita’ della gestione dell’Unita’ di Ricerca (UR) n.4 che comprende anche INAF, INGV e la biologia con le Universita’ di PD e GE e il CNR di Milano

o Responsabilita’ della gestione del WP3 della UR n.4, cui compete l’implementazione dei servizi Grid per tutte le applicazioni

o Responsabilita’ della gestione del WP5 della UR n. 4, che deve estendere le funzionalita’ del Data Management secondo le necessita’ dei nuovi settori coinvolti.

17

Le attivita’ del WP3 sono focalizzate sul deployment e management di una grid di produzione per la comunita’ scientifica nazionale, saranno coordinate con quelle del WP6, che sara’ invece focalizzato sul deployment e management di una grid di produzione per LCG.

Tutte le risorse della grid INFN dovranno essere gestite in modo uniforme e il piu’ possibile condiviso, rispettando le priorita’ dei singoli esperimenti.

18

La sezione di Napoli sarà uno dei 4 nodi infrastrutturali principali (con Padova, Bologna/CNAF e Catania)

Risorse: 25 nodi biprocessori, 1 art.2222

Partecipanti: L.M., Mastroserio, Tortone, Esposito

Attività principale: Monitoring e testing

19

ATLAS Data Size

• Raw Data (anche generati con MC): 2 MB/evento.

• ESD, Event Summary Data, output della ricostruzione: 500 KB/evento

• AOD, Analysis Object Data, formato "pubblico" di analisi: 10 KB/evento

• DPD, Derived Physics Data, formato privato di analisi, tipo ntupla: 1 KB/evento

20

Tempi di CPU(PIII 500 MHz 20 SI95)

• Ricostruzione di un evento: 640 SpecInt95*sec

• Simulazione di un evento: 3000 SpecInt95*sec

• Generazione di un evento AOD: 25 SpecInt95*sec

• Generazione di un evento DPD: 5 SpecInt95*sec

• Analisi di un evento AOD o DPD: 3 SpecInt95*sec

21

CPU (MSI95)

Tape (PB)

Disk (PB)

CERN (T0+T1)

0,4 6,7 0,5

Each RC

0,2 0,2 0,4

`6`Ext. RC‘s

1,2 1,2 2,4

Total 1,6 7,9 2,9 1 T2: 10-20% RC 2003: 10% delle risorse a regime

50 CPU + 4 TB

Risorse HW ATLAS a regime (2006)

22

Funzioni dei Tiers

• In linea con le posizioni di ATLAS internazionale, si assegna in esclusiva al Tier1 tutto cio' che ha Raw come input (reprocessing etc.) e tutto cio' che ha ESD come input.

• I Tier2 hanno storage completo degli AOD, e sono usati per l'analisi e la produzione MC.

• I Tier3 producono MC nei cicli spare e storano i dati che servono per le analisi "locali".

23

grid tools used at 11 sites

CERN

US D

JFI

CPUs:46 RM140 CNAF16 NA10 LNF

24

• DC1 : Phase II Q4/2001 – Q2/2003:– Goals

• Pile-Up Production (High and Low Luminosity)• Large scale Grid test in November/December in

preparation for reconstruction• Reconstruction start March 2003

• DC2: Q3/2003 – Q2/2004:– Goals

• Full deployment of Event Data Model & Detector Description

• Geant4 replacing Geant3 (fully?)• Pile-up in Athena• Test the calibration and alignment procedures• Use LCG common software• Use widely GRID middleware• Perform large scale physics analysis• Further tests of the computing model

– Scale• As for DC1: ~ 10**7 fully simulated events

25

• Risorse INFN-ATLAS Tier1+Tier2 da 120 CPU’s a 300 per assicurare share 10% in DC2

• A regime ATLAS e la sua parte italiana intendono conferire tutte le loro risorse Tier1 e Tier2 a LCG.

• ~ 60% risorse in Tier1, ~ 30% diviso equamente fra i Tier2.

• DC3: Q3/2004 – Q2/2005:– Goals to be defined; Scale: 5 x DC2

• DC4: Q3/2005 – Q2/2006:– Goals to be defined; Scale: 2 X DC3

26

6° Programma Quadro Europeo:

Allocati 300 M€ per supportare l’integrazione delle GRID nazionali in una infrastruttura generale europea (con 5 Centri Operativi GRID e 50 Centri operativi nazionali) e collaborare con:

l’ US Cyber Infrastructure (1020 M$)e la Japan Asian-Pacific Grid (500 M$)

FP6 2002: Il Progetto EGEE

27

ConsultingPrototypingDeployment

ConsultingTraining Courses

DisseminationForum

Tools and Service Development

Creation and support E- Science centres

Applications inOther Sciences

EIROforum

S/W HardeningGLOBUS

EuroGrid, Gridlab etc.

Semantic GRIDDatabaseSecurity

European Infrastructure

Integrated ProjectENABLING GRIDS ESCIENCE EUROPE

EGEE

National eScienceCentres I ndustry

Applications

SMEs developingGrid-enabled Applications

I ndustry Outreach

ModulableTestbeds

R&D Agenda

Deployment withI T I ndustry

ScienceOutreach

28

Procedures

IST Programme

Structuring the ERA

Programme

ResearchInfrastructures

GÉANT, GRIDs, GÉANT, GRIDs,

other ICT-RIother ICT-RI

100 + 200 MEuro100 + 200 MEuro

665 MEuro

3.825 MEuro2.655 MEuro

•Integrated Projects•Networks of Excellence•Specific Targeted Projects•Coordinated actions•Support actions

•Integrated Infrastructure Initiatives

•Coordinated actions

•Support actions

Separate calls for proposals!

29

Budget overview

• ICT RI-Budget in FP5 (to compare): €161m

• Additional budget for Grids in other IST areas

€300m for Géant, Grids, other ICT

Research Infrastructures in FP6

Geant: €80m

Grids: €30m Others: €41m(including admin. Costs)

30

31

GARR-B Fase 4 (Nov. 2002)

• Backbone– 3*155Mbps (RM-NA-MI-BO)– 3*2.5Gbps (MI-BO-RM-MI)– 1*2.5Gbps+4*155M inter BB

• 22 PoP di accesso dei siti GARR

• Accessi: ~300 siti @2M-1Gbps

• Peering di Ricerca (su Milano-G)- GEANT@2.5G

32

Indicative roadmap of calls 1. Budget from Structuring the ERA Programme (€200m)

Year 2003Year 2003 Year 2006Year 2006Year 2005Year 2005Year 2004Year 2004

€ 50m €100m € 50m

2. Budget from IST (€100m)

Year 2003Year 2003 Year 2006Year 2006Year 2005Year 2005Year 2004Year 2004

€ ?m € ?m

33

• 1a Call per Integrated Infrastructure Initiative: 17 Dicembre 2002

• Richiesta: ~35 M€• Cost sharing: Interessi NA:

– Overall management: 10%– Interface to applications: 10% V– Hardware infrastructure 10%– Middleware re-engineering: 35% – Grid deployment and operation centers: 35% V

• Call successive (3 in tutto): ~100 M€

34

FIRB

PROGETTI GRID:EDG, EDT,

GLUE (EU-US)

PROGETTO LHCCOMPUTINGGRID

FP6EU

INFNGRID

TIER1/2/3INFN

GARR

CALCOLO ESPERIMENTI:LHC, VIRGO,APE, BABAR…

Progetti INFN collegati

In rosso :

Attività in cui sono coinvolti la sezione INFN e il gruppo I

35

Appendice:

GARR e GEANT

36

La Storia della Rete GARR

• 1973-1990: reti indipendenti di CNR, ENEA,INFN e Universita’.

• 1990-1994: rete GARR1, prima rete unitaria di Universita’ e Ricerca

• 1994-1998: rete GARR2, evoluzione di GARR1

• 1998-2002: rete GARR-B (Broadband) • 2003-2006: rete GARR-G (Giganet)

37

GARR-B Fase 4 (Nov. 2002)

• Backbone– 3*155Mbps (RM-NA-MI-BO)– 3*2.5Gbps (MI-BO-RM-MI)– 1*2.5Gbps+4*155M inter BB

• 22 PoP di accesso dei siti GARR

• Accessi: ~300 siti @2M-1Gbps

• Peering di Ricerca (su Milano-G)- GEANT@2.5G

38

La Rete della Ricerca Europea GÉANT (2001-2004)

• Progetto e Rete GÉANT (evoluzione della rete TEN-155)

• Cofinanziamento CE (5th FP-IST-RN1) per 80M€ su un costo di ~170M€

• Durata 48 mesi (1/12/00 – 30/11/04)

• Peculiarita’ di GÉANT:– Backbone a 10Gbit/sec– Accesso iniziale fino a

2.5 Gbit/sec• Accesso GARR a 2.5Gbit/sec

39

40