1 leonardo merola riunione di gr. i napoli - 18/12/2002 progetto egee enabling grid for e-science in...
TRANSCRIPT
1 Leonardo Merola
Riunione di gr. I NAPOLI - 18/12/2002
Progetto EGEE
“Enabling GRID for E-Science in Europe”
(6° Progr. Quadro UE)
2
Una soluzione su scala mondiale per:
Calcolo distribuitoAccesso a grandi moli di dati
Nata in ambito scientifico, si sta evolvendo anche verso il campo
industriale, commerciale, governativo
World Wide WEB World Wide GRID
GRID ( “La Griglia” )
3
Collegameno di una qualunque apparecchiatura alla presa elettrica in modo
“trasparente” all’utente
Accesso a Computers e Dati in modo
“trasparente” all’utente
4
Modello di calcolo distribuito per gli esperimenti a LHC
Multi-level Regional Center hierarchy
Data ServerData Server
Data Server
CPU Server
CPU Server
CPU Server
desktop
CPU Server desktop
desktop
desktop
CERNTier 0
CPU Server
Tier 1
Tier 2
Tier 3-4
Il “Middleware”, una via di mezzo tra hardware e software, deve assicurare la compatibilità fra i vari ambienti.
5
Struttura a Tiers di ATLAS
CNAF
US
MI RM1 NA
PV GE …
Il numero e la localizzazione dei Tier3 è in fase di discussione
6
Progetto triennale (2001-2003) “DataGRID” finanziato per 9.8 milioni di Euro, da utilizzare sopratutto per contratti di personale qualificato allo scopo di realizzare il ”Middleware” e realizzare “Testbed” su casi reali.
Il CERN è il coordinatore del progetto
EUROPEAN PROJECTTHE
7
Struttura del progetto DataGRID:
10 Workpackages
Earth Observation Appl. (WP9)
Workload Management (WP1)
Data Management (WP2)
Fabric Management (WP4)
Monitoring Services (WP3)
Application Areas
Data Grid Services
Core Middleware
Physics Appl. (WP8) Biology Appl. (WP10)
Globus Middleware Services (Information, Security, ...)
Networking (WP7) Mass Storage Management (WP5)
Physical Fabric
8
• Programma triennale per lo sviluppo dell’infrastruttura di GRID per le sue 26 unità operative.
• Stessa struttura a workpackages di DATAGRID
• L’obiettivo è realizzare entro la seconda metà del 2003 prototipi di “Tier1,2,3” per il calcolo a LHC, nella misura del 10-20% della realizzazione da completare per il 2006.
Il Progetto INFN-GRID
9
La collaborazione IG-BIGEST
The Italian Grid for eBusiness eIndustry eGovernment
EScience and TechnologyScopi:• Provide coordination to research, study, design, deploy and operate the Grid components needed to support the modern scientific, business and government colloborative activities in Italy and to integrate this infrastructure with similar ones in Europe and the rest of the world • Create Italian Research Area (IRA)
10
Partecipanti IG-BIGEST
11
12
Il progetto GRID.IT
FIRB 2001/03 – Fondo per gli Investimenti della Ricerca di Base: Progetto GRID.IT:
PIATTAFORME ABILITANTI PER GRIGLIE COMPUTAZIONALI A ELEVATE PRESTAZIONI ORIENTATE A ORGANIZZAZIONI VIRTUALI SCALABILITOT: 8 M€ funded, of which 1.1 M€ for young researchers
All’INFN: 1580 k€ funded, of which 300 k€ for young researchers
13
• CNR: Agenzia 2000, Strategic projects “5%”, …
• ASI: ASI-PQE2000, Cosmo-SkyMed, National Space Program (PSN),
• E-Science (PON): Centri di Eccellenza per l’e-Learning UniSA-UniBN
• SPACI (PON): Southern Partnership for Advanced Computational Infrastructures
UniLe ISUFI, ICAR-CNR Na (Murli), UniCal
14
Modello di Grid FIRB
INGVRisorseE servizi
Grid comune
INAFRisorseE servizi
BioRisorseE servizi
INFN-LCGRisorseE servizi
RisorseE servizicomuni
AltriRisorseE servizi
15
Atività di Ricerca
Programming Tools and Environment
GARR Large-bandwidth Optical NetHigh-perf. Networks
• High-perf. Components
• Scientific Libraries
• Cost models
• Resource Management
• ProblemSolving
Environments
Applications forE-Science&Engineering
• Astrophysics• Geophysics
• High Energy Physics• Comp. Chemistry
• Earth Observation• Bio-informatics
Middleware
Data Intensivecore services
Scheduling Monitoring Commmunic.
GridPortals
SecurityKnowledge
ServicesResourceBrokers
16
Coinvolgimento INFN in GRID.IT
o Responsabilita’ della gestione dell’Unita’ di Ricerca (UR) n.4 che comprende anche INAF, INGV e la biologia con le Universita’ di PD e GE e il CNR di Milano
o Responsabilita’ della gestione del WP3 della UR n.4, cui compete l’implementazione dei servizi Grid per tutte le applicazioni
o Responsabilita’ della gestione del WP5 della UR n. 4, che deve estendere le funzionalita’ del Data Management secondo le necessita’ dei nuovi settori coinvolti.
17
Le attivita’ del WP3 sono focalizzate sul deployment e management di una grid di produzione per la comunita’ scientifica nazionale, saranno coordinate con quelle del WP6, che sara’ invece focalizzato sul deployment e management di una grid di produzione per LCG.
Tutte le risorse della grid INFN dovranno essere gestite in modo uniforme e il piu’ possibile condiviso, rispettando le priorita’ dei singoli esperimenti.
18
La sezione di Napoli sarà uno dei 4 nodi infrastrutturali principali (con Padova, Bologna/CNAF e Catania)
Risorse: 25 nodi biprocessori, 1 art.2222
Partecipanti: L.M., Mastroserio, Tortone, Esposito
Attività principale: Monitoring e testing
19
ATLAS Data Size
• Raw Data (anche generati con MC): 2 MB/evento.
• ESD, Event Summary Data, output della ricostruzione: 500 KB/evento
• AOD, Analysis Object Data, formato "pubblico" di analisi: 10 KB/evento
• DPD, Derived Physics Data, formato privato di analisi, tipo ntupla: 1 KB/evento
20
Tempi di CPU(PIII 500 MHz 20 SI95)
• Ricostruzione di un evento: 640 SpecInt95*sec
• Simulazione di un evento: 3000 SpecInt95*sec
• Generazione di un evento AOD: 25 SpecInt95*sec
• Generazione di un evento DPD: 5 SpecInt95*sec
• Analisi di un evento AOD o DPD: 3 SpecInt95*sec
21
CPU (MSI95)
Tape (PB)
Disk (PB)
CERN (T0+T1)
0,4 6,7 0,5
Each RC
0,2 0,2 0,4
`6`Ext. RC‘s
1,2 1,2 2,4
Total 1,6 7,9 2,9 1 T2: 10-20% RC 2003: 10% delle risorse a regime
50 CPU + 4 TB
Risorse HW ATLAS a regime (2006)
22
Funzioni dei Tiers
• In linea con le posizioni di ATLAS internazionale, si assegna in esclusiva al Tier1 tutto cio' che ha Raw come input (reprocessing etc.) e tutto cio' che ha ESD come input.
• I Tier2 hanno storage completo degli AOD, e sono usati per l'analisi e la produzione MC.
• I Tier3 producono MC nei cicli spare e storano i dati che servono per le analisi "locali".
23
grid tools used at 11 sites
CERN
US D
JFI
CPUs:46 RM140 CNAF16 NA10 LNF
24
• DC1 : Phase II Q4/2001 – Q2/2003:– Goals
• Pile-Up Production (High and Low Luminosity)• Large scale Grid test in November/December in
preparation for reconstruction• Reconstruction start March 2003
• DC2: Q3/2003 – Q2/2004:– Goals
• Full deployment of Event Data Model & Detector Description
• Geant4 replacing Geant3 (fully?)• Pile-up in Athena• Test the calibration and alignment procedures• Use LCG common software• Use widely GRID middleware• Perform large scale physics analysis• Further tests of the computing model
– Scale• As for DC1: ~ 10**7 fully simulated events
25
• Risorse INFN-ATLAS Tier1+Tier2 da 120 CPU’s a 300 per assicurare share 10% in DC2
• A regime ATLAS e la sua parte italiana intendono conferire tutte le loro risorse Tier1 e Tier2 a LCG.
• ~ 60% risorse in Tier1, ~ 30% diviso equamente fra i Tier2.
• DC3: Q3/2004 – Q2/2005:– Goals to be defined; Scale: 5 x DC2
• DC4: Q3/2005 – Q2/2006:– Goals to be defined; Scale: 2 X DC3
26
6° Programma Quadro Europeo:
Allocati 300 M€ per supportare l’integrazione delle GRID nazionali in una infrastruttura generale europea (con 5 Centri Operativi GRID e 50 Centri operativi nazionali) e collaborare con:
l’ US Cyber Infrastructure (1020 M$)e la Japan Asian-Pacific Grid (500 M$)
FP6 2002: Il Progetto EGEE
27
ConsultingPrototypingDeployment
ConsultingTraining Courses
DisseminationForum
Tools and Service Development
Creation and support E- Science centres
Applications inOther Sciences
EIROforum
S/W HardeningGLOBUS
EuroGrid, Gridlab etc.
Semantic GRIDDatabaseSecurity
European Infrastructure
Integrated ProjectENABLING GRIDS ESCIENCE EUROPE
EGEE
National eScienceCentres I ndustry
Applications
SMEs developingGrid-enabled Applications
I ndustry Outreach
ModulableTestbeds
R&D Agenda
Deployment withI T I ndustry
ScienceOutreach
28
Procedures
IST Programme
Structuring the ERA
Programme
ResearchInfrastructures
GÉANT, GRIDs, GÉANT, GRIDs,
other ICT-RIother ICT-RI
100 + 200 MEuro100 + 200 MEuro
665 MEuro
3.825 MEuro2.655 MEuro
•Integrated Projects•Networks of Excellence•Specific Targeted Projects•Coordinated actions•Support actions
•Integrated Infrastructure Initiatives
•Coordinated actions
•Support actions
Separate calls for proposals!
29
Budget overview
• ICT RI-Budget in FP5 (to compare): €161m
• Additional budget for Grids in other IST areas
€300m for Géant, Grids, other ICT
Research Infrastructures in FP6
Geant: €80m
Grids: €30m Others: €41m(including admin. Costs)
30
31
GARR-B Fase 4 (Nov. 2002)
• Backbone– 3*155Mbps (RM-NA-MI-BO)– 3*2.5Gbps (MI-BO-RM-MI)– 1*2.5Gbps+4*155M inter BB
• 22 PoP di accesso dei siti GARR
• Accessi: ~300 siti @2M-1Gbps
• Peering di Ricerca (su Milano-G)- [email protected]
32
Indicative roadmap of calls 1. Budget from Structuring the ERA Programme (€200m)
Year 2003Year 2003 Year 2006Year 2006Year 2005Year 2005Year 2004Year 2004
€ 50m €100m € 50m
2. Budget from IST (€100m)
Year 2003Year 2003 Year 2006Year 2006Year 2005Year 2005Year 2004Year 2004
€ ?m € ?m
33
• 1a Call per Integrated Infrastructure Initiative: 17 Dicembre 2002
• Richiesta: ~35 M€• Cost sharing: Interessi NA:
– Overall management: 10%– Interface to applications: 10% V– Hardware infrastructure 10%– Middleware re-engineering: 35% – Grid deployment and operation centers: 35% V
• Call successive (3 in tutto): ~100 M€
34
FIRB
PROGETTI GRID:EDG, EDT,
GLUE (EU-US)
PROGETTO LHCCOMPUTINGGRID
FP6EU
INFNGRID
TIER1/2/3INFN
GARR
CALCOLO ESPERIMENTI:LHC, VIRGO,APE, BABAR…
Progetti INFN collegati
In rosso :
Attività in cui sono coinvolti la sezione INFN e il gruppo I
35
Appendice:
GARR e GEANT
36
La Storia della Rete GARR
• 1973-1990: reti indipendenti di CNR, ENEA,INFN e Universita’.
• 1990-1994: rete GARR1, prima rete unitaria di Universita’ e Ricerca
• 1994-1998: rete GARR2, evoluzione di GARR1
• 1998-2002: rete GARR-B (Broadband) • 2003-2006: rete GARR-G (Giganet)
37
GARR-B Fase 4 (Nov. 2002)
• Backbone– 3*155Mbps (RM-NA-MI-BO)– 3*2.5Gbps (MI-BO-RM-MI)– 1*2.5Gbps+4*155M inter BB
• 22 PoP di accesso dei siti GARR
• Accessi: ~300 siti @2M-1Gbps
• Peering di Ricerca (su Milano-G)- [email protected]
38
La Rete della Ricerca Europea GÉANT (2001-2004)
• Progetto e Rete GÉANT (evoluzione della rete TEN-155)
• Cofinanziamento CE (5th FP-IST-RN1) per 80M€ su un costo di ~170M€
• Durata 48 mesi (1/12/00 – 30/11/04)
• Peculiarita’ di GÉANT:– Backbone a 10Gbit/sec– Accesso iniziale fino a
2.5 Gbit/sec• Accesso GARR a 2.5Gbit/sec
39
40