Download - ATLAS Tier-2 INFN
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 22
Sommario
I Tier-2 in ATLASRuoloReplica dei datiModelli di analisiData flow
I Tier-2 italiani in ATLASRuoloSediValutazione dei costi
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 33
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/sec
320 MB/sec
~ 75MB/s
622Mb/s links
~10~10
622Mb/s links
Ruolo dei Tier-2 in ATLASRuolo dei Tier-2 in ATLAS
~PB/sec
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
I Tier-2 assumono un ampio spettro di ruoli e funzioni. La loro dimensione e il tipo di risorse può variare sensibilmente a seconda delle attività e della dimensione dei gruppi di fisica che vi fanno riferimento:
forniscono capacità di analisi per i gruppi e sottogruppi di fisica, vale a dire un’infrastruttura di calcolo adeguata a sostenere un’attività multiutente e tendenzialmente caotica.
forniscono tutta la capacità di simulazione necessaria alla collaborazione; a meno che un Tier2 non riesca a garantirne esso stesso l’accesso in modo veloce e affidabile, i dati simulati saranno migrati al Tier1 di riferimento.
a seguito del coinvolgimento della comunità locale in un rivelatore, possono avere un ruolo rilevante nelle procedure di calibrazione e allineamento.
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 44
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/sec
320 MB/sec
~ 75MB/s
622Mb/s links
~10~10
622Mb/s links
~PB/sec
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
Replica dei datiReplica dei dati
RAW:Una replica completa dei raw data risiede nei Tier-1 (~1/10 per Tier1)Campioni di eventi sono memorizzati anche nei Tier-2 e, in misura minore, nei Tier3
ESD:Tutte le versioni degli ESD sono replicate e risiedono in almeno due dei Tier1Gli ESD primari e i RAW data associati sono assegnati ai ~10 Tier1 con un meccanismo di roundrobinCampioni di eventi sono memorizzati anche nei Tier2 e, in misura minore, nei Tier3
AOD: Sono replicati completamente in ogni Tier1 e parzialmente nei Tier-2 (~1/3 – 1/4). Alcune stream possono essere memorizzate nei Tier3
TAG:I database dei TAG sono replicati in tutti i Tier1 e Tier-2
DPD:Nei Tier1, Tier2 e Tier3
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 55
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/sec
320 MB/sec
~ 75MB/s
622Mb/s links
~10~10
622Mb/s links
I Tier-2 nei modelli di analisiI Tier-2 nei modelli di analisi
~PB/sec
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
Produzione di AOD, n-tuple e TAG dagli ESD e analisi schedulate:
Gruppi di analisi su canali rilevanti per la comunità locale; varie iterazioni su:
TAG di tutti gli eventisottocampioni di AODeventuali (pochi) ESDpochissimi eventi RAW
Analisi caotica di AOD e n-tuple, nuove selezioni, simulazioni particolari, etc.:
Singoli utenti; molte iterazioni su:piccoli campioni di TAG, AOD e ESD;due versioni dei suoi DPD
15 kSI2k e 2 Tb per utente
Uno scenario di analisi:Si invia una query a un dataset di TAG (es., l’ultimo) residente su DBIl risultato della query serve ad individuare gli AOD relativi agli eventi selezionatiUn ulteriore algoritmo di selezione può essere applicato agli eventi e il risultato puo’ essere un dataset ridotto di AOD o DPD (piu’ raramente di ESD o RAW) o direttamente una n-tupla.
L’analisi di grandi campioni di eventi sarà distribuita (Grid)!
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 66
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/s
>320 MB/s
>75 MB/s
1 Gb/s links
~10~10
1 Gb/s links
~PB/s
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
Data flow Tier1 – Tier2Data flow Tier1 – Tier2
Campioni di RAW data e dati derivati copiati per sviluppo algoritmi ed analisi
dati derivati copiati ad ogi riprocessamento dei RAW data nei Tier1
Dati simulati prodotti nei Tier2 salvati nei Tier1 per essere permanentemente disponibili a tutta la collaborazione
replicati in altri Tier1
Servizi di rete richiesti:throughput occasionalmente elevato possibilità di prenotare in anticipo bandwidth aggiuntiva
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 77
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/s
>320 MB/s
>75MB/s
1 Gb/s links
~10~10
1 Gb/s links
Data Flow: casi particolariData Flow: casi particolari~PB/s
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
Stream di dati principali dagli High Level Trigger (LV2 + EF):
Stream primario, contenente tutti gli eventi di fisicaExpress line Eventi di calibrazione:
processamento veloce (risorse dedicate in situ)calibrazione fine (Tier2)
Stream per debugging e diagnostica
Obiettivi principali dello streaming:Ridurre la latenza per un sottoinsieme di eventi (in particolare quelli di calibrazione) Processare lo stream primario con i risultati ottenuti dallo stream di calibrazione
Risorse necessarie:La calibrazione veloce e la express line dovrebbero occupare ~20% di bandwidth e CPU
LV2
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 88
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/sec
320 MB/sec
~ 75MB/s
622Mb/s links
~10~10
622Mb/s links
Ruolo dei Tier-2 italiani in ATLASRuolo dei Tier-2 italiani in ATLAS
~PB/sec
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
La comunità italiana intende svolgere un ruolo rilevante in una o piu’ attività tra quelle considerate di pertinenza dei Tier-2, e in particolare:
Ricostruzione:Muon Detector, Calorimetri, Pixel Detector.
Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector.
Studi di performance:Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3)Tau/jet/EtMiss/egamma (GE, MI, PI)
Analisi:Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1)Susy (MI, NA)Top (PI, UD)Fisica del B (CS, GE, PI)
Simulazioni connesse alle attività suddette.
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 99
Event Builder
Event Filter~7.5 MSI2k
Tier3
10 GB/sec
320 MB/sec
~ 75MB/s
622Mb/s links
~10~10
622Mb/s links
Sedi dei Tier-2 italianiSedi dei Tier-2 italiani
~PB/sec
Tier2~1.5 MSI2k
~4/Tier1~4/Tier1
La comunità italiana intende organizzare le proprie attività attorno a 4 infrastrutture di calcolo principali (situate presso i LNF e le sedi di Milano, Napoli e Roma1) che hanno già dimostrato affidabilità e efficienza durante la partecipazione ai Data Challenge di ATLAS
I responsabili delle 4 unità operative sopra menzionate hanno dichiarato il loro interesse ad ospitare un Tier-2 ATLAS, riservandosi di assumere un impegno in tal senso quando saranno meglio definite le condizioni di servizio.
Lo studio delle caratteristiche specifiche dei vari Tier-2 italiani è in corso, con la collaborazione di tutta la comunità italiana ed esperti delle sedi interessate. In particolare si vuole definire un profilo temporale di crescita adeguato ai compiti specifici che ciascun Tier-2 dovrà svolgere anno per anno.
Tier05. MSI2k - 5 PB/y
Tier18. MSI2k - 2 PB/y
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 1010
Stima evoluzione dei costiStima evoluzione dei costi
15P. Capiluppi CSN1 - 17 Maggio 2005
Cost evalution tableCost evalution tableCosts By Pasta III + Bernd-Jul04
2004 2005 2006 2007 2008 2009 2010CPU (€/Si2K) 1.25 0.83 0.55 0.36 0.24 0.16 0.12Disk (€/GB) 5.90 3.69 2.30 1.44 0.90 0.56 0.35Tape (€/GB) 0.53 0.53 0.53 0.53 0.26 0.26 0.26
cost INFN2004 2005 2006 2007 2008 2009 2010
CPU (€/Si2K) 1.30 0.86 0.58 0.38 0.25 0.17 0.12Disk (€/GB) 5.76 3.60 2.25 1.40 0.88 0.55 0.34Tape (€/GB) 0.42 0.42 0.42 0.42 0.21 0.21 0.21
INFN 2005 gare: costo tot cost/unitbox dual da 3kSI2K per 2150 Euro + IVA = 2580 0.861 TB disco FC completo per 3000 Euro + IVA = 3600 3.61 cassetta da 200 GB per 70 Euro/cadauna = 84 0.42
kSI2K/box 2.40 3.60 5.40 8.10 12.15 18.23 27.34GB/disk 200 330 540 900 1500 2400 4000
UltimaUltima garagara CNAF CNAF suisui dischidischi : 2.3 Euro/GB: 2.3 Euro/GB
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 1111
Valutazione dei costi Valutazione dei costi (acquisto anno corrente)(acquisto anno corrente)
Tier2INFN 2006 2007 2008 2009 2010
Tot. K€
CPU(kSI2K)
(new) (new) 280280
(tot) (tot) 530530
350350
88088017821782
2532253214201420
383238322709
6261
K€ 162162 133133 446446 241241 325 13071307
Dischi(TB)
(new) (new) 179179
(tot) 209 (tot) 209
177177
368 368 836836
1212 1212 847847
2039 2039 1334
3194
K€ 403403 248248 736736 466 454454 23072307
Tot. K€ 565 381 1182 707 779779 36143614
CSN1 - 17/05/2005CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFNLamberto Luminari - ATLAS Tier-2 INFN 1212
Valutazione dei costi Valutazione dei costi (acquisto anno precedente)(acquisto anno precedente)
Tier2INFN 2006 2007 2008 2009 2010
Tot. K€
CPU(kSI2K)
(new) (new) 280280
(tot) (tot) 530530
350350
88088017821782
2532253214201420
383238322709
6261
K€ 241241 203203 677677 355355 461 19371937
Dischi(TB)
(new) (new) 179179
(tot) 209 (tot) 209
177177
368 368 836836
1212 1212 847847
2039 2039 1334
3194
K€ 644644 398398 11701170 745 734734 36913691
Tot. K€ 885 601 1847 1100 11951195 56285628