Il progetto “GRID ” ed il calcolo dei futuri esperimenti

Marco Serra - INFN Roma

Acknowledgements

a questa presentazione hanno contribuito con idee e materiale molte persone:

EGEE training teamJ. Templon (NIKHEF)D. Bonacorsi & F. Safai (CMS)V. Vagnoni (LHCb)C. Palomba (Virgo - INFN Roma)B. Taglienti (Gruppo Teorico - INFN Roma).........

Indice

Idea del talk : introdurre i concetti del “Grid computing” assumendo nessuna conoscenzapregressa

Struttura di una Griglia Computazionale (Grid)

Modelli di calcolo di alcuni esperimenti che utilizzano la Grid

Conclusioni

“tipica” risoluzione di un problema scientifico

risolvere un problema: → trovare un programma

se non esiste scriverlo .....

eseguire il programmadevo accedere a dei dati per l’esecuzione? l’output e’ “voluminoso” ?

analisi dei risultatiaccedo ai dati ed eseguo un altro programma per fare istogrammi, grafici, fit, ..........

risorse necessarie definite dalla complessita’ del problemaquante CPU quanto spazio discodove sono i dati che mi servono - rete................

Researchers in many locations need to share resources

Scientific instruments, data stores and computers in many locations

Before Grids

SSH, SCP, blood, sweat and tears…and little support for collaboration

There must be a better way of doing this!!!

The GRID: networked data processing centres and ”middleware” software as the “glue” of resources.

Researchers perform their activities regardless geographical location, interact with colleagues, share and access data

Scientific instruments and experiments provide huge amount of data

With Grids

Che cos’e’ la “Grid Technology”? (1)

L’obiettivo principale dei progetti di Grid e’ lo sviluppo di un insieme coerente di risorse di calcolo (“Grid”), distribuite su scala geografica.

La Grid dovra’ garantire la gestione di dati di differenti comunita’ di utenti (“Virtual Organizations” - VO) - fino alla scala del “Peta-Byte” … utilizzando “computing power”distribuito.

Una Griglia Computazionale dovra’ fornire una interfaccia uniforme e sicura ai suoi “customers” (ed alle sue “resources”), distribuendo un servizio affidabile e accessibile da “qualsiasi luogo”.

Che cos’e’ la “Grid Technology”? (2)

……e’ quel “bit” tra le applicazioni degli utenti (o degli esperimenti) ed il “computer system” di un particolare sito (istituto/laboratorio);

… per gli utenti: e’ quel “bit” di cui non vogliamo preoccuparci, purche’ esista !!!!

... e sia “sicuro”;

Analogia con le griglie-elettriche: si inserisce un “dispositivo”nella presa nel muro e funziona… e non ci interessano le centrali elettriche di produzione, la rete di distribuzione, i cavi del HV ……

The Single Computer

The Operating System enables easy use of

Input devicesProcessorDisksDisplayAny other attached devices

Disks, Processor, Memory, …

Application Software

Operating

System

The Local Area Network

Disks, Processor, …

Application Software

Operating System on each resource

Middleware for connecting to othercomputers, servers, printers, …

User just perceives “shared resources”, with no regard to location in the building:

- Authenticated by username / password

- Authorised to use own files,…

A Grid of Resources

INTERNETINTERNET

Disks, Processor, …

Application Software

Operating System

Middleware for connecting to other computers, …

Grid Middleware

The components of a Grid

Infrastructurenetworking, computational resources, storage resources, …

Middlewarethe operating system of the grid, running on all resources.

Operations infrastructureRun enabling services (people + software)

Virtual Organization managementProcedures for gaining access to resources

Different Perspectives

Users need single sign-on: the ability to logon to a machine and have the user’s identity passed to other resources as requiredTo trust owners of the resources they are using

Providers of resources (computers, disks, databases,..) needrisks to be controlled: they are asked to trust users they do not knowMinimise impact on security An ability to trace who did what.

The solution comes fromVirtual OrganisationsDigital Certificates

Users and Virtual Organisations

Virtual Organisations and trustUser joins a Virtual OrganisationDigital certificate is basis of Authentication and Authorisation.Identity passed to other resources you use, where it is mapped to a local account – the mapping is maintained by the Virtual Organisation.The user trusts the Virtual Organisation to only use resources that are safe and secure

Resource-Provider’s and VO’s

Virtual Organisations and trustA Resource-Provider trusts a Virtual OrganisationThe Virtual Organisation trusts its users

Common agreed policies establish rights for a Virtual Organization to use resources

Each resource provider has different usage and security considerations that must be accounted for.

X.509 Certificates

User

Certificate Authority

Public keyPrivate keycertificate

CA

Resource (site offering services)

Main Services of a Grid Architecture

Service providersPublish the availability of their services via information systemsSuch services may come-and-go or change dynamicallya site that offers x CPUs and y GB of storage

Service requestersSingle sign-on: log into the grid onceUse brokering services to find a needed service and employ it

Service brokersRegister and categorize published services and provide search capabilities

Resource Broker selects the best site for a “job”Catalogues of data held at each siteFile Trasfer service

Main Logical Types

User Interface (UI)

Information Service

Computing Element (CE)Frontend NodeWorker Nodes (WN)batch system

Storage Element (SE)

Replica Catalog

Resource Broker (RB)

Attivita’ di un “Grid user”

Grid User

“Grid”

“definizione logica di un problema”(… “algoritmo”/ “tipo di dati” …)

InputSandbox

“risultato”… “grafici”/”subset di dati”/ …

Output Sandbox

Grid User

UserInterface

CComputingomputingEElementlementWWorkerorkerNNodesodes

Tipico “Grid-job life-cicle”

ResourceResource BrokerBrokerI II I

L & BL & B

SStoragetorageEElementlement

ReplicaReplicaCatalogueCatalogue

VOVOCACA Grid-Map

SecuritySecurity

IS IS

OS

OSApplicationApplication

Grid projects

Many Grid development efforts — all over the world

•OSG•NASA Information Power Grid•DOE Science Grid•NSF National Virtual Observatory•NSF GriPhyN•DOE Particle Physics Data Grid•NSF TeraGrid•DOE ASCI Grid•DOE Earth Systems Grid•DARPA CoABS Grid•NEESGrid•DOH BIRN•NSF iVDGL

•WLCG•EGEE(2)•DataGrid (CERN, INFN, ...)•EuroGrid (Unicore)•DataTag (CERN,…)•Astrophysical Virtual Observatory•GRIP (Globus/Unicore)•GRIA (Industrial applications)•GridLab (Cactus Toolkit)•CrossGrid (Infrastructure Components)•EGSO (Solar Physics)

•UK – OGSA-DAI, RealityGrid, GeoDise, Comb-e-Chem, DiscoveryNet, DAME, AstroGrid, GridPP, MyGrid, GOLD, eDiamond, Integrative Biology, …•Netherlands – VLAM, PolderGrid•Germany – UNICORE, Grid proposal•France – Grid funding approved

•Italy – INFN Grid•Eire – Grid proposals•Switzerland - Network/Grid proposal•Hungary – DemoGrid, Grid proposal•Norway, Sweden - NorduGrid

25 Universities4 National Labs2800 CPUs

July 2005

140 Grid sites

34 countries

12000 CPUs

July 2005

140 Grid sites

34 countries

12000 CPUs

30 sites3200 cpus

INFN Grid & GARR

http://grid-it.cnaf.infn.it

Ma chi usa la Grid?

Alcuni esempi

Fisici della alte energieapprocci differenti per esperimenti differenti

Esperimenti di onde gravitazionali

Fisici Teorici

..... e molti altri

We have a problem …

Place event info on 3D map

Trace trajectories through hits

Assign type to each track

Find particles you want

This is “relatively easy” case

Atlas

… this problem is not easy at all

interactivephysicsanalysis

physicsanalysisphysicsanalysis

detector

event summary

data

rawdata

eventreprocessing

eventreprocessing

eventsimulation

eventsimulation

analysis objects(extracted by physics topic)

event filter(selection &

reconstruction)

event filter(selection &

reconstruction)

processeddata

Data Handling and Computation for Physics Analysis

Scales

To reconstruct and analyze 1 event takes about 90 seconds (....)

Maybe only a few out of a million are interesting. But we have to check them all!

Analysis program needs lots of calibration; determined from inspecting results of first pass.

Each event will be analyzed several times!

online systemmulti-level triggerfilter out backgroundreduce data volume

level 1 - special hardware

40 MHz (40 TB/sec)level 2 - embedded processorslevel 3 - PCs

75 KHz (75 GB/sec)5 KHz (5 GB/sec)100 Hz(100 MB/sec)data recording &offline analysis

One of the four LHC detectors

Scales (2)

90 seconds per event to reconstruct and analyze

100 incoming events per second

To keep up, need either:A computer that is nine thousand times faster, ornine thousand computers working together

Moore’s Law: wait 20 years and computers will be 9000 times faster (we need them in 2007!)

CERN18%

All Tier-1s39%

All Tier-2s43%

CERN12%

All Tier-1s55%

All Tier-2s33%

CERN34%

All Tier-1s66%

CPU Disk Tape

Summary of Computing Resource RequirementsAll experiments - 2008From LCG TDR - June 2005

CERN All Tier-1s All Tier-2s TotalCPU (MSPECint2000s) 25 56 61 142Disk (PetaBytes) 7 31 19 57Tape (PetaBytes) 18 35 53

CNAF1045

∼ 95.000 intel core duo D930 ∼ 230.000 dischi da 250GB

LHC computing needs

LHC user distribution

Europe: 267 institutes, 4603 usersElsewhere: 208 institutes, 1632 users

HEP Motivation for Grids

Trivially parallel problemLarge Scales: 100k CPUs, petabytes of data

(if we’re only talking ten machines, who cares?)

Large Dynamic Range: bursty usage patternsWhy buy 25k CPUs if 60% of the time you only need 900 CPUs?

Multiple user groups (& purposes) on single systemCan’t “hard-wire” the system for your purposes

Wide-area access requirementsUsers not in same lab or even continent

Solution using Grids

Trivially parallel: break up problem “appropriate”-sized pieces

Large Scales: 100k CPUs, petabytes of dataAssemble 100k+ CPUs and petabytes of mass storageDon’t need to be in the same place!

Large Dynamic Range: bursty usage patternsWhen you need less than you have, others use excess capacityWhen you need more, use others’ excess capacities

Multiple user groups on single system“Generic” grid software services

Wide-area access requirementsPublic Key Infrastructure for authentication & authorization

CMSATLAS

LHCbCERN

Tier 0 Centre at CERN

physics group

LHC Computing Model

regional group

Tier2

Lab a

Uni a

Lab c

Uni n

Lab m

Lab b

Uni bUni y

Uni x

physicsdepartment

α

β

γDesktop

Germany

Tier 1

USAUK

France

Italy

……….

Spain

……….

LHC Computinginfrastructure

CERN Tier 0

Grid technology

Common HEP Use Cases

HEP experiments have “typical” computing tasks

Simulation

Data (Re)Processing

Physics Analysismodel is still under discussion

Simulation

The easiest use caseNo input data, Output can be to a central locationBookkeeping not really a problem (lost jobs ... OK)

Define program version and parametersTune # of events produced per run to “reasonable”value

Submit (needed ev)/(ev per job) jobsWait

Upload output somewhere

Data (Re)Processing

Quite a bit more challenging: there are input files, and you can’t lose jobs

One job per input file (so far)

Data distribution strategy

Monitoring and bookkeeping

Traceability of output (“provenance”)

Tiered architectureT0:

Accepts data from DAQPrompt reconstructionData archive and distribution to T1’s�

CAF (CERN Analysis Facility for CMS):Access to full raw datasetFocused on latency-critical detector trigger calibration and analysis activitiesProvide some CMS central services (e.g. store conditions and calibrations)

7 T1 centers and 25 T2 centers

CMS T1 functionsCMS T1 functionsScheduled data-reprocessing and data-intensiveanalysis tasks:

later-pass reco, AOD extraction, skimming, …

Data archiving (real+MC):custody of raw+reco & subsequently produced data

Disk storage management:fast cache to MSS, buffer for data transfer, …

Data distribution:data serving to Tier-2’s for analysis

Analysis:proficient data access via CMS+WLCG services

CMS T2 functionsCMS T2 functionsUser data analysis

Fast and detailed MC event prod

Import skimmed datasets from T1s and export MC data

Data processing for calib/aligntasks and detector studies

CMS T1 resources (nominal for average T1 in 2008):

WAN: transfer capacity ~10 Gb/s

CPU: 2.5 M-SI2k (scheduled reprocessing : analysis = 2 : 1)

Disk: 0.8 PB (~85% for analysis data serving)

MSS: 2.8 PB (losses ~tens of GB per PB stored)

CMS T2 resources (nominal for average T2 in 2008):

WAN: 1 Gb/s (at least)

CPU: 900 k-SI2k

Disk: 200 TB

T1/T2 roles and computing capacities

ProdDB

CECE CE

DulcineaDulcineaDulcinea

DulcineaDulcinea

LexorDulcinea

DulcineaCondorG

CG

PANDA

RBRB

RB

ATLAS Prodsys

Different production agents for different Grid flavours

..... missing Grid Standards

The LHCb Dataflow (II)

The LHCb Dataflow

On-line FarmCERNTier-1s

CERNTier-1s

Tier-2s

reconstruction

pre-selectionanalysis

RAWmc data RAW data

rDST

DST+RAW TAG

calibration data

MC On-line Farm

Physics Analysis

Local Analysis

n-tuple User TAGUser DST

TAGSelected DST+RAW

Paper

CERNTier-1s

local pc

CERN

Scheduled job Chaotic job

LHCb specific

Virgo - ricerca onde gravitazionali

Cascina (Pisa)

• Sono previsti vari tipi di sorgenti astrofisiche che emettono ondegravitazionali con caratteristiche diverse e richiedono quindi metodi differentiper l’estrazione del segnale dal rumore.

• Il gruppo Virgo di Roma e` responsabile dell’analisi dei dati off-line per la ricerca ‘cieca’ di segnali continui emessi da stelle di neutroni asimmetricheruotanti. Questo tipo di ricerca e` estremamente pesante dal punto di vista computazionale a causa dell’enorme spazio dei parametri che deve essereesplorato.

• La potenza di calcolo a disposizione fissa la ‘profondita’ della ricerca: maggioririsorse di calcolo permettono di esplorare una porzione maggiore dello spaziodei parametri.

• Per effettuare l’analisi ‘cieca’ di 4 mesi mesi di dati e` necessaria una potenzadi calcolo almeno dell’ordine del Teraflop (≈103 CPU 2.8 GHz) su un tempo analogo.

• Questo problema di analisi e` particolarmente adatto ad essere affrontato in un ambiente di calcolo distribuito: l’intera banda di frequenze da analizzarepuo` essere divisa in un numero qualsivoglia di sotto bande, ciascunaanalizzabile indipendentemente dalle altre.

Virgo - ricerca onde gravitazionali (1/2)

• I codici di analisi sono stati adattati all’ambiente grid ed e` stata creata la VO Virgo che permette agli utenti di accedere alle risorse di calcolo dei Tier-1 del CNAF e di Lione, alla piccola farm di Roma e a vari altri siti della Griglia diProduzione INFN.

• Dopo una fase di test, attualmente la griglia viene utilizzata per la parte ‘incoerente’ dell’analisi dei dati dei run di commissioning C6 e C7: oltre 30000 jobs sottomessi dall’inizio dell’anno e un cpu time di quasi 5 anni.

• Schematicamente la pipeline consiste di: una fase di pre-processamento in locale che termina con la costruzione delle cosiddette ‘peak maps’; una fase incoerentesulla griglia in cui ciascun job analizza una porzione delle peak maps producendo un lista di candidati; una fase di ‘follow-up’ coerente, in locale, in cui viene raffinatal’analisi sui candidati in coincidenza tra due o piu` set di dati.

• L’interesse per l’uso di grid si sta allargando ad altri gruppi della collaborazione: per la ricerca off-line di segnali da binarie coalescenti, per il trasferimento e gestione dei dati tra il sito di produzione e i Tier-1 di Lione e Bologna.

• Futuro(?): collaborazione/scambio dati con LIGO (OSG) per analisi distribuita

Virgo - ricerca onde gravitazionali (2/2)

Studio della distribuzione della carica topologica in QCD (L. Giusti (CERN), S. Petrarca, B. Taglienti (INFN-Roma1) ) (1/2)

Scopo del lavoro e` di avere una rappresentazione accurata delladistribuzione della carica topologica ottenuta dalla definizionebasata sui fermioni di Neuberger. Lo studio, condotto su reticolidi 3 diverse dimensioni, dimostra che la distribuzione non e` gaussiana. Per averne la certezza e` necessaria una statisticamolto elevata. Il lavoro sara` presentato in forma preliminare alla conferenzaLattice2006 a fine luglio.

Dettagli del calcolo:Il programma e` tutto scritto in C, non fa uso di librerie esterneed utilizza in modo decisivo il set di istruzioni "SSE2" sviluppatoda Intel per i processori dal Pentium 4 in poi.

I 3 reticoli di dimensioni diverse richedono 250MB, 500MB e 1.1GB di RAM Per ottenere una statistica sufficiente vengono eseguiti N programmicontemporaneamente con N diversi seed iniziali; per il reticolo piu` grande N=200. Ogni programma si prefigge un numero prestabilito di passiMonte Carlo.

Studio della distribuzione della carica topologica in QCD (L. Giusti (CERN), S. Petrarca, B. Taglienti (INFN-Roma1) ) (2/2)

Idealmente ognuno di questi N programmi potrebbe girare ininterrottamentefino al raggiungimento dell'obbiettivo. In pratica ogni programma fa un numerolimitato di passi, salva e riparte. Per l'input/output abbiamo utilizzato gli storageelement gentilmente concessi dai gruppi atlas, cms e virgo.

Dal 20-10-2005 al 9-6-2006 (232 giorni) sono state utilizzate su INFN-Grid circa 340.000 ore di CPU pari a 14167 giorni corrispondente ad un utilizzo medio"netto" di 61 CPU/giorno (con "netto" si intende tutto cio` che ha portato a risultati utili, quindi togliendo i job abortiti o falliti per qualsiasi motivo)

Sono stati spediti e ricevuti 19000 jobs pari a 82 job/giorno. Prevediamo di calcolare ancora per ancora 180.000 ore suddivise in 7500 job. Che cosa ci piacerebbe: 1. Poter fare dei run piu` lunghi (...... risorse condivise)2. Poter specificare a priori che ci serve una CPU con sse2 e >1GB di RAM

(problema grid)

“Killer application” per la Grid .... perche’ ?uso opportunistico di risorse INFN

Conclusioni

Molti concetti della Grid ora sono piu’ chiari

Stabilita’ e affidabilita’ sono ancora un problemacapacita’ del sistema di reagire ai problemi senza interventi “umani”

Andare verso degli standardprotocolli piu’ che servizi, piu’ flessibilita’, ...

Gli esperimenti HEP (... ma non solo loro) saranno i migliori giudici della maturita’ della tecnologia

The GRID distributed computing idea (1/2)

Mini ComputerMini Computer

MicrocomputerMicrocomputer

ClusterCluster

(by Christophe Jacquet)

Once upon a time……..

ComputerComputer

food chain

The GRID distributed computing idea (2/2)

(by Christophe Jacquet)

…and today

GRID

Domande ?

Persone coinvolte in sezione:E. Valente, M. Serra, A. BarchiesiA. De Salvo, L. Luminari (Atlas)

F.Safai, L. Barone (CMS)