egee is a project funded by the european union under contract ist-2003-508833 using srm: dpm and...

EGEE is a project funded by the European Union under contract IST-2003-508833

Using SRM: DPM and dCache

G.Donvito,V.SpinosoINFN Bari

www.eu-egee.org

Riunione gruppo Storage INFN, 5/10/2005 - 2

Outlook

•Che cos’è un SRM•Cosa ci serve in un SRM •Le possibili scelte•Caratteristiche principali dei

vari sistemi•… test su dCache


Funzionalità necessarie

•Bilanciamento del carico sulle “porte” gridftp

•Bilanciamento della scrittura su disco

•Namespace unificato•Vari livelli di fault tolerance•Accesso locale (all’interno delle

applicazioni utente) distribuito e bilanciato


Modalità di funzionamento

DPM


Example: SRM put processing (1)

Data ServerGridftp Daemon

ClientDPM Daemon

SRM Daemon

1a. SRM Put

1b. Put intoRequest Database

1c. Return SRM RequestId

DPM Database

DPNS Daemon





2a. Get Request from Database

2d. Add TURL in Request

Database and Mark ‘Ready’

2c. Pick best Data Server to put data onto


Client

SRM Daemon

2b. Check permissions and add to NS

DPM Database

DPNS Daemon



2e.add to replica table and set status ‘Pending’

DPM Daemon



3a. SRM getRequestStatus


ClientDPM Daemon

SRM Daemon

3c. Return TURL

DPM Database

3b. Get TURL from Request

DPNS Daemon






Client

SRM Daemon DPM Database

DPNS Daemon



4a. SRM(v1) set ‘Running’

4b. Update status of request

DPM Daemon




ClientDPM Daemon

SRM Daemon

5. put file via Gridftp

DPM Database

DPNS Daemon





6c. Get filesize


Client

SRM Daemon DPM Database

DPNS Daemon



6a. SRM(v1) set Done 6e. Update status of request

6d. Update replica metadata(size/status/pintime)

6b. Notify ‘Done’

DPM Daemon


Modalità di funzionamento

dCache


dCache Internals


dCache Internals (2)


Varie possibilità

• DPM: Sviluppato nel contesto di LCG Semplice da installare e gestire Adatto anche a piccole soluzioni Software leggero e veloce Molte feature interessanti in programma Problemi legati principalmente alla gioventù del

software Alcuni controlli sacrificati in favore della velocità Non disegnato per integrare la gestione di tape library Scalabilità non provata in produzione Poche funzionalità di fault tolerance Non supporta ancora “srmcp” Problemi nell’acceso ai file da applicazioni di CMS


Varie possibilità (2)

• dCache: Non sviluppato nel contesto di LCG Non proprio semplice da installare e gestire Software scritto in Java Adatto a soluzioni molto variabili come spazio e

complessità Molte feature interessanti implementate e in

programma Molto più stabile e fault tolerant di DPM in produzione Prevede l’integrazione di una tape library Scalabilità provata fino a diverse centinaia di Terabyte Supporto per l’accesso ai file dalle applicazioni


Varie possibilità (3)

•… Castor•… StoRM


Conclusioni

• DPM: Forse troppo giovane per uso in produzione Destinato ai siti più piccoli e con meno Man-

Power

• dCache: Necessita di un po’ di “training” all’inizio Funzionalità molto interessanti e in continua

evoluzione Stabilità abbastanza provata Scalabilità fino a Tier2 medio-grandi, forse Tier1

egee is a project funded by the european union under contract ist-2003-508833 using srm: dpm and...

Documents