progetto s.co.p.e. wp4 medigrid, un pse per il medical imaging: implementazione in ambiente glite g....
TRANSCRIPT
![Page 1: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/1.jpg)
Progetto S.Co.P.E. WP4
MedIGrid, un PSE per il Medical Imaging:
implementazione in ambiente gLite
G. Laccetti
![Page 2: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/2.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
2
Il PSE MedIGrid: obiettivi e motivazioni
Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici)
L’obiettivo è quello di sviluppare un PSE per il calcolo ad alte prestazioni, grid-aware, per consentire ai medici di:
gestire
processare
visualizzare
immagini mediche acquisite da vari dispositivi
![Page 3: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/3.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
3
Struttura a livelli del PSE (al 2006)
GLOBUS
MedIBroker
![Page 4: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/4.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
5
Componenti numeriche ECODEN:
Denoising di sequenze ecocardiografiche
μ-SEG: Segmentazione di immagini mediche
Ambiente H/S di esecuzione Hardware:
Cluster di nodi interconnessi con rete dedicata
Software: S.O. Unix-like, PETSc (MPI, BLAS, LAPACK)
![Page 5: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/5.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
6
Problema P
Modello Matematico M(P)
Modello Numerico Mh(P)
SoftwareAlgoritmo
Denoising di sequenze ecocardiografiche
Ambiente parallelo
PDE
Au=b
Nucleo computazionale: ECODEN
uugucltt
u
||)(
Sistema lineare
![Page 6: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/6.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
7
ECODEN
Denoised data
Original data
Anisotropic diffusion (Perona-Malik PDE equation)
iterative algorithms based on Krylov subspaces methods (CG, GMRES)
block diagonals preconditioners (bjacobi, asm)
![Page 7: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/7.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
8
Problema P
Modello Matematico M(P)
Modello Numerico Mh(P)
SoftwareAlgoritmo
22
022
||||||
u
uIGgu
t
u
Segmentazione
Ambiente parallelo
PDE
Sistema non lineare
Nucleo computazionale: μ-SEG
F(u,t)=0
![Page 8: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/8.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
9
μ-SEG
++
Segmentation function
Original data
Level set formulation of Riemannian mean curvature flow equation
Implicit schema using Newton-like linearization method
Iterative algorithms based on Krylov subspaces methods (GMRES)
block diagonals preconditioners (bjacobi)
Final data
![Page 9: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/9.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
10
Esigenza per l’uso dell’HPC
Supercomputing: Necessità di ridurre drasticamente il tempo di esecuzione in
funzione dell’urgenza della diagnosi ( , realtime)0ττ
Modalità di utilizzo della GRID Collaborative computing:
Necessità di rendere possibile la collaborazione tra diverse comunità di medici
On demand computing: Necessità di rendere disponibili alle comunità dei medici
risorse di supercalcolo non altrimenti disponibili localmente.
![Page 10: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/10.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
11
Funzionalità: Performance monitoring
Applicationon resource
A
ApplicationManager
Performance Modeler
LaunchPerformance
Monitor
ContractMonitor
Data about resource
A
Data about application
MedIBroker
Stop!Devo migrare
Violazione del
contratto
Controllo lo stato del job
![Page 11: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/11.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
12
Funzionalità: Checkpointing/migration
Applicationon resource
A
ApplicationManager
Performance Modeler
LaunchPerformance
Monitor
ContractMonitor
Contacting Application
Manager
Calling MedIBroker & performance
modeler
Data about
resourceB
Data about application
MedIBroker
Applicationon resource
B
Performance Monitor
ContractMonitor
![Page 12: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/12.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
13
Globus-based PSE:osservazioni
PSE completo grid aware orientato al calcolo ad alte prestazioni
MA
Soluzioni custom implementate per supplire alle carenze del middleware Globus (assenza di alcuni servizi collective)
Soluzioni application oriented
![Page 13: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/13.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
14
Analisi del lavoro: necessità/esigenze
1. “Smontare” MedIGrid eliminando: le interazioni con il Globus Toolkit tutte le soluzioni custom o application oriented:
MedIBroker Application Manager Sistema dei contratti di performance Sistemi per la gestione dei fault Sistemi automatici di stop/restart dell’applicazione
2. Riprogettare la parte server in modo da renderne possibile l’interazione con gLite (integrando le features più interessanti)
3. Lasciare invariata la parte client del portale
![Page 14: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/14.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
15
Nuova struttura a livelli del PSE
GLOBUS
MedIBroker
NEW
Core Services
Collective Services
VOMSLFC
File catalogueBDII Information
System
WMSResource
Broker
Proxy
G
L
I
T
E Grid protocolsGridFTPGASS GSIGRAM …
S.Co.P.E. Toolkit
![Page 15: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/15.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
16
Il PSE basato su gLite
L’architettura software è costituita da tre livelli:
L’User Interface (GUI) che include strumenti per la configurazione dei
paramentri relativi all’image processing, tool di visualizzazione e di
post-processing delle immagini (ad es. plugin per il rendering)
Il Grid Portal, basato sulla libreria di funzioni Java di LCG/gLite (WMS-
Proxy, LFC/GFAL, JobMonitor), nasconde all’utente finale la complessità
dell’ambiente di Griglia
I servizi core e collective messi a disposizione da LCG/gLite, alcune
componenti del middleware applicativo e varie componenti
numeriche
![Page 16: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/16.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
17
Stato dell’arte
Servizi web Servizio di registrazione nuovi utenti Servizi di upload/download di dati
Servizi grid Autenticazione voms-based Sottomissione e monitoraggio dei job Gestione dati (browsing, spostamento, registrazione
su catalogo)
![Page 17: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/17.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
18
gLite-based PSE: osservazioni
gestione del livello collective a carico del middleware gestione dei dati più efficiente
Ma:
non adattativa non fault tolerant non orientata al mantenimento di prefissate prestazioni
Grid flow approach
![Page 18: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/18.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
19
gLite: caratteristiche e funzionalità attese
Estensione/miglioramenti del middleware (integrazione della libreria di API Java per la gestione delle credenziali voms, modifica della libreria per la gestione dei dati in modo da prevedere la multiutenza, gestione del data streaming, …)
Miglioramento dei meccanismi di checkpointing e fault-tolerance
Introduzione di librerie per la realizzazione di applicazioni parallele multisito (es. PACX-MPI, MPICH-G2, nuovi tag JDL per la descrizione dei Job paralleli e multisito…)
Introduzione di meccanismi per l’interoperabilità tra middleware differenti (es. GRelC, GridWAY, …)
![Page 19: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/19.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
20
MedIGrid: caratteristiche e funzionalità attese
Miglioramento dei servizi grid (anche a valle di estensione/miglioramenti
del middleware) Aggiornamento delle componenti numeriche e delle librerie
per checkpointing e gestione dei fault Introduzione di nuovi nuclei computazionali
GRID AWARE
![Page 20: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/20.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
21
Il PSE: un esempio di utilizzo
![Page 21: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/21.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
22
Il PSE: un esempio di utilizzo
![Page 22: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/22.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
23
Il PSE: un esempio di utilizzo
![Page 23: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/23.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
24
Il PSE: un esempio di utilizzo
![Page 24: Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti](https://reader035.vdocument.in/reader035/viewer/2022070312/5542eb57497959361e8c1cf0/html5/thumbnails/24.jpg)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
25
Gruppo di lavoro
A. Murli (Università degli Studi di Napoli Federico II) V. Boccia (Università degli Studi di Napoli Federico II) R. Campagna (Università degli Studi di Napoli Federico II) D. Casaburi (Università degli Studi di Napoli Federico II) L. Carracciuolo (ICTP-CNR) S. Cuomo (Università degli Studi di Napoli Federico II) L. D’Amore (Università degli Studi di Napoli Federico II) A. Galletti (Università degli Studi di Napoli Federico II) G. Laccetti (Università degli Studi di Napoli Federico II) M. Lapegna (Università degli Studi di Napoli Federico II) D. Romano (Università degli Studi di Napoli Federico II) S. Severino (Università degli Studi di Napoli Federico II)