seminario su multimedia assets management - eneagrid fileuts materiali e nuove tecnologie enea –...

Cassino, 23/06/2004Cassino, 23/06/2004 S. De Vito, Multimedia Assets ManagementS. De Vito, Multimedia Assets Management Diap Diap 11

Multimedia Assets Multimedia Assets ManagementManagement

Cosa,Cosa,Perché, Perché,

Sviluppo, Sviluppo, Progettualità, Progettualità,

OrizzontiOrizzonti

Dott. Ing. Saverio De VitoDott. Ing. Saverio De VitoUTS Materiali e nuove TecnologieEnea – C.R. [email protected]://wwwmat.casaccia.enea.it

Dipartimento di Automazione, Elettromagnetismo, Ingegneria dell’ Informazione e Matematica IndustrialeDipartimento di Automazione, Elettromagnetismo, Ingegneria dell’ Informazione e Matematica Industriale

Corso di Reti di Telecomunicazioni – Prof. Ing. C. D’ EliaCorso di Reti di Telecomunicazioni – Prof. Ing. C. D’ Elia

Seminario su



Perché MAM ?Perché MAM ?

Il Multimedia Assets Management è un filone applicativo nato dalla necessità di rispondere alla domanda di gestione di grossi archivi multimediali da parte di tutte quelle realtà che li possiedono:

Government actors, Health service actors, Remote sensing actors…..

Ma soprattutto

TV Broadcasters (es.:RAI, Sky,BBC etc.), Editori Multimediali (es.:Giunti), TV Broadcasters (es.:RAI, Sky,BBC etc.), Editori Multimediali (es.:Giunti), Agenzie Spaziali, Creatori di oggetti multimediali etc. Agenzie Spaziali, Creatori di oggetti multimediali etc.

………………nell’ ottica create once use many times!nell’ ottica create once use many times!



Grossi archivi multimediali vengono generati da diverse attività:

•Conservazione (e fruizione) beni culturaliConservazione (e fruizione) beni culturali

•Conservazione pellicole (beni culturali)Conservazione pellicole (beni culturali)

•Ricerca e protezione ambientaleRicerca e protezione ambientale

•Educazione a DistanzaEducazione a Distanza

•Screening di massa in ambito medico (imaging)Screening di massa in ambito medico (imaging)

•Archiviazione immagini da telerilevamentoArchiviazione immagini da telerilevamento



Dunque, come gestico il mio database multimediale digitale (dim nell’ Dunque, come gestico il mio database multimediale digitale (dim nell’ ordine dei Terabytes?)ordine dei Terabytes?)

Come immetto un contenuto:Come immetto un contenuto: Indexing (Come indicizzare un contenuto?)Indexing (Come indicizzare un contenuto?) Metadatazione (Come dar senso ad un contenuto?)Metadatazione (Come dar senso ad un contenuto?)Come ritrovo un particolare contenuto? (Information retrieval)Come ritrovo un particolare contenuto? (Information retrieval)Come proteggo un contenuto ? (Sicurezza, privacy, etc.)Come proteggo un contenuto ? (Sicurezza, privacy, etc.)Come fruisco di un contenuto ? (PC, Tv, Handheld, cellulari, etc.)Come fruisco di un contenuto ? (PC, Tv, Handheld, cellulari, etc.)

In un db enorme, con dati complessi, eterogenei, la cui gestione implica In un db enorme, con dati complessi, eterogenei, la cui gestione implica complesse analisi semantiche ?complesse analisi semantiche ?



Esempio 1 (Tv Broadcaster)Esempio 1 (Tv Broadcaster)Il mio db multimediale contiene:Il mio db multimediale contiene:

Fotografie di soggetto genericoFotografie di soggetto genericoSigle di programmi televisiviSigle di programmi televisiviVideo di eventi sportivi Video di eventi sportivi Video da telegiornaliVideo da telegiornaliSpettacoliSpettacoliDocumentariDocumentariOggetti multimediali classiciOggetti multimediali classiciApplets MHPApplets MHP

Metadatazione ? Ed i contenuti precedentemente Metadatazione ? Ed i contenuti precedentemente realizzati? Quali metadati? E il DRM?realizzati? Quali metadati? E il DRM?



Esempio 2 (Azienda Sanitaria)Esempio 2 (Azienda Sanitaria)Il mio db multimediale contiene:Il mio db multimediale contiene:

Immagini bidimensionali Immagini multispettraliVideo (colposcopie, ecografie, scintigrafie, operazioni chirurgiche etc)Segnali biomedicali (ecg, eeg, emg, etc.)Cartelle cliniche in generale

Metadatazione ? Ed i contenuti precedentemente Metadatazione ? Ed i contenuti precedentemente realizzati? Quali metadati? E la privacy?realizzati? Quali metadati? E la privacy?



Riassumendo:Riassumendo:

InputInput StorageStorage

SearchSearch DistributionDistribution

ProtectionProtection

Un progetto di un sistema per il MAM coinvolge l’ analisi di tutte queste 5 componenti e delle relazioni fra di esse.



Input

Un sottosistema di input di un sistema MAM deve tener conto almeno:Un sottosistema di input di un sistema MAM deve tener conto almeno:

•Dei legami con le tecnologie di search (Metadatazione manuale o automatica)Dei legami con le tecnologie di search (Metadatazione manuale o automatica)

•Standard di codifica accettabili (oggi deve necessariamente multistandard)Standard di codifica accettabili (oggi deve necessariamente multistandard)

•Dei legami con le tecnologie di storage (conservo l’ oggetto o una reference?)Dei legami con le tecnologie di storage (conservo l’ oggetto o una reference?)

•Delle protezione dei diritti d’ autore (video: watermarking in ingresso?)Delle protezione dei diritti d’ autore (video: watermarking in ingresso?)



InputMetadatazione (1)

Per reperire un oggetto multimediale, si vorrebbero effettuare richieste del tipo:

•Visualizzami tutti i tg condotti da Lilli Gruber dal giorno x al giorno y•Restituiscimi tutte le immagini contenenti un fiore•Voglio tutti i link alle partite dell’ Italia con più di un gol segnato ()•Dammi i link a tutte le puntate di Quark sui leoni (una quintalata…)

Oppure in altri contesti….

•Restituiscimi l’ elenco di tutte le mammografie contenenti microcalcificazioni in cluster•Voglio tutti gli oggetti che si riferiscono ai sensori di NO2 allo stato solido (documenti, immagini, presentazioni ppt, video etc.)

Cerchiamo ancora soluzioni valide per risolvere queste problematiche


Multimedia Assets ManagementMultimedia Assets Management

InputMetadatazione (2)

E’ indubbio che in contesti limitati è possibile costruire degli algoritmi che permettano di effettuare ricerche di questo tipo a partire dai soli oggetti multimediali, esempi:-Identificazione di keywords in documenti testuali (risultati modesti, in questi casi conviene la ricerca nel documento utilizzando un analizzatore di query in linguaggio naturale)

-UniSa : Riconoscimento automatico dello speaker, Segmentazione per scene (pro Indexing) -Unicas : Detection di microcalcificazioni in mammografia

-IBM : QBIC, CueVideo

In realtà, anche quando i risultati sono ottimali, i tempi di elaborazione sono spesso tali da non consigliare l’ utilizzo in linea ma piuttosto in Batch



InputSeach

Metadatazione (3)

La metadatazione può essere in determinati contesti una soluzione ottimale. Inoltre tale processo può essere, nei contesti su citati, automatizzato con discreto successo. Tramite un adeguata progettazione dei campi, può garantire l’ utilizzo di ontologie e tecniche di knowledge management (analizzatori di query in linguaggio naturale).

Gli svantaggi + comunemente citati:

•Necessita di adeguata progettazione (….esistono comunque degli standard)•Può essere polarizzata dall’ uomo•Può, se non automatizzabile, diventare un impresa titanica per grosse moli di contenuti pregressi•Se non adeguatamente “enforced” può essere approssimata e perciò rendere non fruibile un contenuto.•In contesti troppo generici non garantisce risultati ottimali.


Multimedia Assets Management Multimedia Assets Management

Accesso in Input

Scene Cut Detection

…

Metadata S/S “MetaTagger”Metadata S/S “MetaTagger” (completely automated or human driven)

XCoding S/SImage

XCoder

Doc Doc XCoderXCoder

Html,PPT fetch

<uses>

<uses>Speech2Text

A/Video IndexingA/Video Indexing(contesto 1)(contesto 1)

A/Video IndexingA/Video Indexing(contesto 1)(contesto 1)

Image AnalyzerImage Analyzer(vari contesti)(vari contesti)

Text OntologyText OntologyEngineEngine

Codecs

Avi

H.261

MPEG4

MPEG2

Codecs

WM

Ai

WM

Ai

G722

CodecsJPEG

DICO

MTIFF

DOC RTF LATEX

Input/Search

TOWARD DB INPUT LAYERTOWARD DB INPUT LAYER

Med

ia A

naly

sis

Laye

r (In

gest

ion

Laye

r)M

edia

Ana

lysi

s La

yer

(Inge

stio

n La

yer)



Search

Altre tecnologie vanno impiegate per garantire la fruibilità del servizio di ricerca:Relevancy ranking, federated search, etc. Trovare tutto il rilevante, escludere tutto l’ irrilevante, presentarlo in maniera semplice da utilizzare !



Search

E se riuscissimo ad estrarre statements in linguaggio naturale?

Questa immagine ritrae un quadrato contenente un

cerchio ed….



DistribLa distribuzione dei contenuti in un archivio multimediale moderno deve essere pensata per la fruizione multimodale. Il sistema deve garantire la fruizione utilizzando dispositivi che presentano differenti capacità di visualizzazione, link di rete, capacità di processing etc.

I dispositivi su esposti hanno indubbiamente processing power estremamente differente, caratteristiche link di rete differente (UMTS, local WIFI, Ethernet..),Capacità di memoria estremamente differenti (64M->1GB). Io analizzerei anche la vita operativa in funzione del costo computazionale deglia algoritmi di presentazione(dispositivi a batteria)



Distrib

Per i motivi su esposti alcuni contenuti possono essere sottoposti ad operazioni Per i motivi su esposti alcuni contenuti possono essere sottoposti ad operazioni di codifica volti a facilitare la fruizione da parte di dispositivi disagiati in termini di codifica volti a facilitare la fruizione da parte di dispositivi disagiati in termini di risoluzione o di capacità di banda.di risoluzione o di capacità di banda.

Si pensi, a titolo di esempio, alla Si pensi, a titolo di esempio, alla

•fruizione tramite palmare di immagini biomedicali di grosse dimensioni fruizione tramite palmare di immagini biomedicali di grosse dimensioni (codifica piramidale tramite wavelet)(codifica piramidale tramite wavelet)

•fruizione di power point presentations su dispositivi handheldfruizione di power point presentations su dispositivi handheld

•Tali operazioni possono essere effettuate on the fly all’ atto della fruizione o Tali operazioni possono essere effettuate on the fly all’ atto della fruizione o necessitare di operazioni precedenti all’ inserzione nella base dati perché necessitare di operazioni precedenti all’ inserzione nella base dati perché particolarmente onerose in termini di complessità.particolarmente onerose in termini di complessità.

Si dovrà scegliere un opportuna codifica in grado di supportare la fruizione da Si dovrà scegliere un opportuna codifica in grado di supportare la fruizione da parte di dispositivi etrogenei. Il segmento di input dovrà necessariamente parte di dispositivi etrogenei. Il segmento di input dovrà necessariamente prevedere questo strato di codifica (si veda lo strato necessario per i video che prevedere questo strato di codifica (si veda lo strato necessario per i video che vengono immagazzinati come miniclip metadatate).vengono immagazzinati come miniclip metadatate).



Distrib

E’ possibile definire una serie (limitata) di profili di distribuzione, con i quali parametrizzare il livello di accesso.

Per forza di cose questo tipo di problema causa un aumento sensibile della quantità di dati da immagazzinare per singolo oggetto multimediale, non essendo possibile collassare sulla rappresentazione minimale (approccio non entropico).

Non è veroNon è vero che per ogni profilo di accesso è necessario immagazzinare una diversa rappresentazione dello stesso oggetto multimediale. L’ utilizzo massiccio di tecnologie XML based permette di spostare a piacimento il focus sul processing o sullo storage, “spalmando” gli oneri della rappresentazione sui vari livelli (presentazione, accesso, business logic, eis). Questo tipo di approccio permette anche di considerare architetture di deployment aventi la necessaria scalabilità ed eventualmente caratteristiche di high availability.

In ogni caso, oggi, né lo spazio occupato, né la complessità computazionale In ogni caso, oggi, né lo spazio occupato, né la complessità computazionale lato server rappresentano constraints forti, l’ attenzione è ora rivolta verso il lato server rappresentano constraints forti, l’ attenzione è ora rivolta verso il clientclient..



DistribI profili possono essere scelti in funzione dell’ analisi delle differenti I profili possono essere scelti in funzione dell’ analisi delle differenti caratteristiche dei dispositivi. caratteristiche dei dispositivi.

In particolare si sceglie di analizzare tipicamente:In particolare si sceglie di analizzare tipicamente:

•Banda disponibile per l’ accessoBanda disponibile per l’ accesso

•Capacità di visualizzazione (Risoluzione spaziale, cromatica)Capacità di visualizzazione (Risoluzione spaziale, cromatica)

•Capacità di memorizzazione Capacità di memorizzazione

•Capacità di processing (in termini di puro Horsepower)Capacità di processing (in termini di puro Horsepower)

•Costo energetico delle operazioni (dispositivi a batteria)Costo energetico delle operazioni (dispositivi a batteria)

Queste sono le principali variabili che influenzeranno il progetto del layer Queste sono le principali variabili che influenzeranno il progetto del layer di distribuzione.di distribuzione.



Distrib

Access LayerAccess Layer

Adapter Layer

Profilo A Profilo B Profilo N………….

XML based XML based Multimedia Objects RepositoryMultimedia Objects Repository

Video Clips

MultiProfile MultiProfile Coding LayerCoding Layer

Immagini Audio Clips PPT PresentationsMHP snippets

Querying & Querying & SearchingSearching

EngineEngine

Tecnologie di interrogazione e ricerca:Analisi della query in NLFederated search (se multiDB) etc.

Distribution LayerDistribution Layer(Video Servers,

PixelOnDemand Servers, PPT Streaming Servers,

Web Servers etc.)



Storage

La progettazione di una base dati che opera nell’ ambito di un sistema MAM, pone La progettazione di una base dati che opera nell’ ambito di un sistema MAM, pone in gioco una serie di scelte architetturali e di deployment. La principale esigenza, al in gioco una serie di scelte architetturali e di deployment. La principale esigenza, al contrario di altre applicazioni, è la prestazione, in termini di velocità di contrario di altre applicazioni, è la prestazione, in termini di velocità di processamento di una transazione in particolare in fase di lettura dei dati. Ogni processamento di una transazione in particolare in fase di lettura dei dati. Ogni oggetto multimediale sarà tra l’ altro corredato dal suo set di informazioni oggetto multimediale sarà tra l’ altro corredato dal suo set di informazioni codificate in xml che ne permettono il retrieving efficace con le tecniche viste codificate in xml che ne permettono il retrieving efficace con le tecniche viste prima.prima.

•Utilizzo un OODBMS o un RDBMS ?•Immagazzino l’ oggetto (BLOB) oppure una reference ?•Utilizzerò una repository centralizzata o un db distribuito su + facilities ?•Ho bisogno di high availability?•Utilizzo uno Hierarchical Storage Management System?•Per la parte di search and querying utilizzo estensioni proprietarie (IBM DB2)?

La maggior parte di queste domande hanno risposte guidate dai requisiti o dalle La maggior parte di queste domande hanno risposte guidate dai requisiti o dalle conoscenze aziendali e/o di ricerca precedenti.conoscenze aziendali e/o di ricerca precedenti.



Storage

Le problematiche di security vanno intese sia nell’ accezione protezione del diritto Le problematiche di security vanno intese sia nell’ accezione protezione del diritto d’ autore (si pensi ad una repository tipo rai click), sia nell’ accezione privacy d’ autore (si pensi ad una repository tipo rai click), sia nell’ accezione privacy protection, in particolare in ambito medico.protection, in particolare in ambito medico.Esistono numerose soluzioni in ambito DRM, poche delle quali hanno raggiunto un Esistono numerose soluzioni in ambito DRM, poche delle quali hanno raggiunto un grado di maturazione tale da poter ergersi a standard (vedi microsoft drm), ed il grado di maturazione tale da poter ergersi a standard (vedi microsoft drm), ed il tema è ancora fortemente “caldo” dal punto di vista della ricerca. tema è ancora fortemente “caldo” dal punto di vista della ricerca. Il campo olisticamente (crittografia, watermarking, autenticazione intelligente etc.) Il campo olisticamente (crittografia, watermarking, autenticazione intelligente etc.) è talmente vasto che meriterebbe un seminario a parte !è talmente vasto che meriterebbe un seminario a parte !

In ogni caso bisogna rimarcare che nessun sistema MAM che faccia distribuzione o In ogni caso bisogna rimarcare che nessun sistema MAM che faccia distribuzione o semplicemente gestione può fare a meno oggi dei concetti di security.semplicemente gestione può fare a meno oggi dei concetti di security.



Protection

Attualmente i sistemi di DRM proposti sono costituiti da tre tipi di sottosistemi:Attualmente i sistemi di DRM proposti sono costituiti da tre tipi di sottosistemi:

Packager

Controller

License Server

Assemblano contenuti e metadati in un unico oggetto fruibile

Utenticano l’ identità del richiedente, iniziano la transazione, decrittano il contenuto e permettono la fruizione (tipicamente risiedono sul client)

I sistemi più moderni prevedono i License server che creano dei ticket virtuali (vouchers) che descrivono il contenuto e l’ identità di chi è autorizzato a fruirne



Protection

Packager

Controller

License Server

MA

M S

yste

m

Use

r Age

nt

In alcune soluzioni, il packaging viene effettuato in due steps una parte fissa e l’ altra dipendente dall’ utenza, in particolare quando è presente un license server.



La quantità di dati audio/video digitalizzati ed immagazzinati dai content La quantità di dati audio/video digitalizzati ed immagazzinati dai content providers o semplicemente da attori non profit cresce con una velocità tale da providers o semplicemente da attori non profit cresce con una velocità tale da rendere velocemente obsoleti i sistemi di content management esistenti. Le rendere velocemente obsoleti i sistemi di content management esistenti. Le architetture MAM si propongono come soluzione, a volte molto complessa e architetture MAM si propongono come soluzione, a volte molto complessa e di impatto non semplice sui processi aziendali dei content providers. La sfida di impatto non semplice sui processi aziendali dei content providers. La sfida è nell’ automazione della fase di ingestion per quanto possibile, e nella è nell’ automazione della fase di ingestion per quanto possibile, e nella semplificazione dell’ accesso per l’ utilizzatore sia interno sia finale.semplificazione dell’ accesso per l’ utilizzatore sia interno sia finale.Il DRM è una tecnologia ancora poco matura e limita finora gli investimenti Il DRM è una tecnologia ancora poco matura e limita finora gli investimenti nel settore, anche se molto bolle in pentola ed ormai alcune delle aziende che nel settore, anche se molto bolle in pentola ed ormai alcune delle aziende che commercializzano contenuti digitali grazie a politiche di prezzi molto commercializzano contenuti digitali grazie a politiche di prezzi molto contenuti ed una proprietarizzazione dei formati (vedi caso Apple) contenuti ed una proprietarizzazione dei formati (vedi caso Apple) cominciano a diventare profittabili……cominciano a diventare profittabili……



…………and That’s All, and That’s All, FolksFolks

Dott. Ing. Saverio De VitoDott. Ing. Saverio De VitoUTS Materiali e nuove TecnologieEnea – C.R. [email protected]://wwwmat.casaccia.enea.it

X info sulle reference e per approfondimenti :X info sulle reference e per approfondimenti :

seminario su multimedia assets management - eneagrid fileuts materiali e nuove tecnologie enea –...

Documents