sumáriojauvane/smm/2002/mpeg7.pdf · • parte 5 - multimedia description schemes: – descritores...
Post on 04-Oct-2020
3 Views
Preview:
TRANSCRIPT
1
Prof.: Prof.: Jauvane Jauvane C. de OliveiraC. de OliveiraAluno: ErmAluno: Ermíírio de Siqueira Coutinhorio de Siqueira Coutinho
Rio de Janeiro, 27 de novembro de 2002Rio de Janeiro, 27 de novembro de 2002
7
SumSumááriorio•• IntroduIntroduçãçãoo•• Outras iniciativasOutras iniciativas•• DiferenDiferençças no MPEGas no MPEG--77•• DefiniDefiniçõçõeses•• Componentes da especificaComponentes da especificaçãção MPEGo MPEG--77•• Ferramentas prFerramentas préé--definidas de descridefinidas de descriçãçãoo•• ExemploExemplo
2
IntroduIntroduçãçãoo
•• MPEGMPEG--7: [1]7: [1]–– Multimedia Content Description Multimedia Content Description InterfaceInterface–– ISO/IEC 15938 / JTC 1 / SC 29 / WG 11ISO/IEC 15938 / JTC 1 / SC 29 / WG 11
•• Moving Pictures Expert GroupMoving Pictures Expert Group•• International Standards OrganizationInternational Standards Organization•• International Electrotechnical CommissionInternational Electrotechnical Commission•• Joint Technical Commitee Joint Technical Commitee 11•• SubSub--commitee commitee 2929•• Working group Working group 1111
Outras iniciativasOutras iniciativas
•• IBM QBIC:IBM QBIC: Query By Image Content Query By Image Content [2][2]–– DisponDisponíível vel DB2DB2 Image ExtendersImage Extenders: :
•• CritCritéérios de busca: exemplos de cores e texturasrios de busca: exemplos de cores e texturas•• Usado pelo Usado pelo http://www.hermitagemuseum.org/http://www.hermitagemuseum.org/
(Museu de artes em(Museu de artes em St PetersburgSt Petersburg –– RRúússia)ssia)
•• MIT MIT PhotobookPhotobook (1994) [3](1994) [3]–– GratuitoGratuito–– Possui ferramenta de aprendizado para Possui ferramenta de aprendizado para
consultas posteriores:consultas posteriores: FourEyesFourEyes
3
PhotobookPhotobook –– FourEyesFourEyes (MIT)(MIT)
Outras iniciativasOutras iniciativas
•• MIT MediaMIT Media StreamsStreams & & Stratification Stratification [4][4]–– Desenvolvido entre 1991 e 1997Desenvolvido entre 1991 e 1997–– VocabulVocabuláário com mais de 6000 rio com mais de 6000 ííconescones–– Os Os íícones podem ser combinados para criar cones podem ser combinados para criar
caracteres, objetos e padrcaracteres, objetos e padrõõeses–– CriaCria--se uma gramse uma gramáática que permite intica que permite inúúmeras meras
combinacombinaçõções, permitindo incluires, permitindo incluir--se significadosse significados
4
No que MPEGNo que MPEG--7 difere ?7 difere ?
•• Principal diferenPrincipal diferençça entre MPEGa entre MPEG--7 e outros 7 e outros padrpadrõões de es de metadadosmetadados::–– Procura ser genProcura ser genééricorico–– NNãão esto estáá voltado para uma aplicavoltado para uma aplicaçãção ou o ou
domdomíínio de aplicanio de aplicaçãção especo especííficosficos–– Suporta diversos nSuporta diversos nííveis de abstraveis de abstraçãção: desde a o: desde a
descridescriçãção de caractero de caracteríísticas do sinal atsticas do sinal atééinformainformaçõções semes semâânticasnticas
No que MPEGNo que MPEG--7 difere ?7 difere ?
•• Possibilidade de adaptaPossibilidade de adaptaçãção o àà evoluevoluçãção das o das ttéécnicas envolvidas com som e imagem:cnicas envolvidas com som e imagem:–– MPEGMPEG--7 fixa apenas o formato para descri7 fixa apenas o formato para descriçãção o
de contede conteúúdo, independente das tdo, independente das téécnicas de cnicas de extraextraçãção utilizadas, pois o utilizadas, pois éé o mo míínimo necessnimo necessáário rio para garantir interoperabilidadepara garantir interoperabilidade
–– Algoritmos de extraAlgoritmos de extraçãção no nãão fazem parte do o fazem parte do padrpadrããoo
5
IntroduIntroduçãçãoo
•• Existe um subconjunto de descritores para cada Existe um subconjunto de descritores para cada aplicaaplicaçãção, domo, domíínio de aplicanio de aplicaçãção e contexto de usoo e contexto de uso
•• NNãão ho háá apenas uma apenas uma úúnica descrinica descriçãção corretao correta•• Permite a geraPermite a geraçãção de descrio de descriçãção durante a captura o durante a captura
(real(real--timetime environmentenvironment))•• Dificuldades na extraDificuldades na extraçãção automo automáática:tica:
–– Quanto maior o nQuanto maior o níível de abstravel de abstraçãção, maior a necessidade o, maior a necessidade de intervende intervençãção humanao humana
DefiniDefiniçõçõeses
•• Dado Dado (data):(data): informainformaçãção multimo multimíídia dia descrita usando MPEGdescrita usando MPEG--7, independente de 7, independente de armazenamento, codificaarmazenamento, codificaçãção, apresentao, apresentaçãção, o, transmisstransmissãão, meio ou tecnologia [5]o, meio ou tecnologia [5]
•• CaracterCaracteríística stica ((featurefeature)): caracter: caracteríística do stica do dado que significa algo para algudado que significa algo para alguéém [5]m [5]
6
Conceitos bConceitos báásicossicos
•• Descritor Descritor ((DescriptorDescriptor)): define a sintaxe e a : define a sintaxe e a semsemâântica da representantica da representaçãção da caractero da caracteríísticastica
•• Esquema de descriEsquema de descriçãção o ((Description SchemeDescription Scheme)): : estrutura e semestrutura e semâântica dos relacionamentos entre ntica dos relacionamentos entre componentes (que podem ser descritores ou componentes (que podem ser descritores ou esquemas de descriesquemas de descriçõções)es)
•• DescriDescriçãção o ((DescriptionDescription)): consiste de:: consiste de:–– um esquema de descrium esquema de descriçãção (estrutura)o (estrutura)–– Valores do descritor (instValores do descritor (instââncias) que descrevem o dadoncias) que descrevem o dado
Conceitos bConceitos báásicossicos
•• DDL DDL –– Description Definition LanguageDescription Definition Language::–– linguagem para a crialinguagem para a criaçãção de descritores e esquemas de descritoreso de descritores e esquemas de descritores–– Permite a extensPermite a extensãão e modificao e modificaçãção de esquemas de descritores o de esquemas de descritores
existentesexistentes
•• Ferramentas do Sistema Ferramentas do Sistema ((System ToolsSystem Tools)): dar suporte a:: dar suporte a:–– MultiplexaMultiplexaçãção o de descritoresde descritores–– SincronizaSincronizaçãção de descritores com o conteo de descritores com o conteúúdodo–– Mecanismos de envio Mecanismos de envio ((deliverydelivery))–– CodificaCodificaçãção de representao de representaçõções para armazenamento e transmisses para armazenamento e transmissããoo–– Gerenciamento de proteGerenciamento de proteçãção de direitos autoraiso de direitos autorais
7
Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77
•• Parte 1 Parte 1 -- MPEGMPEG--7 7 SystemsSystems::–– especifica as ferramentas do sistemaespecifica as ferramentas do sistema
•• Parte 2 Parte 2 -- DDL:DDL:–– Especifica a DDL (Especifica a DDL (Description Definition LanguageDescription Definition Language))
•• Parte 3 Parte 3 -- Visual:Visual:–– Especifica as ferramentas de descriEspecifica as ferramentas de descriçãção de imagenso de imagens
•• Parte 4 Parte 4 -- AudioAudio::–– Especifica as ferramentas de descriEspecifica as ferramentas de descriçãção de o de audioaudio
Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77
•• Parte 5 Parte 5 -- Multimedia Description SchemesMultimedia Description Schemes::–– Descritores e esquemas de descriDescritores e esquemas de descriçãção que no que nãão so sãão o
especespecííficos para ficos para ááudio ou vudio ou víídeodeo
•• Parte 6 Parte 6 -- ReferenceReference software:software:–– ÉÉ uma implementauma implementaçãção de software dos componentes da o de software dos componentes da
especificaespecificaçãção MPEGo MPEG--77–– Normativo no que diz respeito Normativo no que diz respeito àà codificacodificaçãção:o:
•• Todas as implementaTodas as implementaçõções, compates, compatííveis com MPEGveis com MPEG--7, devem 7, devem produzir os mesmos resultados de decodificaproduzir os mesmos resultados de decodificaçãção que o o que o software de refersoftware de referêênciancia
8
Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77
•• Parte 7 Parte 7 -- ConformanceConformance::–– Especifica as diretrizes e procedimentos para Especifica as diretrizes e procedimentos para
certificar a compatibilidade de descricertificar a compatibilidade de descriçõções e es e ferramentas com o padrferramentas com o padrããoo
•• Parte 8 Parte 8 -- Extraction and Extraction and use of use of descriptionsdescriptions::–– ProvProvêê informainformaçõções sobre a extraes sobre a extraçãção e uso de o e uso de
algumas ferramentas de descrialgumas ferramentas de descriçãçãoo
Ferramentas Ferramentas prpréé--definidas de descridefinidas de descriçãçãoo
•• Formadas pelo conjunto de Descritores e Esquemas de Formadas pelo conjunto de Descritores e Esquemas de DescriDescriçõções juntos:es juntos:
9
Basic ElementsBasic Elements // Schema ToolsSchema Tools
Basic Elements Basic Elements / / Schema ToolsSchema Tools
•• Elementos bElementos báásicos sicos –– SSãão as entidades bo as entidades báásicas usadas como sicas usadas como building building
blocksblocks por vpor váárias ferramentas de descririas ferramentas de descriçãçãoo•• Ferramentas do esquema:Ferramentas do esquema:
–– SSãão usadas para empacotar ferramentas de o usadas para empacotar ferramentas de descridescriçãção para uso por aplicativoso para uso por aplicativos
–– Inclui ferramentas de empacotamento para Inclui ferramentas de empacotamento para agrupamento de ferramentas de descriagrupamento de ferramentas de descriçãção em o em gruposgrupos
10
Content Description ToolsContent Description Tools
Content Description ToolsContent Description Tools
•• Representam a informaRepresentam a informaçãção propriamente dita o propriamente dita (percept(perceptíível)vel)
•• Ferramentas de descriFerramentas de descriçãção estrutural:o estrutural:–– permitempermitem--nos descrever o contenos descrever o conteúúdo:do:
•• em termos de segmentos espaem termos de segmentos espaççoo--temporaistemporais•• organizados numa estrutura hierorganizados numa estrutura hieráárquicarquica
–– MPEGMPEG--7 Visual 7 Visual description toolsdescription tools–– MPEGMPEG--7 7 Audio description toolsAudio description tools–– MPEGMPEG--7 7 Semantic description toolsSemantic description tools
11
Content Management ToolsContent Management Tools
Content Management ToolsContent Management Tools•• Ferramentas de descriFerramentas de descriçãção de mo de míídias:dias:
–– MMíídia de armazenamentodia de armazenamento–– Formato de codificaFormato de codificaçãçãoo–– Qualidade Qualidade –– Dicas Dicas ((hintshints) ) de de transcodificatranscodificaçãçãoo
•• Ferramentas de descriFerramentas de descriçãção de criao de criaçãção:o:–– Processos de criaProcessos de criaçãção (agentes, materiais, lugares, datas)o (agentes, materiais, lugares, datas)–– ClassificaClassificaçãção (linguagem, go (linguagem, gêênero)nero)–– Materiais relacionadosMateriais relacionados
•• Ferramentas de descriFerramentas de descriçãção de uso:o de uso:–– CondiCondiçõções de uso (direitos e disponibilidade)es de uso (direitos e disponibilidade)–– HistHistóórico (resultados financeiros e audirico (resultados financeiros e audiêência)ncia)
12
Content Organization Tools Content Organization Tools / / Navigation and Navigation and Access Access ToolsTools
•• Permite criar e modelar colePermite criar e modelar coleçõções de contees de conteúúdos multimdos multimíídia dia e descrie descriçõçõeses
Navigation andNavigation and AccessAccess ToolsTools•• Ferramentas de descriFerramentas de descriçãção de sumo de sumáário rio
((summarysummary):):–– NavegaNavegaçãção hiero hieráárquica e seqrquica e seqüüencialencial–– PreviewsPreviews
•• Ferramentas de descriFerramentas de descriçãção de partio de partiçãção e o e decomposidecomposiçãção:o:–– Permite acesso progressivo (tempo e espaPermite acesso progressivo (tempo e espaçço)o)–– Diversas resoluDiversas resoluçõçõeses
•• Ferramentas para descriFerramentas para descriçãção de variao de variaçõçõeses
13
User Interaction ToolsUser Interaction Tools
•• PreferPreferêências e histncias e históórico do usurico do usuááriorio
DDL DDL -- Description Definition Description Definition LanguageLanguage
•• Permite representar e estender descritores, Permite representar e estender descritores, descridescriçõções e esquemas de descries e esquemas de descriçõçõeses
•• Adiciona extensAdiciona extensõões ao XML es ao XML Schema Schema (#) (#) especespecííficas para MPEGficas para MPEG--7 como suporte a:7 como suporte a:–– Vetores (*)Vetores (*)–– Matrizes (*)Matrizes (*)–– ReferReferêências ncias tipadas tipadas ((typed referencestyped references))
(*) implementado como lista de elementos(*) implementado como lista de elementos(#) ver www.w3schools.com(#) ver www.w3schools.com
14
MPEGMPEG--7 7 Elementary StreamsElementary Streams
•• Unidades de acesso Unidades de acesso (Access (Access UnitsUnits))::–– PorPorçõções individuais de dados, acesses individuais de dados, acessííveis veis
individualmenteindividualmente–– VVáárias unidades de acesso consecutivas formam rias unidades de acesso consecutivas formam
umum MPEGMPEG--7 7 elementary streamselementary streams•• DescriDescriçõções podem ser representadas:es podem ser representadas:
–– Formato de textoFormato de texto–– Formato binFormato bináário (rio (BiM BiM –– Binary Format Binary Format for for
MPEGMPEG--7 data)7 data)
MPEG MPEG -- 77
•• ArquivoArquivo–– Elemento raiz: <Mpeg7>Elemento raiz: <Mpeg7>–– Description Metadata HeaderDescription Metadata Header:: metadadosmetadados sobre a sobre a
descridescriçãção: <o: <DescriptionMetadataDescriptionMetadata>>
•• Dois tipos vDois tipos váálidos diferentes:lidos diferentes:–– Unidades de descriUnidades de descriçãção <o <DescriptionUnitDescriptionUnit>>
•• Permite que se envie apenas parte de toda a descriPermite que se envie apenas parte de toda a descriçãção, quando o, quando a aplicaa aplicaçãção fizer uma requisio fizer uma requisiçãção especo especííficafica
–– DescriDescriçõções completas <es completas <DescriptionDescription>>
15
MPEG MPEG -- 77
•• Elementos de Alto NElementos de Alto Níível [6]:vel [6]:–– Organizados em 3 grupos:Organizados em 3 grupos:
•• Content ManagementContent Management•• Content Entity Content Entity (*)(*)•• Content Abstraction Content Abstraction (*)(*)
(*) (*) Content DescriptionContent Description
Content ManagementContent Management
•• Lida com informaLida com informaçõções relacionadas ao es relacionadas ao conteconteúúdo, mas independente do que este do, mas independente do que este vem a ser:vem a ser:–– User descriptionUser description–– Media Media descriptiondescription–– Creation descriptionCreation description–– Usage DescriptionUsage Description–– Classification Scheme DescriptionClassification Scheme Description
16
Content EntityContent Entity
•• Multimedia contentMultimedia content::–– Image Image (Still (Still RegionRegion))–– Video Video ((segmentsegment))–– AudioAudio ((segmentsegment))–– AudioAudio--visual visual ((segmentsegment))–– Multimedia ContentMultimedia Content–– Multimedia CollectionMultimedia Collection–– SignalSignal–– Ink Content Ink Content (*)(*)–– Analytic Edited VideoAnalytic Edited Video
Multimedia contentMultimedia content
–– VideoVideo ((segmentsegment))•• Video Description ToolsVideo Description Tools: ISO/IEC 15938: ISO/IEC 15938--3: permite 3: permite
verificar similaridades em imagens e vverificar similaridades em imagens e víídeosdeos
–– AudioAudio ((segmentsegment))•• Audio Descritption ToolsAudio Descritption Tools: ISO/IEC 15938: ISO/IEC 15938--4: busca 4: busca
e filtragem de e filtragem de ááudioudio
17
Content AbstractionContent Abstraction
•• Semantic DescriptionSemantic Description•• Model DescriptionModel Description•• Summary DescriptionSummary Description•• View DescriptionView Description•• Variation DescriptionVariation Description
Semantic DescriptionSemantic Description
18
Descrevendo propriedades Descrevendo propriedades multimmultimíídiadia
•• Duas opDuas opçõções:es:–– Descrever como um todoDescrever como um todo–– Descrever as partesDescrever as partes
•• InovaInovaçãção com MPEGo com MPEG--7:7:–– DescriDescriçõções segmentadas por espaes segmentadas por espaçço e tempoo e tempo–– Diferentes nDiferentes nííveis de detalheveis de detalhe
Diferentes nDiferentes nííveis de detalheveis de detalhe
19
DescriDescriçõções segmentadas por es segmentadas por espaespaçço e tempoo e tempo
Amarelo: regiAmarelo: regiãão mo móóvelvelVerde: regiVerde: regiãão paradao parada
<Mpeg7<Mpeg7 xmlnsxmlns==httphttp://www.mpeg7.://www.mpeg7.orgorg/2001/MPEG/2001/MPEG--7_7_SchemaSchema xmlxml::langlang==““enen””typetype==““completecomplete””>>
<<ContentDescription xsiContentDescription xsi::typetype==““ContentEntityTypeContentEntityType””>><<MultimediaContentMultimediaContent xsixsi::typetype==““ImageTypeImageType””>><<ImageImage>>
<<MediaLocatorMediaLocator>><<MediaUriMediaUri>>httphttp://www.ermirio.com.://www.ermirio.com.brbr/dunas./dunas.jpgjpg</</MediaUriMediaUri>>
</</MediaLocatorMediaLocator>><<CreationInformationCreationInformation>>
<<CreationCreation>>(...)(...)</</CreationCreation>>
</</CreationInformationCreationInformation>></</ImageImage>></</MultimediaContentMultimediaContent>></</ContentDescriptionContentDescription>></Mpeg7></Mpeg7>
20
Aplicativos [7]Aplicativos [7]
•• Ricoh MovieToolRicoh MovieTool::–– http://www.ricoh.co.jp/src/multimedia/MovieTool/http://www.ricoh.co.jp/src/multimedia/MovieTool/
•• CanonCanon::–– Permite criar um arquivo de descriPermite criar um arquivo de descriçãção MPEGo MPEG--77 AudioAudio
““SpokenContentSpokenContent”” a partir de um a partir de um ““..wavwav””–– Baseado na tecnologia de reconhecimento de fala desenvolvida pelBaseado na tecnologia de reconhecimento de fala desenvolvida pelaa
CanonCanon–– http://www.cre.canon.co.uk/mpeg7asrhttp://www.cre.canon.co.uk/mpeg7asr
•• Interface grInterface grááfica para fica para MPEGMPEG--77 Audio Low Level Audio Low Level DescriptorsDescriptors::–– SiteSite que gera descritores MPEGque gera descritores MPEG--7 para um arquivo de 7 para um arquivo de ááudio (.udio (.wavwav, ,
.mp3) enviado.mp3) enviado–– httphttp://www.://www.whisperwhisper..elecelec..uowuow..eduedu..auau/mpeg7/mpeg7
AplicativosAplicativos
•• Exemplo:Exemplo:
•• IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool -- July 19, 2002July 19, 2002–– httphttp://www.://www.alphaworksalphaworks.ibm.com/.ibm.com/techtech//videoannexvideoannex–– WinWin NT XP 9*NT XP 9*
21
IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool
IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool
22
IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool
ConclusConclusããoo
•• MPEGMPEG--7 visa padronizar a maneira de se 7 visa padronizar a maneira de se descrever contedescrever conteúúdo multimdo multimíídiadia
•• Ferramentas poderFerramentas poderãão ser modificadas para o ser modificadas para suportar o padrsuportar o padrããoo
•• Essencial para a criaEssencial para a criaçãção de uma o de uma web web semsemâânticantica
23
ReferReferêênciasncias
[1] [1] LindsayLindsay, A. , A. –– MPEGMPEG--7:7:PuttingPutting itit all togetherall together –– ACMACMMultimediaMultimedia -- SepSep 2001.2001.
[2] QBIC: [2] QBIC: httphttp://://wwwqbicwwwqbic..almadenalmaden.ibm.com.ibm.com[3][3] PhotobookPhotobook: : httphttp://://webweb.media.mit..media.mit.eduedu/~/~tpminkatpminka//photobookphotobook[4] MIT Media[4] MIT Media StreamsStreams && StratificationStratification: :
httphttp://://acgacg.media.mit..media.mit.eduedu//peoplepeople//golangolan//mediastreamsmediastreams[5] [5] MartMartííneznez, J. , J. et et al al –– MPEGMPEG--7 7 The generic multimedia The generic multimedia
content description content description standard standard –– IEEE IEEE Multimedia Multimedia ––AprApr/Jun 2002 pg 78/Jun 2002 pg 78--8787
[6] [6] MartMartííneznez, J., J. etet al al –– OverviewOverview of MPEGof MPEG--7 7 Description Description ToolsTools –– IEEEIEEE MultimediaMultimedia –– Jul/Jul/SepSep 2002 pg 832002 pg 83--9393
[7] MPEG[7] MPEG--7:7: httphttp://www.://www.mpegmpeg--industryindustry.com/.com/
top related