new methodologies towards an automatic optical recognition...

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Remocao das linhasde pauta

Segmentacao

Processo desegmentacao

Resultados

Classificacao

Rede Neuronal

Vizinho mais proximo

Modelacao elastica

Resultados

Conclusao

New methodologies towards an automaticoptical recognition of handwritten music

scores

Ana Maria Rebelo

Projecto de final de curso para obtencao do grau de Mestrepela FCUP em Engenharia Matematica com a colaboracao do INESC Porto

Prof. Dr. Jaime S. Cardoso (INESC Porto, FEUP)Prof. Dr. Joaquim F. Pinto da Costa (FCUP, DMA)

Outubro 2008

1 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo

1 IntroducaoProcesso do OMRObjectivos

2 Deteccao das linhas de pautaCaminhos EstaveisTestesRemocao das linhas de pauta

3 Segmentacao dos sımbolos musicaisProcesso de segmentacaoResultados

4 Classificacao dos sımbolos musicaisModelos de Markov EscondidosRede NeuronalMaquinas de vectores de suporteVizinho mais proximoModelacao elasticaResultados

5 Conclusao

2 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Motivacao.

• Musica: presente em todas as civilizacoes e na cultura de qualquersociedade.

• Portugal: nao existe nenhum repositorio de informacao musical.

• Risco de perda irreversıvel da heranca musical portuguesa.

• Digitalizacao como uma possıvel ferramenta para essapreservacao.

• O estado actual da arte apresenta diversos problemas em aberto.

3 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Motivacao.

3 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Motivacao.

3 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Motivacao.

3 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Motivacao.

3 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Arquitectura generica do sistema.

• Repositorio: onde sao armazenadas as partituras impressas, o respectivocodigo em MusicXML, e os dados descritivos inseridos pelo utilizador.

• Web Server: ponto de acesso do sistema, contem os motores depesquisa e de reconhecimento optico.

• Web Browser: interface entre o utilizador e o sistema.

4 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Processo do OMR.

5 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Objectivos da dissertacao.

Deteccao das linhas de pauta:

• Propor, desenvolver e testar exaustivamente um algoritmo para detectaras linhas de pauta usando uma base de dados e metricas de erroapropriadas comparando com outros do estado da arte.

• Criar uma nova base de dados aplicando distorcoes as partituras ideais.

• Usar o algoritmo proposto como primeiro passo de alguns algoritmos deremocao de linhas.

Segmentacao e classificacao dos sımbolos musicais:

• Pesquisar e desenvolver um algoritmo para extrair os sımbolos musicais.

• Simular variabilidade nos sımbolos musicais com modelacao elastica.

• Combinar o metodo de modelacao elastica com outros classificadores:estudo comparativo.

6 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Objectivos da dissertacao.

Deteccao das linhas de pauta:

• Propor, desenvolver e testar exaustivamente um algoritmo para detectaras linhas de pauta usando uma base de dados e metricas de erroapropriadas comparando com outros do estado da arte.

• Criar uma nova base de dados aplicando distorcoes as partituras ideais.

• Usar o algoritmo proposto como primeiro passo de alguns algoritmos deremocao de linhas.

Segmentacao e classificacao dos sımbolos musicais:

• Pesquisar e desenvolver um algoritmo para extrair os sımbolos musicais.

• Simular variabilidade nos sımbolos musicais com modelacao elastica.

• Combinar o metodo de modelacao elastica com outros classificadores:estudo comparativo.

6 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Esboco do algoritmo.

(a) Sımbolos musicais com as li-nhas de pauta inclinadas.

(b) Os 11 primeiros caminhosmais curtos entre a margem es-querda e a margem direita.

7 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Caminhos Estaveis num grafo I.

Definicao

Um caminho Ps,t e um caminho estavel entre as regioes Ω1 e Ω2 se Ps,t e ocaminho mais curto entre s ∈ Ω1 se toda a regiao Ω2, e Ps,t e o caminhomais curto entre t ∈ Ω2 e toda a regiao Ω1.

8 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Caminhos Estaveis num grafo I.

Definicao

Um caminho Ps,t e um caminho estavel entre as regioes Ω1 e Ω2 se Ps,t e ocaminho mais curto entre s ∈ Ω1 se toda a regiao Ω2, e Ps,t e o caminhomais curto entre t ∈ Ω2 e toda a regiao Ω1.

8 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Caminhos Estaveis num grafo II.

(c) Caminhos Estaveis entre cadapixel da coluna da esquerda e todaa coluna da direita.

(d) Caminhos Estaveis entre cadapixel da coluna da direita e toda acoluna da esquerda.

9 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Algoritmo proposto

1 Pre-processamento: calculo das medidas de referenciastaffspaceheight e stafflineheight e atribuicao dos pesos aografo.

2 Calculo sucessivo dos caminhos estaveis entre as margens

esquerda e direita; criterios de paragem:

• Se um caminho nao tiver uma % de pixeis pretos acima deum limite fixo, entao e eliminado (80% do valor mediano dospretos de todas as linhas encontradas na primeira iteracao).

• Se a forma de um caminho difere muito da forma da linhacom a mediana de pixeis pretos e eliminado.

3 Pos-processamento: remocao de interseccoes, agrupar as linhasem conjuntos/sistemas de linhas, remover linhas falsas, cortar aslinhas no inıcio e fim, e suavizar as linhas.

10 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Algoritmo proposto

10 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Algoritmo proposto

10 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Funcao de peso

• Atribuir custo baixo a pixeis pretos adjacentes; caso contrario atribuir a aresta valor elevado.

• Distinguir pixeis pretos de linhas de pauta de pixeis pretos de sımbolos musicais:

• Se um pixel preto pertencer a uma sequencia vertical curta de pixeis pretos, entao emais provavel que pertenca a uma linha de pauta em vez de um sımbolo musical: incluirna funcao de peso um termo que beneficia essas arestas.

• Se a sequencia vertical de pixeis pretos mais proxima na mesma coluna forexcessivamente afastada da sequencia vertical de pixeis pretos contendo o pixel pretoactual, entao este pixel muito provavelmente pertence a um sımbolo e nao a uma linha:termo penalizante e incorporado na funcao de peso.

11 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Funcao de peso

11 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Funcao de peso

11 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Base de dados Reais – 50 pautas.

12 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Base de dados Sinteticas – 32 pautas.

13 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Deformacoes nas partituras sinteticas.

(e) Original. (f) Curvatura. (g) Kanungo.

(h) Variacao da es-

pessura da linha.

(i) Variacao y da li-

(j) Typeset emulation.

(k) Rotacao. (l) White Speckles. (m) Interrupcoes

da linha.

14 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados I – taxa de erro media (desvio padrao) em %.

rotacao

Angulo -2.5 2.5 5 Runtime

o Stable path 0.7 (3.5); 0.7 (3.5) 0.7 (3.5); 0.7 (3.5) 1.2 (4.0); 1.2 (4.0) 858 seg.Sortest Path 0.7 (3.5); 0.7 (3.5) 0.7 (3.5); 0.7 (3.5) 1.2 (4.0); 1.2 (4.0) 6006 seg.

Dalitz 8.6 (14.0); 15.5 (28.7) 4.2 (19.6); 9.8 (29.0) 5.5 (9.3); 37.5 (41.9) 612 seg.white speckle

Razao dos pixeis brancos 0.07 0.09 0.11 Runtime

Dalitz 26.7 (25.3); 29.9 (27.2) 89.3 (54.6); 86.9 (25.6) 54.5 (55.9); 95.2 (17.0) 872 seg.line y-variation

Desvio maximo, n 4 5 6 Runtime

Dalitz 15.7 (27.2); 33.7 (45.0) 13.0 (20.1); 33.7 (45.0) 12.8 (18.6); 34.2 (44.7) 768 seg.typeset emulation I

Largura do espassamento, ngap 7 10 13 Runtime

Dalitz 22.3 (30.0); 17.4 (19.0) 24.2 (38.9); 16.7 (22.0) 31.4 (42.3); 19.2 (20.3) 703 seg.

15 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados II – taxa de erro media (desvio padrao) em %.

Razao dos falsos positivos Razao dos falsos negativos Runtime

Dalitz 5.2% (10.4) 5.9% (11.3) 112 seg.Shortest path 1.4% (3.5) 2.5% (7.3) 612 seg.Stable path 1.3% (5.7) 1.4% (6.4) 115 seg.

16 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Remocao das linhas de pauta.

Algoritmos de remocao :

• LineTrack Height: as linhas detectadas sao percorridas e eliminadas quando um sequenciavertical de pixeis pretos e inferior a 2xstafflineheight.

• LineTrack Chord: remocao de linhas atraves dos picos dos angulos dos comprimentos dosacordes; dois angulos distintos dependendo se os pixeis pertencem a linhas de pauta ou asımbolos musicais.

• Roach/Tatem: transformacao da imagem original num campo de vectores atraves do angulo edo acorde maior para cada pixel preto; pixeis das linhas de pauta tem um comprimento deacorde elevado e um angulo zero.

• Skeleton: recorre aos pontos de ramificacao e de canto, aos angulos, a espessura do segmento edo desvio medio quadratico a partir dos mınimos quadrados da melhor linha obtida.

Metricas de erro: pixeis, regioes segmentos de pauta e localizacao de interrupcoes de pauta

17 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados I – taxa de erro media (desvio padrao) em %.

rotacao

Angulo -5 -2.5 0 2.5 5Stable path + LTH 1.7 (0.7) 1.5 (0.7) 1.4 (0.7) 1.4 (0.7) 1.6 (0.7)

Dalitz + LTH 19.4 (18.4) 5.2 (8.7) 1.4 (0.8) 4.4 (8.8) 17.5 (18.9)Skeleton 1.9 (0.9) 1.7 (0.8) 1.5 (0.7) 1.6 (0.7) 1.7 (0.8)

curvaturaAmplitude 0.02 0.04 0.06 0.08 0.10

Stable path + LTH 1.4 (0.7) 1.4 (0.7) 1.4 (0.7) 1.5 (0.7) 1.6 (0.7)Dalitz + LTH 3.8 (5.8) 14.0 (12.2) 22.8 (13.7) 31.1 (11.0) 35.0 (10.6)

Skeleton 2.6 (2.4) 5.2 (5.1) 8.1 (7.2) 11.9 (8.6) 15.4 (10.4)white speckle

Razao dos pixeis brancos 0.03 0.05 0.07 0.09 0.11Stable path + LTH 11.9 (3.1) 17.2 (4.9) 21.1 (5.9) 24.0 (6.7) 26.1 (7.2)

line y-variationDesvio maximo, n 2 3 4 5 6Stable path + LTH 1.2 (0.7) 1.3 (0.7) 1.3 (0.6) 1.4 (0.6) 1.4 (0.6)

typeset emulation ILargura do espassamento, ngap 1 4 7 10 13

Stable path + LTH 1.4 (0.7) 1.4 (0.7) 1.4 (0.7) 1.4 (0.7) 1.4 (0.7)Dalitz + LTH 2.6 (1.8) 2.9 (2.0) 3.2 (1.7) 2.9 (1.7) 3.0 (1.8)

Skeleton 26.4 (9.8) 27.3 (10.1) 27.2 (11.3) 25.5 (9.8) 26.4 (10.3)typeset emulation II

Deslocamento max. vert., nshift 1 4 7 10 13Stable path + LTH 1.4 (0.7) 1.4 (0.7) 1.4 (0.7) 1.5 (0.7) 1.6 (0.7)

18 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados II – taxa de erro media (desvio padrao) em %.

Taxa de erro Stable path + LTH Dalitz + LTH Skeleton

Pixeis 2.8 (1.2) 3.8 (2.6) 6.5 (8.2)

Segmentacao 0.3 (0.1) 0.3 (0.1) 0.3 (0.1)

Interrupcao das linhas 0.3 (0.1) 0.3 (0.1) 0.3 (0.1)

19 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados III.

20 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Sımbolos musicais.

1 Os sımbolos que estao caracterizados por um segmento vertical comaltura superior a um dado limite – por exemplo, notas “fechadas” (e.g.

semınimas – ), notas com colchete (e.g. colcheias – ( ) e notas“abertas” (e.g. mınimas ).

2 Os sımbolos que ligam as notas – (e.g. ligaduras entre colchetes ====

3 Os restantes sımbolos ligados as linhas de pauta – claves, pausas, (e.g.

@ ), acidentes ([, ], \) e metrica (e.g. R ).

4 Os sımbolos acima e abaixo das linhas de pauta – notas, ligaduras (e.g.a) e acentos (e.g. >).

21 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Processo de segmentacao.

22 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Deteccao das ligaduras entre colchetes.

23 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Deteccao das notas fechadas, notas abertas e colchetes.

24 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Deteccao de acidentes, pausas, acentos e indicacao de

compasso.

25 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Deteccao de claves, ligaduras de duracao e ligaduras de

expressao.

26 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados.

27 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Sımbolos musicais I.

28 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Sımbolos musicais II.

• Sımbolos retirados de varias partituras.

• Redimensionar cada imagem do sımbolo para 20× 20ou 150× 30 pixeis.

• Converter para um vector de 400 valores binarios oumatriz de caracterısticas.

• Vector das classes nas redes neuronais: valor 1 na classecorrecta; 0 no caso contrario.

• Vector das classes nos outros classificadores: numerosentre 1 e 14, correspondendo a cada classe.

29 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Processo de treino e calculo do erro esperado.

• Dividir o conjunto dos dados: conjuntos de treino(75%), validacao (25%) e teste (10%).

• Validacao cruzada para obter: no de neuronios, γ e C,k, no de estados.

• Aprendizagem foi feita alterando, p.e. o no de neuroniosna camada escondida, usando o conjunto de treino.

• Avaliacao do desempenho com os dados de validacao.

• Calculo do erro esperado com a rede em que se obtevemelhor desempenho: diferenca entre os valoresesperados e os valores obtidos, usando os dados deteste.

30 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

30 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

30 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

30 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Modelos de Markov Escondidos – Exemplo.

31 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Modelos de Markov Escondidos.

λ = (A;B;π)

• A = aij: Probabilidade de transicao de um estado i para outroestado j, onde aij = P [qt+1 = Sj |qt = Si] , 1 ≤ i, j ≤ N .

• B = bj(k): O conjunto de probabilidades de observacao, ondebj(k) = P [ot = xk|qt = Sj ], 1 ≤ k ≤M , j = 1, 2, ..., N ; bj(k):Probabilidade de observar xk no estado Sj ; oj : Observacao no tempo t;qt: O estado no tempo t.

• π: Conjunto de probabilidades iniciais dos estados.

32 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Rede Neuronal.

Modelo neuronal: conjunto de ligacoes multiplicadas por um peso, uma somae uma funcao de activacao.

yk = ϕ(m∑j=1

ωkjxj + bk) (1)

onde x1,x2,. . .,xm sao as camadas de entrada, ω sao os pesos do neuronio k,bk e o vies e ϕ(.) e a funcao de activacao.

Treino• O treino de uma rede tem como finalidade ajustar os pesos para que os

valores de saıda se assemelhem com os valores pretendidos.

• Aprendizagem supervisionada com recurso ao metodo daretropropagacao do erro com a utilizacao da tecnica do gradientedescendente.

33 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Rede Neuronal.

Modelo neuronal: conjunto de ligacoes multiplicadas por um peso, uma somae uma funcao de activacao.

yk = ϕ(m∑j=1

ωkjxj + bk) (1)

onde x1,x2,. . .,xm sao as camadas de entrada, ω sao os pesos do neuronio k,bk e o vies e ϕ(.) e a funcao de activacao.

Treino• O treino de uma rede tem como finalidade ajustar os pesos para que os

valores de saıda se assemelhem com os valores pretendidos.

• Aprendizagem supervisionada com recurso ao metodo daretropropagacao do erro com a utilizacao da tecnica do gradientedescendente.

33 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Topologia da rede neuronal.

34 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Maquinas de vectores de suporte.

Tratam o problema de classificacao como um problema de optimizacaoquadratica. Esta tecnica tem como base a construcao de um hiperplano comosuperfıcie de decisao de modo a maximizar a margem de separacao entreamostras positivas e negativas.

(n) Um exemplo de duas clas-ses linearmente separaveis coma possibilidade de multiplosclassificadores lineares.

(o) Opcao da SVM: maximi-zar a margem de separacao.

35 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Formulacao do problema para classificadoreslineares.

Prob. primal para uma amostra de treino nao separavel

minw,b,ξi

2wTw + C

N∑i=1

s.a di(wT xi + b) ≥ 1− ξi i = 1, 2, ..., N

Prob. dual para uma amostra de treino nao separavel

N∑i=1

αi −1

N∑i=1

N∑j=1

αiαjdidjxTi xj

∑Ni=1 αidi = 0

0 ≤ αi ≤ C i = 1, 2, ..., N

36 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Formulacao do problema para classificadoreslineares.

Prob. primal para uma amostra de treino nao separavel

minw,b,ξi

2wTw + C

N∑i=1

s.a di(wT xi + b) ≥ 1− ξi i = 1, 2, ..., N

Prob. dual para uma amostra de treino nao separavel

N∑i=1

αi −1

N∑i=1

N∑j=1

αiαjdidjxTi xj

∑Ni=1 αidi = 0

0 ≤ αi ≤ C i = 1, 2, ..., N

36 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Multiplas classes.

Estrategia de um-contra-um: comparacao de pares entre classes.

minwij ,bij ,ξij

2(wij)Twij + C

ξijt (wij)T

(wij)Tϕ(xt) + bij ≥ 1− ξijt se xt esta na classe i-esima

(wij)Tϕ(xt) + bij ≤ −1 + ξijt se xt esta na classe j-esima

ξijt ≥ 0

Estrategia de voto: se sign((wij)Tϕ(x) + bij) colocar x na classe i-esimaentao o voto para a classe i-esima e de 1; senao a classe j-esima e aumentada1.

k(x,xi) = exp(−γ||x− xi||2), γ ≥ 0 (2)

Handwritten symbols Printed symbols

C γ C γ

With EM C = 23.5 = 11.3137 γ = 2−7 = 0.0078 C = 21.25 = 2.3784 γ = 2−5.75 = 0.0186

Without EM C = 24.5 = 22.6274 γ = 2−6 = 0.0156 C = 21.25 = 2.3784 γ = 2−5.75 = 0.0186

37 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Multiplas classes.

Estrategia de um-contra-um: comparacao de pares entre classes.

minwij ,bij ,ξij

2(wij)Twij + C

ξijt (wij)T

(wij)Tϕ(xt) + bij ≥ 1− ξijt se xt esta na classe i-esima

(wij)Tϕ(xt) + bij ≤ −1 + ξijt se xt esta na classe j-esima

ξijt ≥ 0

Estrategia de voto: se sign((wij)Tϕ(x) + bij) colocar x na classe i-esimaentao o voto para a classe i-esima e de 1; senao a classe j-esima e aumentada1.

k(x,xi) = exp(−γ||x− xi||2), γ ≥ 0 (2)

Handwritten symbols Printed symbols

C γ C γ

With EM C = 23.5 = 11.3137 γ = 2−7 = 0.0078 C = 21.25 = 2.3784 γ = 2−5.75 = 0.0186

Without EM C = 24.5 = 22.6274 γ = 2−6 = 0.0156 C = 21.25 = 2.3784 γ = 2−5.75 = 0.0186

37 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Vizinho mais proximo I.

38 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Vizinho mais proximo II.

39 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Vizinho mais proximo III.

40 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Modelacao elastica – transformacoes de deformacao.

Os modelos deformados sao obtidos aplicando transformacoes parametricas aos prototipos. Avariabilidade da forma e imposta por uma distribuicao de probabilidade.

• Imagem modelada num quadrado unitario S = [0, 1]2

• (x, y) 7→ (x, y) +D(x, y)

• O espaco das funcoes de deslocamento e extendido pelas bases ortogonais:

exmn(x, y) = (2sin(πnx)cos(πmy), 0)

eymn(x, y) = (0, 2sin(πny)cos(πmx))

• D(x, y) =∑∞m=1

∑∞n=1

ξxmnexmn+ξymneymn

λmn, onde

ξ =(ξxmn, ξ

ymn),m, n = 1, 2, . . .

sao as projeccoes da funcao de deslocamento nas

bases ortogonais.

Como D(x, y) pode representar deformacoes complexas dependendo da escolha de ξmn e de M e N ,impoe-se uma densidade de probabilidade em D(x, y)⇒ ξmn sao independentes uns dos outros,

independentes ao longo de x e y e tem uma distribuicao gaussiana com media 0 e variancia σ2:

P (ξ) =1

(2πσ2)MNexp

M∑m=1

N∑n=1

((ξmn)2

+ (ξmn)2)

41 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

• (x, y) 7→ (x, y) +D(x, y)

• D(x, y) =∑∞m=1

∑∞n=1

ξxmnexmn+ξymneymn

λmn, onde

ξ =(ξxmn, ξ

ymn),m, n = 1, 2, . . .

bases ortogonais.

P (ξ) =1

(2πσ2)MNexp

M∑m=1

N∑n=1

((ξmn)2

+ (ξmn)2)

41 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

• (x, y) 7→ (x, y) +D(x, y)

• D(x, y) =∑∞m=1

∑∞n=1

ξxmnexmn+ξymneymn

λmn, onde

ξ =(ξxmn, ξ

ymn),m, n = 1, 2, . . .

bases ortogonais.

P (ξ) =1

(2πσ2)MNexp

M∑m=1

N∑n=1

((ξmn)2

+ (ξmn)2)

41 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Modelacao elastica – exemplo.

D(x, y) =M∑m=1

N∑n=1

ξxmnexmn + ξymne

42 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados I.

14 classes; 2521 imagens sinteticas; 3222 imagens reais.

Metodo Desempenho (%) MESinteticas KNN [95.93 96.74] 7

[95.34 96.01] 3

NN [87.60 88.97] 7[77.66 82.11] 3

SVM [97.30; 98.29] 7[96.50; 97.50] 3

HMM [84.17; 86.71] 7[73.00 88.71] 3

Reais KNN [93.41 94.53] 7[92.24 93.29] 3

NN [78.85 82.88] 7[74.88 77.67] 3

SVM [94.59; 96.90] 7[93.10; 95.05] 3

HMM [76.58; 81.04] 7[70.89; 76.17] 3

43 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resultados II.

Redes Neuronais Vizinho Mais Proximo Maquinas Vectores Suporte

Com ME Sem ME Com ME Sem ME Com ME Sem ME

Bequadro \ 89.87% 83.54% 100% 100% 100% 100%

Sustenido ] 88.37% 79.07% 98.84% 96.51% 100% 98.84%

Tabela: Desempenho obtido para os sımbolos bequadro esustenido pelas matrizes de confusao dos dados de teste.

44 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

• Proposta de um novo algoritmo para a deteccao de linhas de pautabaseado nos caminhos estaveis: nova e promissora metodologia para adeteccao de linhas de pauta.

• Tecnica adaptavel a um vasto limite de condicoes de imagens: robustezem imagens com inclinacao, linhas com descontinuidades, curvaturas ediferentes espessuras.

• Aplicacao de metricas para testar o desempenho do algoritmo propostoe compara-lo com outros ja existentes.

• Incorporacao do algoritmo com algoritmos de remocao de linhas:metricas de erro, estudos comparativos.

• Deteccao dos sımbolos musicais.

• Diferentes metodos para classificar os sımbolos musicais: redesneuronais, o vizinho mais proximo, maquinas de vectores de suporte emodelos de Markov escondidos.

• Aplicacao da tecnica modelacao elastica para simular a variabilidade nossımbolos.

• Estudo comparativo entre os diversos classificadores.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Resumo.

45 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Trabalho futuro.

• Continuar a investigar novas metodologias de reconhecimento opticomusical para partituras manuscritas e diferentes notacoes musicais.

• Estudo e compreensao aprofundada das mais recentes tecnicas dereconhecimento de padroes, aprendizagem automatica e programacaologica indutiva.

• Fusao de regras e tecnicas de diversas areas para superar as lacunas dosalgoritmos actuais.

• Integracao dos algoritmos desenvolvidos num sistema com acesso webaos acervos, permitindo adicionar, anotar e converter partituras, bemcomo pesquisar, navegar e analisar o repositorio associado.

46 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Trabalho futuro.

46 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Trabalho futuro.

46 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Trabalho futuro.

46 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Trabalho futuro.

46 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Contribuicoes e publicacoes relacionadas.

• Introducao de um novo algoritmo para detectar linhas de pautas baseado nos Caminhos Estaveis.

• Criacao de uma base de dados de partituras reais: referencias de deteccao e remocao.

• Novos algoritmos para a deteccao e classificacao de partituras manuscritas.

• Integracao dos novos algoritmos num sistema web.

Submissao dos artigos para publicacao:

• “Optical Recognition of Music Symbols: a comparative study”, Ana Rebelo, Artur Capela andJaime S. Cardoso, na International Journal of Document Analysis and Recognition (IJDAR2008).

• “Staff Detection with Stable Paths”, Jaime S. Cardoso, Artur Capela, Ana Rebelo, CarlosGuedes, Joaquim Pinto da Costa, na IEEE Transaction on Pattern Analysis and MachineIntelligence (TPAMI 2008).

Artigos publicados:

• “A Connected Path Approach for Staff Detection on a Music Score”, Jaime S. Cardoso, ArturCapela, Ana Rebelo, Carlos Guedes, na IEEE International Conference on Image Processing(ICIP 2008).

• “Staff Line Detection and Removal with Stable Paths”, Artur Capela, Ana Rebelo, Jaime S.Cardoso, Carlos Guedes, na International Conference on Signal Processing and MultimediaApplications (SIGMAP 2008).

• “Integrated Recognition System for Music Scores”, Artur Capela, Jaime S. Cardoso, AnaRebelo, Carlos Guedes, na International Computer Music Conference (ICMC 2008).

• “A Shortest Path Approach for Staff Line Detection”, Ana Rebelo, Artur Capela, Joaquim F.Pinto da Costa, Carlos Guedes, Eurico Carrapatoso, Jaime S. Cardoso, na InternationalConference on Automated Production of Cross Media Content for Multi-channel Distribution(AxMedis 2007).

47 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Artigos publicados:

47 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

Artigos publicados:

47 / 48

Ana Maria Rebelo

Introducao

Processo

Objectivos

Deteccao

Caminhos Estaveis

Testes

Segmentacao

Resultados

Classificacao

Rede Neuronal

Modelacao elastica

Resultados

Conclusao

48 / 48

new methodologies towards an automatic optical recognition...

Documents