sketch-on-video - video annotations com tablet pcs · anotações e manipulação de áriosv...

74

Upload: others

Post on 23-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Sketch-On-Video - Video Annotations com Tablet

PCs

Manuel Diogo do Nascimento

Dissertação para obtenção do Grau de Mestre em

Engenharia Informática e de Computadores

Júri

Presidente: Prof. Paulo Ferreira

Orientador: Prof. Joaquim Jorge

Vogais: Prof. Teresa Chambel

Setembro 2008

Page 2: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis
Page 3: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Agradecimentos

Este trabalho signi�ca o alcançar de uma meta e o começo de uma nova fase de vida. Estou ciente

de que nunca teria aqui chegado sem a ajuda e a crença das pessoas que se seguem. Peço desde já,

àqueles de quem me esquecer que me perdoem e que tenham em mente que mesmo não �gurando

nestas linhas, sabem que também vos estou grato.

Começo pela minha família, aos meus irmãos, pirralhos da minha vida, agradeço-vos por sempre

me terem como o irmão modelo, aquele que gostariam de se parecer quando fossem maiores.

Agradeço aos meus pais, umas das pessoas mais importantes da minha vida e àqueles a quem mais

devo. Tudo o que alcanço hoje devo a eles, por acreditarem em mim, investirem e deixarem-me

embarcar nesta aventura num país estrangeiro mesmo sendo menor de idade.

Seria impossível esquecer-me da Cristina, a considerada minha segunda mãe, que durante estes

anos todos ofereceu-se como responsável por mim e esteve sempre presente nas situações mais

difíceis vividas por cá. Da mesma forma, não posso deixar de agradecer à minha tia, aos meus

avós e aos meus primos que se ofereceram muitas vezes como a minha rede de protecção e portanto

incentivavam-me a continuar sem ter medo de cair.

Estou grato aos meus colegas e amigos do Técnico que tornaram esta passagem pelo IST uma

dádiva mesmo em tempos caóticos. Desses tenho de salientar o André e o Rui, também meus

companheiros de apartamento com os quais tive a honra de viver, conversar e partilhar ideias, o

Hernani, o Guilherme e o David, eternos amigos da borga que sempre me �zeram rir e acreditar

que no futuro a vida seria melhor. Ainda neste grupo e não menos importantes, o Hugo e Ruben,

os "cabexas de porco"com quem pude formar o famoso trio maravilha, e tive a honra de partilhar

muitas noitadas, grande parte em laboratórios e no entanto sempre divertidas, sendo pessoas com

quem muito aprendi e admiro.

Agradeço também à minha malta da dança, pessoal sempre bem disposto que servia de lufada

de ar fresco depois do stress diário. Por �m, agradeço ao meu orientador, Prof. Joaquim Jorge

iii

Page 4: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

por ter acreditado em mim, por ter con�ado a mim um projecto como o SOV e principalmente

por ter exigido sempre mais e melhor. Ao André Martins, alguém que sem dúvida foi o meu pilar

no desenvolvimento deste projecto, sempre disposto a ajudar e a partilhar o seu conhecimento.

E os últimos agradecimentos ao grupo VIMMI e aos seus membros que me receberam como um

deles e se mostraram sempre disponíveis.

Page 5: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Abstract

Sketch-On-Video is a tool within the Mobymedia project and developed with a HP grant in collab-

oration with VIMMI Group to eLearning environment. Although its name sounds like a pen-based

application with a simple goal like to manipulate digital ink and to permit to sketch over video,

it's more than that. Sketch-On-Video also named as SOV is a post-production tool to enrich the

classes throw annotations and manipulation of many media streams and to publish these classes

on the Web to be acessible to the students. Besides, SOV can be seemed also as a hypermedia

editor or an authoring tool that permits to create and to publish rich multimedia presentations.

It was implemented in C# using Visual Studio during 12 months approximately and we already

had a prototype being used in the second semester of 2007/2008 year on PCM1 course.

Keywords: Sketch-On-Video, Mobymedia, eLearning, Post-Production Tool, Hyper-

media Editor.

1Production of multimedia contents.

v

Page 6: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis
Page 7: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Resumo

Sketch-On-Video constitui uma ferramenta incluída no projecto Mobymedia que foi desenvolvido

com o patrocínio da HP em cooperação com o Grupo VIMMI para a área de eLearning. Ao

contrário do que o nome pode levar-nos a pensar, Sketch-On-Video não se trata apenas de uma

aplicação pen-based com o simples objectivo de manipular tinta digital e permitir o desenho sobre

o vídeo. Trata-se de uma ferramenta de pós-produção para o enriquecimento das aulas através de

anotações e manipulação de vários streams de média e posterior publicação dessas aulas de forma

a estarem acessíveis aos estudantes. Além disso, o Sketch-On-Video pode ser visto como um editor

hipermédia para criação e publicação de apresentações multimédia ricas. SOV foi desenvolvido em

linguagem C# em cerca de 12 meses, no entanto já esteve em funcionamento durante o segundo

semestre do ano lectivo 2007/2008 no âmbito da cadeira de PCM2.

Palavras Chave: Sketch-On-Video, Mobymedia, eLearning, ferramenta de pós-produção,

editor hipermédia.

2Produção de Conteúdos Multimédia.

vii

Page 8: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis
Page 9: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Conteúdo

Agradecimentos ii

Abstract v

Resumo vi

Lista de Figuras xii

Lista de Tabelas xv

1 Introdução 1

1.1 Enquadramento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3 Work�ow da Informação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.4 Contribuições e Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.5 Objectivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.6 Estrutura do Documento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Trabalho Relacionado 5

2.1 Toolkits para desenvolvimento de aplicações baseadas em caneta . . . . . . . . . . 6

2.2 Sistemas para Colaboração . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3 Sistemas para Anotações Pessoais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.4 Sistemas para Notas Públicas/Sociais . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.5 Sistema ePresence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.6 Projecto Mobymedia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.7 Conclusões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

ix

Page 10: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

3 Problema e Abordagem 23

3.1 Sketching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.1.1 Sobre Vídeo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.1.2 Sobre Slides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.2 Edição de Vídeo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.2.1 Eliminação e Reposição de segmentos . . . . . . . . . . . . . . . . . . . . . 27

3.2.2 Inserção de segmentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.2.3 Substituição de Áudio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3 Sincronização de Mídias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3.1 Slides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3.2 Notas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.4 Outros Aspectos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.4.1 Conectividade e Trabalho Local . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.4.2 Comportamento Preditivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.4.3 Per�s de Utilização . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.4.4 Conceito de Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.5 Limitações . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4 Avaliação e Discussão 35

4.1 SOV numa aula de pós-produção . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.1.1 Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.1.2 Exercício . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.1.3 Resultados e Discussão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.2 Observação da Interacção Professor-SOV e o Estudo dos logs . . . . . . . . . . . . 40

4.3 SOV Versus Producer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

5 Conclusão 45

5.1 Trabalho Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Bibliogra�a 46

A Anexos 53

A.1 Modelo de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Page 11: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

A.1.1 Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

A.1.2 Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

A.1.3 Ficheiros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

A.2 Avaliação Intermédia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Page 12: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis
Page 13: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Lista de Figuras

1.1 Entradas e saída do Sketch-On-Video. . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1 Diagrama Esquemático de VideoDraw entre duas pessoas . . . . . . . . . . . . . . 8

2.2 Arquitectura de uAnnotate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 A interface do SketchPoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.4 Gestos/comandos (gestures) usados no SketchPoint. O comando de conversão

(ilustrado na �gura2.3) é determinado pela posição de início e do �m do traço. . . 10

2.5 Gestos reconhecidos pelo Lean que podem ser traduzidos em desenho ou comando. 12

2.6 Modelo árvore hierárquica (a) versus modelo de agrupamento em malha (b). . . . 14

2.7 Correspondência entre os elementos tradicionais numa interface point-and-click e

os seus homólogos em CrossY. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.8 Exemplo de uma apresentação ePresence com vídeo e slides. . . . . . . . . . . . . . 18

2.9 A interface do Producer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.10 Visão geral do projecto Mobymedia. . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.1 A interface da ferramenta de pós-produção Sketch-On-Video. . . . . . . . . . . . . 24

3.2 A interface do Sketch Player. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.3 Sketches sobre o vídeo e a toolbox de manipulação das propriedades da tinta digital 26

3.4 Notas em tinta digital sobre o slide . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.5 A região seleccionada pelo utilizador. . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.6 Porção da aula correspondente a região seleccionada pelo utilizador. . . . . . . . . 28

3.7 Operação de inserção de um segmento de vídeo no SOV . . . . . . . . . . . . . . . 28

3.8 A adição ou edição de um slide da apresentação. . . . . . . . . . . . . . . . . . . . 30

3.9 A janela de adição ou edição de uma nota. . . . . . . . . . . . . . . . . . . . . . . . 31

3.10 Edição de um per�l pelo SOV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

xiii

Page 14: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

4.1 Apresentação do Sketch-On-Video aos alunos. . . . . . . . . . . . . . . . . . . . . . 36

4.2 Grá�co de respostas quanto a utilidade do SOV. . . . . . . . . . . . . . . . . . . . 38

4.3 Grá�co da complexidade atribuida a interface de SOV. . . . . . . . . . . . . . . . . 39

4.4 94% dos alunos con�rmam que voltariam a utilizar SOV. . . . . . . . . . . . . . . 39

4.5 Tabela comparativa de operações: SOV Vs Producer. *Producer apenas permite

sincronização ou manipulação individual de slides. **Parâmetros de con�guração

precisam ser constantemente introduzidos. . . . . . . . . . . . . . . . . . . . . . . 42

4.6 Medidas tiradas da sessão de teste SOV vs Producer, . . . . . . . . . . . . . . . . . 44

A.1 Diagrama de classes do SOV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Page 15: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Lista de Tabelas

2.1 Tabela de comparações de sistemas . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.1 Medidas tiradas em cada sessão de pós-produção realizada pelo professor. . . . . . 41

xv

Page 16: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis
Page 17: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Capítulo 1

Introdução

Esta dissertação tem como objectivo explorar o conceito de anotações, essencialmente sobre o

vídeo, sendo o Sketch-On-Video um protótipo demonstrador desse conceito, cuja principal atracção

consiste no desenho sobre o vídeo. No entanto, Sketch-On-Video não se trata apenas de uma

aplicação pen-based com o simples objectivo de manipular tinta digital, trata-se de uma ferramenta

de pós-produção para o enriquecimento das aulas através de anotações e manipulação de vários

streams de média.

1.1 Enquadramento

O Sketch-On-Video é um componente do projecto Mobymedia, patrocinado pela HP que apre-

sentaremos em maior detalhe no capítulo dois. O projecto Mobymedia vem dinamizar o processo

de aprendizagem dentro e fora da sala de aula. Os objectivos desse projecto vão desde permitir

ao professor realizar as suas aulas com a apresentação de conteúdos multimédia e correspondentes

anotações, podendo estas aulas serem seguidas em tempo real pelos alunos na Web e serem feitas

anotações, até à simpli�cação da tarefa de pós-produção e publicação do arquivo destas aulas.

1.2 Motivação

Deparamo-nos com um rápido crescimento da quantidade de informação digital, de vários tipos

de dados. As aplicações computacionais para a visualização, manipulação e anotação de alguns

desses tipos de dados, como textos e imagens, já não constituem uma novidade para um utilizador

de computador. Vídeo no entanto, é um tipo de média que só recentemente adquiriu o formato

digital, sendo este um dos media cruciais no desenvolvimento do Sketch-On-Video.

Enquanto as notas em tinta real na maior parte das vezes terminam em caixotes de lixo, notas

digitais tendem a persistir ao longo do tempo de vida do documento. Podem ser �ltradas e orga-

nizadas e tal como os documentos digitais podem ser facilmente partilhadas.

Anotações fornecem uma forma de adicionar mais informação aos documentos existentes e podem

servir para múltiplos propósitos: dar relevo a partes importantes do documento, adicionar notas

quando o documento é apresentado, por exemplo, numa leitura ou conferência e reestruturar o

1

Page 18: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

documento de forma relevante para um dado domínio.

As anotações podem ainda ser utilizadas para personalizar o conteúdo de aprendizagem ao aluno,

bem como o nível pedagógico. Por personalização, considera-se o modo como o aluno interage

com o conteúdo, como o considera conveniente.

Todas essas, são razões mais que su�cientes para a criação do Sketch-On-Video que permitirá ao

professor enriquecer as suas aulas com os mais diversos tipos de notas (textuais, elos hipertex-

tos, vídeos demonstração e sketches) e estruturá-las da forma que achar mais conveniente para a

aprendizagem dos seus alunos.

É de salientar que, embora no contexto desta dissertação se foque mais na utilização do Sketch-On-

Video como ferramenta para pós-produção de aulas e, portanto, direccionada para os professores,

esta também pode ser utilizada como ferramenta para desenvolvimento e publicação de apresen-

tações multimédia.

Por �m, espera-se que uma sessão de pós-produção simples, que consiste basicamente na sin-

cronização dos slides com o vídeo e na eliminação de partes inicial e �nal do vídeo que por vezes

mostram-se desnecessárias, possa ser realizada pelo professor num intervalo de cinco minutos.

1.3 Work�ow da Informação

Um dos grandes objectivos por detrás da implementação do Sketch-On-Video consiste no enriquec-

imento dos materiais de estudo disponibilizados aos alunos, sem que se exija grande complexidade

de operações por parte dos professores.

Figura 1.1: Entradas e saída do Sketch-On-Video.

O esquema do que é ou deve ser feito pelo professor é simples. Primeiramente, este necessita do

vídeo da aula, o conjunto de slides utilizados durante a aula e por �m, os tempos de transição de

slides. Os tempos de transição de slides são armazenados num �cheiro próprio (eventstream.xml)

2

Page 19: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

através da aplicação Show'Em1 utilizada pelo professor durante a aula e guardado no servidor.

Tendo estes três componentes como parâmetros de entrada, o professor pode embarcar na aventura

da pós-produção da aula que consiste em eliminação, reposição ou inserção de segmentos de vídeo,

sketching sobre vídeo e slides e adição de notas (textuais, links, imagens e videos demonstração).

Por �m, após as operações realizadas pelo professor sobre os componentes de entrada, chega-se à

fase de publicação cujo resultado é um arquivo web acessível pelo Learn'It2 (ver �gura 1.1).

Convém salientar aqui que as aulas já eram publicadas antes da criação do Sketch-On-Video,

através da utilização do ePresence Producer,3, sendo a substituição deste, outro grande ob-

jectivo do SOV. O work�ow existente anteriormente requeria muito mais tempo e paciência por

parte do utilizador para conseguir publicar a aula. Desde a inserção e reposicionamento, apenas,

individual de slides, até à constante con�guração de valores pelo utilizador para a publicação, o

Producer apresentava muitas falhas em termos de e�cácia temporal, �exibilidade de operações e

robustez do programa. São essas falhas que o SOV vem colmatar e adicionalmente oferecer mais

funcionalidades para a pós-produção da aula ao professor.

1.4 Contribuições e Resultados

Sketch-On-Video, como já referido, é uma ferramenta de pós-produção de aulas, também podendo

ser apresentada como um editor hipermédia que permite editar e enriquecer streams de aulas

gravadas (slides, notas, demos, sketches). No entanto, o SOV engloba uma série de funcionalidades

que permitem-no ser visto sobre vários pontos de vista. Pode ser visto como um sistema de

manipulação de tinta digital (sketching) sobre slides e vídeos, como um editor de vídeo ou uma

ferramenta de sincronização e integração de media e por �m, talvez a mais geral de todas, como

um sistema de autoria para criação de apresentações ricas na web.

Face aos resultados obtidos dos estudos de avaliação do SOV podemos a�rmar que o grande

objectivo foi alcançado, a criação de uma ferramenta que substituísse o Producer e oferecesse

meios para pós-produção das aulas sem requerer grande complexidade em termos de work�ow,

além de oferecer mais funcionalidades e melhor desempenho como poderemos ver no capítulo de

Avaliação e Discussão.

1.5 Objectivos

O SOV tem como objectivo fornecer ao professor um modo simples de reunir e estruturar todas as

informações ou experiências captadas dentro de uma sala de aulas através de outros componentes

do projecto Mobymedia, e poder publicá-los na Web. Convém salientar a simplicidade tanto em

termos de interface como do work�ow da informação, sendo ambos factores importantes para um

professor. Depois da aula este só deseja um modo simples e rápido de pós-produzi-la e colocá-la

1Aplicação semelhante ao Power Point com o qual o professor apresenta os seus slides nas aulas e regista ostempos de transição dos slides num �cheiro que é posteriormente guardado no servidor.

2Aplicação Web que permite aos alunos acederem as aulas publicadas onde podem ver as notas do professor, assuas próprias notas realizadas nas aulas e criar novas anotações. Também faz parte do projecto Mobymedia.

3Aplicação ePresence para a sincronização e publicação de apresentações multimédia. É apresentado com maiordetalhe no capítulo de Sistemas Relacionados.

3

Page 20: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

acessível aos seus alunos.

Com SOV, o professor pode enriquecer o conteúdo das suas aulas online através da adição de

notas de vários tipos (textos, links, imagens e vídeos demonstração) e através de sketches. Esta

possibilidade de enriquecimento do material é muito importante pois há sempre algo a acrescen-

tar, porção da matéria sobre o qual tenha sido muito sucinto, ou conteúdos que se esqueceu de

mencionar e que possa ser acrescentado pós-aula. O professor pode ainda estruturar o conteúdo

da aula de forma a simpli�car a sua compreensão por parte dos alunos através da manipulação de

slides (apagar, adicionar ou mover), através da edição do vídeo que permite ordenar a ordem de

explicação das coisas, ordem essa que pode ser fulcral para o entendimento da matéria em si.

Por �m, permite publicar todas estas melhorias efectuadas sobre a aula e torná-la acessível aos

alunos de forma a capacitá-los de uma maior qualidade de conteúdo pedagógico e portanto, melhor

aprendizagem.

1.6 Estrutura do Documento

Esta dissertação encontra-se organizada em 5 capítulos. No capítulo 2, Sistemas Relacionados,

apresentar-se-á um conjunto de sistemas relacionados mais relevantes, estando uma boa parte in-

serida na área do eLearning. Apresentaremos ainda na secção de trabalhos relacionados existentes

alguns toolkits [Joseph J. LaViola2006] que poderão ser úteis no desenvolvimento de aplicações

orientadas à caneta como o SATIN, Tablet PC SDK e o TORCH. No capítulo 3, Problema

e Abordagem, apresenta-se o porquê do Sketch-On-video e os problemas que vem resolver.

Apresenta-se ainda, como foram implementados os módulos principais da aplicação: sketching,

edição de vídeo e sincronização de media e por �m, o modelo de dados do SOV. No capítulo 4,

Avaliação e Discussão, apresenta-se os resultados dos testes de avaliação realizados com base

em exercícios práticos realizados pelos alunos, os resultados do acompanhamento do professor

e estudo dos logs de execução do Sketch-On-Video obtidos durante a sua utilização na cadeira

de Produção de Conteúdos Multimédia. Por �m, no capítulo 5 surgirá uma breve conclusão em

relação ao trabalho e apresentam-se possíveis trabalhos futuros.

4

Page 21: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Capítulo 2

Trabalho Relacionado

Anotações em papel com uma caneta é uma actividade familiar e indispensável entre a grande

variedade de trabalhos e ambientes educacionais. Desenhar e escrever são actividades naturais

nas mais diversas áreas existentes. Através da utilização de um papel e caneta, uma pessoa pode

rapidamente assentar as suas ideias, assim como desenhar imagens e diagramas grosseiros, adiando

detalhes para depois.

A natureza informal das canetas permite as pessoas focarem nas suas tarefas sem precisarem

preocupar com a precisão. O desenvolvimento da computação baseada em caneta tem trazido essa

experiência para documentos digitais. Aliás, a metáfora fundamental para um escritório/local

de trabalho tem sido o papel, e como tal as aplicações de processamento de texto, desenhos e

spreadsheet mais comuns têm usado a mesma.

Anotação suporta diferentes funções cognitivas[Bottoni et al.2004] como:

1. Lembrança: através de highlighting das partes mais importantes do documento anotado.

2. Raciocínio: através da adição de suas próprias ideias, questões, comentários.

3. Compreensão: através da transformação da informação contida no documento na linguagem

verbal pessoal.

Uma nota digital consiste em 2 principais componentes: metadados e conteúdo. O primeiro

é um conjunto de atributos como autor, titulo, data de criação, data de modi�cação, localização

e tipo. O segundo componente é o conteúdo multimédia da nota que que pode conter informação

textual, �cheiros de vídeo, imagem ou áudio inseridos pelo utilizador. Sendo assim, é possível

distinguir 2 diferentes modos de anotação de conteúdo.

• Orientado a metadados que refere a anotação de objectos utilizando os metadados. Este

esforça-se para fornecer uma descrição da semântica, do vocabulário e extensões do conteúdo

(ex: e-learning). O utilizador �nal tem pouco ou nenhum controlo sobre as anotações feitas.

• Mark-up annotations, preocupa-se em permitir ao utilizador �nal personalizar o conteúdo

estático de aprendizagem. Isso abrange e não só, a possibilidade de desenhar sem restrições

5

Page 22: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

(freehand) nas margens, de embelezar os textos e �guras com marcas especiais como círculos,

sublinhados, highlights e outros mais.

O número de sistemas de anotações tem vindo a crescer e estes constituem um suporte para as

mais diversas tarefas diárias que efectuamos e que exigem a "tomada de notas"ou simples desenhos

da nossa parte.

É possível dividir estes sistemas em três categorias:

• Anotações para uso pessoal em que os objectivos são tipicamente suportarem a leitura activa,

ajudarem com a recuperação do conteúdo (incluindo resumo, procura e classi�cação) para

localizar documentos e para reutilização do conteúdo na composição de novos documentos.

• Anotações para cooperação em que o objectivo é usualmente indicarem a alguém, partes

interessantes de um documento como um método de coordenação da actividade ou como um

método de partilha de notas em tempo real numa situação de trabalho.

• Anotações públicas/sociais que são menos direccionadas para trabalho em equipa que as

anotações para cooperação, consistem em comentários e notas públicas deixadas para que

os outros vejam.

Existe ainda uma lacuna em ferramentas que motivem o uso de anotações, e o desenvolvimento

de aplicações para interacções baseadas em caneta. Apresentaremos alguns toolkits em seguida

com este objectivo.

2.1 Toolkits para desenvolvimento de aplicações baseadas em

caneta

Tablet PC SDK[SDK2008b] foi desenhado para correr em TabletPCs e utiliza C#. Trata a

tinta como uma classe objecto primária e contém métodos para determinação de extremidades,

intersecções próprias, e quando strokes estão contidos noutros strokes.

Utiliza o sistema de reconhecimento da escrita manual da Microsoft e detém um módulo de

reconhecimento de comandos/gestos. Permite ainda uma análise rudimentar da tinta de forma a

determinar se um conjunto de strokes constituem uma palavra ou um desenho.

Tem a vantagem de ser simples de usar e consegue-se arrancar as aplicações e pô-las a correr

rapidamente porque este tem suporte para controlo de eventos e lidar com outros componentes do

windows.

TORCH é uma biblioteca machine learning escrita em C++. Embora esta não tenha nada

a ver com o desenvolvimento propriamente dito de interfaces baseadas em desenho ou aplicações

orientadas à caneta, esta fornece muitos algoritmos apreendidos pela máquina que poderão ser

utilizados para o reconhecimento.

6

Page 23: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

O download desta biblioteca pode ser feito em [TORCH2008].

SATIN [Hong and Landay2006, SATIN2008] vem facilitar a criação dessas aplicações, trata-se

de um pacote de ferramentas em Java, desenhado para suportar a criação de aplicações que vêm

reforçar a natureza informal das canetas.

Inclui um grafo de cenas para manipulação e renderização dos objectos, suporte para zooming

e rotação dos objectos, escolha entre múltiplas vistas de um objecto, integração dos inputs da

caneta com os interpretadores, bibliotecas para manipulação dos traços de tinta, widgets opti-

mizados para canetas e compatibilidade com o pacote de ferramentas Java Swing.

SATIN foi desenvolvido em Java, utilizando o JDK1.3. Utiliza Java2D para a renderização e

faz um extensivo uso das classes centrais do Java assim como dos componentes Swing.

2.2 Sistemas para Colaboração

Livenotes[Kam et al.2005] consiste num sistema de tela partilhada que serve de suporte à con-

versação/colaboração entre estudantes. Tem como objectivo estimular a interacção dentro de

pequenos grupos de estudantes nas leituras em universidades e escolas com mudanças institu-

cional e pedagógicas mínimas.

Apresenta uma interface que permite aos membros do grupo interagirem entre si através de

"tomada de notas"/anotações cooperativamente. Uma importante característica da interface do

sistema é que os slides da apresentação podem ser importados para a tela como background para

que os utilizadores (estudantes) possam anotar sobre, o que contribui para o aumento de anotações

numa apresentação.

O sistema utiliza rede wireless e tablets pcs (peers) que ligam entre si de forma a construir pe-

quenos grupos. Na criação de um grupo um estudante coloca o seu Livenotes em modo servidor

e todos os outros utilizadores conectam-se a essa máquina como clientes.

VideoDraw[Tang and Minneman1991b] é um protótipo para suportar actividade de desenho co-

operativo, fornece um "livro de esboços virtual"entre 2 ou mais utilizadores. Não só permite aos

colaboradores verem os desenhos uns dos outros como também transmite os movimentos da mão

(gestures) e o processo de criação e utilização desses desenhos.

Consiste em câmaras de vídeo que visam a exibir as telas dos monitores de vídeo, interligadas

como mostrada no esquema (�gura 2.1). No entanto, esse esquema apresenta utilização Video-

Draw pelos colaboradores numa mesma sala. Em ambiente remoto seria necessário um canal áudio

para conversarem, assim como câmaras extras e monitores para verem um ao outro.

Apresenta algumas limitações:

• A maior limitação consiste na quantidade de informação legível que pode ser efectivamente

7

Page 24: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 2.1: Diagrama Esquemático de VideoDraw entre duas pessoas

contida na tela.

• A restrição de que cada participante só consegue apagar ou editar marcas feitas na sua

própria tela.

• A diferença de intensidade e resolução entre as marcas feitas na própria tela e as transmitidas

por outro utilizador.

• E por �m, temos factor humano de desconforto. Por exemplo, o utilizador não pode debruçar-

se muito sobre a tela de forma a não obstruir o ângulo de captação de imagem da câmara.

2.3 Sistemas para Anotações Pessoais

u-Annotate[Chatti et al.2006] incorpora diversas tecnologias de forma a criar uma aplicação para

anotação de conteúdo e-Learning, permitindo ao utilizador à marcar activamente o conteúdo, ar-

mazenamento único, rever notas anteriores assim como exportar de forma a partilhar com outros

estudantes.

A ênfase está em trocar o paradigma papel e caneta para tirar notas com pen-computing

approach, permitindo ao aluno a tratar o conteúdo digital como documento de papel e interagir

com o mesmo da mesma forma. uAnnotate teve o Flash 9 com ActionScript 2.0 como ferramenta

de desenvolvimento. Na �gura 2.2 pode-se observar a arquitectura do sistema uAnnotate.

Na camada backend foi usado Flash Local Shared Object e XML File Storage, escolha essa

baseada na suposição de que o computador do utilizador não faz parte da rede local e que nesse

não existe software para base de dados (Oracle, MySql, etc).

Com o objectivo de suportar a aprendizagem colaborativa em redes sociais utiliza XML como

um repositório para informação da anotação que é gerado quando o utilizador escolhe exportar

as notas efectuadas sobre uma pagina web para um �cheiro XML que pode posteriormente ser

8

Page 25: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 2.2: Arquitectura de uAnnotate.

enviado e importado por outro utilizador. Uma extensão natural dessa implementação seria o

conceito de notas partilhadas em tempo real.

SketchPoint[Li et al.2003], um sistema que suporta o desenvolvimento de apresentações informais

através de desenhos livres. Permite aos utilizadores a rapidamente criar apresentações esboçando

conteúdos dos slides, estrutura hierárquica geral e hiperligações. Os slides são organizados em

storyboard através do qual os utilizadores podem directamente apresentar os seus slides.

Para permitir uma transição suave da captura da ideia para a comunicação, a interface do

SketchPoint está dividida em dois espaços de trabalho (ver �gura 2.3). A esquerda, um caderno

de notas electrónico, que permite aos utilizadores escolherem as notas que deseja utilizar nos slides

e a direita o storyboard para autoria da apresentação.

SketchPoint suporta manipulações de estrutura determinando implicitamente a estrutura dos

traços de tinta através das suas relações espaciais. Também permite aos utilizadores a indicar a es-

trutura por gestos/comandos (�gura 2.4). SketchPoint abstrai e uni�ca o processo de criação duma

apresentação informal em 4 níveis contínuos de zoom baseado na metáfora ZUI[Bederson and Hollan1994]

(zoomable user interfaces): Visão Geral, Organizar, Detalhes e Apresentação.

Apesar de principalmente suportar representações informais de slides, também fornece uma car-

acterística opcional que permite aos apresentadores trocar a tinta original por reconhecimento de

palavras ou formas. SketchPoint foi implementado em Java 2 com utilização do Penbuilder toolkit.

ScreenCrayons[Dan R. Olsen et al.2004] Consiste num sistema para captura e gestão de no-

9

Page 26: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 2.3: A interface do SketchPoint

Figura 2.4: Gestos/comandos (gestures) usados no SketchPoint. O comando de conversão(ilustrado na �gura2.3) é determinado pela posição de início e do �m do traço.

tas para diversas tarefas utilizando qualquer aplicação. Tem como objectivo ser �exível, leve e

aplicável em diversas áreas.

Contém algoritmos que resumem imagens capturadas com base em traços de highlight, que conse-

quentemente permite fornecer visão global de várias notas, assim como permite "mergulhar"numa

informação particular de uma dada nota e do seu contexto.

ScreenCrayons surge do desejo duma ferramenta de informação "invasiva"que se sobrepõe sobre

qualquer trabalho do utilizador.

• Duas aproximações para conseguir tal feito seriam: Criar um modelo �nal para todos os arte-

factos a serem anotados. Tudo a ser anotado é transformado nesse modelo. Uma vantagem

dessa aproximação é que as notas podem ser embebidas na representação do modelo e grande

variedade de vistas que mostra o conteúdo relativo a essas notas podem ser desenhadas e

implementadas.

• Criar um protocolo especial que todas as aplicações devem concordar. Um exemplo duma

10

Page 27: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

parte do protocolo seria: "Aqui está um traço de tinta digital, então devolve uma refer-

ência da anotação"ou "Aqui está uma referência da anotação, então mostra a nota na tua

aplicação". Este protocolo permitiria anexar notas a todas as aplicações que o aceitasse

no entanto, a grande di�culdade reside em conseguir que todas as aplicações interessadas o

aceitem.

ScreenCrayons opta por anotar exclusivamente em espaço de imagem. Todas as aplicações grá�-

cas devem transformar sua informação em imagens. Visto a grande parte dos sistemas de janelas

fornecer a habilidade de captura da imagem do ecrã, temos assim um meio para anotar qualquer

informação de qualquer aplicação sem necessitar que a mesma coopere.

A principal vantagem está na simplicidade e na sua aplicabilidade universal. Uma nota é uma

imagem do ecrã, tinta highlight, traços de tinta e notas de texto. O gestor do lápis (crayon)

adiciona uma simples estrutura para as notas e o resumo da imagem torna as notas possíveis de

gerir com pouco esforço por parte do utilizador. ScreenCrayons está escrito em C# e corre sobre

Windows.

XLibris[Schilit et al.1998] usa a metáfora de documento de papel. Este sistema imita papel

com a utilização de um ecrã tablet de alta resolução com caneta que fornece aos utilizadores as

características mais desejadas do papel. Com XLibris os utilizadores podem anotar, sublinhar

páginas de documentos �uidamente, com uma facilidade que se aproxima de material impresso.

XLibris vem de uma interface tradicional WIMP e segue os princípios de desenho de uma interface

transparente, minimalista e simples de usar.

VAnnotator[Costa et al.2002] consiste numa ferramenta de anotação de vídeo baseado num mod-

elo novo e �exível, que permite várias perspectivas sobre o mesmo conteúdo vídeo. O modelo é

desenhado de forma a permitir ter múltiplas vistas sobre um dado vídeo, possibilitando aos uti-

lizadores com diferentes requisitos ter a interface mais apropriada. Essas vistas, lentes de vídeo

(posições da câmara), focam um aspecto especí�co do conteúdo do vídeo a ser anotado. Anotações

são feitas utilizando uma interface baseada numa timeline com múltiplas faixas, em que cada uma

corresponde a uma dada posição da câmara. O formato MPEG-7 standard é o formato utilizado

para armazenamento e manipulação de informação.

VAnnotator pode ser visto como uma melhoria do AntV[Correia and Chambel1999], o trabalho

anterior do mesmo grupo em sistemas de anotação. Este último permite visualizar streams de

vídeo, criar e editar anotações, e visualizar vídeos anotados. Pode ainda importar notas de diver-

sos autores, permitindo a partilha de comentário acerca de um dado programa de vídeo. Como

resultado do processo de anotação, este pode criar vídeos e hiperdocumentos baseados no vídeo

original.

LEAN[Ramos and Balakrishnan2003] é um sistema que serve como uma plataforma de explo-

ração para nova visualização e técnicas de interacção �uidas para a navegação e controlo do vídeo

digital.

A interface consiste num digitizer com uma caneta com sensor de pressão. Pode correr num

tabletPC embora possa ser muito lento para fornecer a resposta interactiva que se consegue em

estações de trabalho equipadas com digitizers.

11

Page 28: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Permite a manipulação do stream do vídeo através da utilização de um pequeno conjunto de

gestos/comandos (gestures) que possibilitam ao utilizador começar, parar e navegar para um de-

terminado momento na reprodução. Através de gestures os utilizadores podem também seleccionar

intervalos ou segmentos do vídeo.

Para além da manipulação do vídeo, o sistema também permite anexar notas - facilmente cri-

adas pelo esboço na área de trabalho ou sobre a imagem do vídeo - aos fragmentos e frames de

vídeo.

O sistema distingue esboços dos comandos através de um algoritmo que testa as características

do traço como o espaço, tempo, velocidade e a pressão. A tabela em baixo mostra o conjunto

básico de gestures reconhecidos:(por enquanto �gura 2.5)

Figura 2.5: Gestos reconhecidos pelo Lean que podem ser traduzidos em desenho ou comando.

Videotater[Diakopoulos and Essa2006] consiste numa ferramenta experimental para tabletPC

que suporta navegação intuitiva e e�ciente, selecção, segmentação e tagging de vídeos. Foi desen-

hado para facilitar a preparação do vídeo para posteriores reutilizações.

Videotater permite ao utilizador uma segmentação rápida e exacta, obter segmentos re�nados

a um alto nível assim como um método de tagging de segmentos intuitivo e fácil de aprender.

Utiliza:

• Representações de timeline múltipla, apresentando assim duas vistas do vídeo (vista de

12

Page 29: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

segmentos e vista de frames como uma banda de imagem).

• Sensor de pressão que permite distinguir entre modo de selecção e modo tagging durante o

desenho na timeline.

• Metáfora desenhar/apagar com a caneta na aplicação de tags. A ponta da caneta aplica a

tag e a borracha remove-a.

Videotater foi implementado em Java Swing.

ScanScribe [Saund et al.2003], um programa de edição de imagem que enfatiza a fácil selecção

e manipulação de material existentes em documentos casuais e informais. Estes documentos po-

dem ser: desenhos, notas escritas a mão, imagens de um quadro, screen snapshots e documentos

digitalizados. Semelhante ao Adobe Photoshop, o modelo conceptual de objectos da imagem da

Scanscribe pode ser encarado como uma variante de camadas, mas este funciona duma forma

completamente automática e transparente ao utilizador.

Oferece 4 vantagens:

• Apresenta um novo e intuitivo modelo para manutenção dos objectos e grupos da imagem,

através de uma lógica para actualização destes no decorrer de uma sessão de edição.

• Tira vantagem de novos algoritmos de processamento de imagem desenvolvidos para separar

marcas do primeiro plano de um plano de fundo branco ou claro, e assim poder automati-

camente tornar o plano de fundo transparente e o conteúdo da imagem ser reestruturado

excluindo os píxeis do plano de fundo.

• Introduz novas técnicas de interface para selecção dos objectos da imagem com o dispositivo

apontador sem ter de recorrer a um palete de modo da ferramenta. Os utilizadores podem

seleccionar material da imagem através quatro métodos:

� Através dum rectângulo que permite seleccionar a área abrangida.

� Através de um laço de selecção.

� Através do clique no objecto.

� Através dos vértices de um polígono circundante. A selecção por polígono é útil quando

o utilizador pretende visualmente ajustar os limites da região seleccionada.

• Apresenta uma plataforma para explorar a análise da imagem e métodos de reconhecimento

para criar uma estrutura perceptivelmente legível disponível ao utilizador. Esse sistema

tem como premissa na edição de imagens: "WYPIWYG - What You Perceive Is What

You Get". Assim sendo, a ferramenta mantém a representação dos objectos da imagem e

as estruturas visuais de modo que os utilizadores percebam que se tratam de pedaços ou

objectos seleccionáveis, e torna estes disponíveis através da interface.

Ao contrário do PowerPoint, com ScanScribe não necessitamos da cansativa sequência "de-

sagrupar, desagrupar, desagrupar, alterar, agrupar, agrupar, agrupar"a cada vez que precisamos

modi�car um objecto que se encontra no �m da hierarquia do grupo. ScanScribe evita esse

procedimento através da adopção de estrutura de agrupamento de malha plana proposta em

13

Page 30: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

[Saund and Moran1994] como o modelo para agrupamento (ver �gura 2.6).

Figura 2.6: Modelo árvore hierárquica (a) versus modelo de agrupamento em malha (b).

ScanScribe permite ainda substituir textos escritos a mão pelos dactilografados. As imagens

editadas podem ser escritas em formatos bitmap standards como JPEG e PNG, podem ainda ser

publicadas como HTML para visualização nos navegadores. Está implementado em Java e utiliza

as funcionalidades clipboard do sistema.

O Family Video Archive [Abowd et al.2003] serve de suporte à gestão, anotação e navegação

numa grande colecção de �lmes digitais caseiros, uma ferramenta para anotar e pesquisar estes

arquivos. A anotação consiste em metadado temporal, estruturado e de forma livre, com ênfase

nas técnicas de interacção que melhoram a e�ciência e a precisão do processo de anotação.

Explora a metáfora de zooming e usa uma forma natural de navegação por entre as cenas dum

vídeo hierarquicamente categorizadas para formar um conjunto de cenas do interesse do utilizador.

O desenvolvimento deste sistema foi realizado com o auxílio de Java Media Framework (JMF),

suportando qualquer codec permitido no repositório de AVI.

M4note Multimédia MultiModal Annotation Tool [Goularte et al.2004], foi implementado como

uma aplicação de captura e acesso, permitindo assim que a tarefa de anotação seja efectuada

durante a experiência ao vivo, por exemplo durante uma palestra.

Fornece anotações como metadados para indexação, recuperação e processamento semântico,

assim como enriquecimento do conteúdo. Utiliza um modelo para anotações e descrições multi-

média estruturadas, permitindo o estabelecimento de relações espaciais, temporais e de ligação.

M4Note gera automaticamente um documento estruturado instanciado do MediaObject [Goularte et al.2003]

seguindo um modelo descritivo (usado na fase do acesso ao arquivo). Esse modelo, baseado no

standard MPEG-7, permite o tratamento de anotações como objectos multimédia. Isto torna pos-

sível para os utilizadores estabelecer relações entre notas e conteúdos (úteis durante as pesquisas),

como também criar as suas próprias tags quando fazem anotações, o que leva por sua vez à cri-

ação de uma hierarquia de anotações personalizada, maximizando o signi�cado das tags para um

14

Page 31: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

utilizador especí�co.

A ferramenta M4Note apresenta uma interface multimodal, desenvolvida em Java, que permite

captura do vídeo ao vivo e anotações. Anotações podem ser feitas por baseadas em tinta digital

ou via reconhecimento da fala, e são em ambos os casos, convertidos para texto. No �m do pro-

cesso de captura é gerado documentos XML como composição de referências de todos os medias

capturados: vídeo, áudio, imagens, slides, traços de tinta, e texto.

Utiliza API do Java Media Framework para controlar uma WebCam USB e o microfone incor-

porado do TabletPC de forma a proceder a captura de vídeo e áudio. Para o reconhecimento da

voz, a M4Note tem um módulo de reconhecimento e síntese de voz. Este usa o API Java Speech

para comunicar com o software da IBM, ViaVoiceTM.

CrossY [Apitz and Guimbretière2004] Trata-se de uma simples aplicação de desenho desenvolvida

para correr em TabletPc sem um teclado como uma prova da possibilidade de uma interface uti-

lizador grá�ca baseada no cruzamento/atravessamento do objecto pretendido. Surge devidas as

di�culdades encontradas em interfaces apontar-e-clicar quando são utilizadas canetas, como o du-

plo clique, obstrução criada pela mão utilizador directamente sobre a tela, e ainda di�culdade no

uso de teclas modi�cadoras (como pressionar shift para estender a selecção actual).

Os principais aspectos chaves são:

• Expressividade: A interface baseada em cruzamento deve expressar um conjunto de carac-

terísticas da mesma forma que a interface utilizador que substitui (�gura 2.7).

• Composição �uida dos comandos: Utilizadores têm ao seu dispor uma série de acções que

podem ser desencadeadas através de um único traço.

• E�ciência: expressividade e �uidez de pouco servem se a interface for ine�ciente.

• Visual footprint: O estado real da tela é um recurso valioso para um bom funcionamento da

aplicação, pois o layout visual afecta tanto a composição como a e�ciência dos comandos.

Oferece uma simples funcionalidade de �nd-and-replace que permite procurar por traços basea-

dos na sua cor e espessura e substituí-los. CrossY foi implementado em C# num TabletPC uti-

lizando o Windows XP Ink API e o .NET Framework como base para desenho.

2.4 Sistemas para Notas Públicas/Sociais

Madcow[Bottoni et al.2004] é um sistema de anotação digital desenvolvido com base numa arqui-

tectura cliente-servidor. A parte cliente consiste num plugin para um navegador web standard, que

permite descarregar notas dos servidores, exploração dos seus conteúdos e produção e armazena-

mento de novas anotações. O utilizador pode escolher operar sobre um determinado servidor ou

em todos os servidores contendo as notas.

Os servidores encontram-se distribuídos sendo quali�cados como servidores de documentos e servi-

dores de notas. Os servidores de documentos são de facto qualquer página web capaz de apresentar

15

Page 32: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 2.7: Correspondência entre os elementos tradicionais numa interface point-and-click e osseus homólogos em CrossY.

o conteúdo identi�cado por um URI. Os servidores de notas são acedidos via protocolo HTTP e

constituem os repositórios de notas que podem ser acedidos por diferentes clientes. As anotações

podem ser pesquisadas e �ltradas, e podem ser escolhidos servidores diferentes para um docu-

mento.

A arquitectura de MADCOW separa componentes independentes da plataforma dos dependentes,

podendo portanto ser implementado como uma integração para diferentes navegadores (lado do

cliente) e diferentes servidores web (lado do servidor)

Independentemente da sua localização, as anotações são produzidas e armazenadas de acordo com

um formato XML que incorpora contribuições de ambos os standards existentes para a gestão do

conteúdo semântico e de formatos multimédia na Web. O Document Type De�nition(DTD) nas

anotações de�ne o esquema para a base de dados das anotações, e um formato comum pode ser

usado para produção, pesquisa na base de dados e extracção de resultados para consulta.

Notas digitais podem ser mantidas privadas ou podem ser partilhadas entre diferentes utilizadores

na Internet. Quando privadas, estas representam integrações úteis ao conteúdo. Podem ser uti-

lizadas em ambiente e-learning, tal como um aluno marcar e comentar um manual ou uns apon-

tamentos. Quando partilhadas, elas fornecem suporte para discussões entre estudantes de um

determinado curso ou numa comunidade web discutindo assuntos de interesse comum. Notas

partilhadas são armazenadas remotamente e podem ser descarregadas por quem tenha direito de

acesso próprio. O autor das anotações tem maiores privilégios sobre as notas públicas, sendo o

único autorizado a modi�car ou apagá-las. Também é possível ter um grupo como titular duma

16

Page 33: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

nota, assim as modi�cações de documentos existentes são permitidas apenas para membros rela-

cionado com o autor do documento.

Notelook[Chiu et al.1999] é um sistema cliente-servidor desenvolvido para suportar anotação

multimédia em reuniões/conferências com vídeo e tinta digital. A aplicação cliente corre em com-

putadores sem �os com canetas. Os canais de vídeo contendo imagens da actividade da sala e da

apresentação (slides) são transmitidas pelo servidor para os clientes e consoante a preferência do

utilizador (aplicação cliente) as imagens podem ser automaticamente incorporada em páginas de

notas. Permite realizar anotações livres nessas imagens. Para o acesso e procura de notas e vídeos

gravados, gera páginas Web com links das imagens e traços de tinta relacionados com o vídeo.

Este sistema tem como predecessor o Dynomite[Wilcox et al.1997], um sistema para captura e

recuperação de notas de áudio e escritas.

YAWAS [Denoue and Vignollet2000, YAWAS2008] era um protótipo de um sistema de anotações

desenvolvido em JAVA e JAVASCRIPT em Syscom, universidade de Savoy em França. Foi desen-

hado de forma a permitir aos utilizadores dar relevo e anotar textos especí�cos num documento.

O sistema apresentou muitas restrições. Os tipos de notas existentes eram reduzidos, apenas era

possível sublinhar e focar conteúdo web através dos menus contexto do navegador, sem referir que

anotações livres com tinta digital não eram suportadas.

O nosso ambiente físico está cada vez mais preenchido com conteúdos multimédia, localizados

publicamente e o Digital Gra�ti [Carter et al.2004] vem lidar com essa situação. Com esse

sistema pretende-se possibilitar pessoas a publicar e adquirir informação digital de ecrãs digitais

públicos, modi�car e anotar conteúdos publicados anteriormente para criar threads públicas.

Digital Gra�ti permite anotar conteúdo através de um PDA em Plasma Poster, um grande ecrã,

interactivo, quadros de boletim digital (bulletin boards) da comunidade localizados em espaços

públicos.

Os utilizadores podem optar por desenhar no ecrã público ou num PDA. As notas podem ser

descarregadas para o sistema ou para o dispositivo pessoal, e desde que este contenha informação

contextual su�ciente é possível fazer anotações o�ine para depois carregar para o sistema.

2.5 Sistema ePresence

Nesta secção apresentaremos duma forma sucinta o que é o sistema ePresence, no que consiste o

seu formato e daremos a especial atenção ao Producer que consiste na ferramenta análoga ao SOV

no que diz respeito à publicação de apresentações para Web.

ePresence é uma indústria líder da solução webcasting no mercado. Oferecem um sistema que

permite o streaming de múltiplos formatos de média de forma que o editor não necessite de se

preocupar o sistema operativo, a largura de banda ou o navegador do utilizador �nal. Este sistema

está desenhado para streaming em tempo real e para apresentações a partir de uma sala de aulas

ou sala de conferências. Originalmente, foi desenvolvido na universidade de Toronto como uma

solução de captura de palestras e agora é usado globalmente por universidades, hospitais, governo

17

Page 34: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

e empresas.

A captura e publicação de palestras é feita através da utilização do ePresence Producer que

Figura 2.8: Exemplo de uma apresentação ePresence com vídeo e slides.

constitui a ferramenta que codi�ca as apresentações nos formatos mais populares de vídeo: Flash,

Windows Media, Real Media e Quicktime, e torna-a acessível na Web. O ePresence fornece vários

templates para a publicação das apresentações na Internet. O utilizador pode optar ter uma ap-

resentação apenas com slides, apenas com vídeo, ou com a sincronização de ambos. Podemos ver

na �gura 2.8 um exemplo de uma apresentação em formato ePresence com vídeo e slides.

Apesar de terem criado um sistema com um conceito novo e sem dúvida útil, existem certos prob-

lemas ou aspectos que podiam ser melhorados. O Producer (apresentado na �gura re�g:producer)

apresenta algumas falhas sérias e limitações. Apresenta um fraco desempenho, pouca robustez,

grande susceptibilidade a erros e grande in�exibilidade sobre como realizar as operações, sem men-

cionar a falta de algumas funcionalidades que fariam todo sentido num ambiente de sala de aula

ou palestras (anotações).

O fraco desempenho do Producer advém essencialmente do facto de não possuir um work�ow

de informação como o SOV em Mobymedia. Para um professor publicar uma aula , tem de adi-

cionar e sincronizar slides um por um. No caso da disciplina de PCM em que cada aula tem em

média 60 slides pode-se facilmente constatar o tempo despendido para sincronizar cada slide e o

quão penoso é o processo. Este processo de pós-produção através do Producer, duma certa forma

impossibilitava um processo de pós-produção simples que constitui um dos objectivos do SOV e

obrigava o professor a visualizar o vídeo completo da aula para efectuar a sua sincronização com

os slides.

18

Page 35: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

E é com o objectivo de melhorar e colmatar essas falhas existentes no Producer que apresen-

tamos o Sketch-On-Video que é capaz de realizar não só operações já existentes no Producer como

oferecerá outras funcionalidades e ao mesmo tempo fornecendo a �exibilidade de realização das

operações.

2.6 Projecto Mobymedia

Conforme já mencionado anteriormente, o SOV constitui uma componente do projecto Moby-

media. Nesta secção apresentaremos uma visão geral deste projecto juntamente com os seus com-

ponentes. Mobymedia é um projecto patrocinado pela HP e visa a captura de todas as experiências

ocorridas numa sala de aula e a melhoria da aprendizagem fora dela através da disponibilização

de informações capturadas nesta.

O projecto Mobymedia é constituido pelos seguintes componentes como podemos observar pelo

diagrama apresentado na �gura 2.10. Como podemos observar no diagrama, dentro da sala de

aula, Mobymedia disponibiliza dois componentes, o Show'Em e o Learn'It.

O Show'Em é um componente mais direccionado ao professor permitindo a apresentação de

slides tal como a ferramenta usualmente utilizada para este �m, o Power Point. No entanto, este

componente não só permite realizar apresentações para uma audiência presente numa sala de aulas

como também permite que esta possa ser acompanhada via Web pelos alunos. Além disso, esta

ferramenta permite ao professor inovar nas suas apresentações através da possibilidade de sketches

e highlights. Todos os recursos criados durante a aula, as anotações do professor e os tempos de

transição de slides são enviados para o servidor central para posterior utilização.

Ainda no ambiente das salas de aulas, temos o Learn'It, que corresponde a componente através

da qual os alunos podem seguir via Web a apresentação de slides e anotações do professor du-

rante a aula. Este componente, não só permite a visualização das apresentações como permite aos

alunos realizarem as suas próprias anotações sobre a apresentação através de sketches, highlights

ou mesmo notas textuais. Learn'It trata-se de uma applet capaz de correr tanto em Internet Ex-

plorer como no Firefox e utiliza a linguagem Flex para a captura e desenho de notas sobre a página.

Mobymedia disponibiliza ainda mais dois componentes destinados a serem utilizados fora da sala

de aulas, o Sketch-On-Video que é a ferramenta sobre qual está tese se foca e o Learn'It novamente,

no entanto com diferente layout. De acordo com o que foi dito anteriormente, muito sucintamente,

o Sketch-On-Video obtém os recursos criados e guardados pelo Show'Em (localmente ou no servi-

dor) e as anotações realizadas pelos alunos na sala, criadas e guardadas pelo Learn'It. O professor

pode então, trabalhar com estes materiais e publicar a aula online que por sua vez, pode ser

visualizada pelos alunos através da versão Learn'It pós-aulas. Tal e qual a versão in-class está

também permite aos alunos além de visualizar suas anotações feitas na aula, criar novas anotações

sobre o arquivo.

19

Page 36: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 2.9: A interface do Producer.

Figura 2.10: Visão geral do projecto Mobymedia.

20

Page 37: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

2.7 Conclusões

Conforme estão divididos os sistemas estudados, o Sketch-On-Video sem dúvida inclui-se na cat-

egoria dos sistemas de anotações públicas/sociais, em que o sentido dessa disponibilização/dis-

tribuição será do professor para os seus alunos.

O Sketch-On-Video está inserido num ambiente de eLearning assim como alguns dos sistemas

estudados, no entanto não está orientado para o campo colaborativo ou para tirar notas durante

as aulas como é o caso do Notelook, uAnnotate, Livenotes, etc. Sketch-On-video consistirá numa

ferramenta de anotações destinada aos professores para a pós-produção das aulas onlines que,

posteriormente serão disponibilizadas aos alunos.

Os professores poderão com auxílio desse sistema moldar o conhecimento que deseja passar aos

alunos, estruturar e tornar o conteúdo mais compreensível à estes através das suas anotações sobre

uma determinada aula. Dessa forma, as aulas onlines não serão consideradas úteis apenas pelos

alunos que faltaram as aulas e precisam de saber o que foi dado, mas também para os alunos que

estiveram presentes na mesma. E a razão para tal consiste no facto da manipulação dessas, na

adição de informação ao conteúdo já apresentado na aula real que poderá fazer toda a diferença

para melhor compreensão desta.

21

Page 38: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Tabela

2.1:Tabela

decom

paraçõesde

sistemas

Sistema

Objectivo

Linguagem

Operações

Mídia

Livenotes

Colab

oração/eLearning

JavaSketch

ing

Imagem

VideoDraw

Colab

oração-

Sketch

ing

Vídeo

uAnnotate

eLearning

Flash

Sketch

ing

Imagem

,Whiteboa

rd

Sketch

Point

Apresentação

JavaGestos/

Sketch

ing

Imagem

,Whiteboa

rd

ScreenCrayons

Retrieva

lC#

Sketch

ing

Imagem

xLibris

Retrieva

lC++,Win32

API

Gestos/S

ketching

Imagem

VAnnotator,antV

Retrieva

l-

Taggin

gVídeo

LEAN

Edição/C

ontrolo-

Gestos/Segm

entação/Taggin

g/Sketch

ing

Vídeo

Videotater

Retrieva

lJava

Swing

Segmentação/

Taggin

gVídeo

ScanScrib

eEdição

deIm

agensJava

Gestos/

Sketch

ing

Imagem

Family

V.Arch

ive

Retrieva

lJava

Taggin

gVídeo

M4Note

Edição/

Retrieva

lJava

Taggin

g/Sketch

ing

Vídeo,

Áudio,

Imagem

CrossY

Desenho

C#

Gestos/

Sketch

ing

Imagem

MADCOW

eLearning

.Net,

C#

Taggin

g/Sketch

ing

Imagem

,Vídeo,

Páginas

Web

Notelook

eLearning

-Sketch

ing

Video

YAWAS

eLearning

Java,Javascript

High

lightin

gPáginas

Web

Digita

lGra�tti

Redes

Sociais-

Sketch

ing

Imagem

,Vídeo,

Áudio

22

Page 39: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Capítulo 3

Problema e Abordagem

O SOV consistirá na ferramenta que será utilizada pelo professor sempre que este necessitar en-

riquecer as suas aulas (ver �gura 3.1 na página 24), fornecendo as seguintes funcionalidades e

requisitos:

• Interface clara e de fácil manipulação.

• Capacidade de conectar-se ao servidor central de forma a obter a aula a publicar ou o arquivo

a ser alterado.

• Capacidade de seleccionar intervalos no vídeo da aula, movendo-os ou removendo-os (a par

com todas as anotações eventualmente associadas).

• Suportar as operações de inserir, mover e remover para slides, notas textuais, elos hipertex-

tos, imagens e notas em tinta digital.

• Capacidade de publicar o arquivo resultante num servidor central, em formato compatível

com ePresence [ePresence2008], suportando vários modelos de organização dos conteúdos

(template de arquivo).

• Capacidade de guardar o conteúdo original do arquivo.

Os requisitos necessários para o Sketch-On-Video foram desde cedo determinados, embora

muitos outros tenham surgido durante a utilização do protótipo na cadeira de PCM. Desde cedo

pode-se identi�car e agrupar requisitos essenciais do sistema que proveria de outros tipos de

sistemas já existentes. O Sketch-On-Video pode ser considerado uma combinação de 3 tipos de

sistemas:

1. Sistemas de sketching (ex: Paint, sistemas referidos no capítulo 2)

2. Sistemas de manipulação de vídeo (ex: Virtual Dub, Movie Maker)

3. Sistemas de sincronização de mídias (ex: ePresence Producer)

Neste capítulo apresentaremos as opções tomadas no desenvolvimento desses 3 módulos principais

do SOV assim como outros aspectos que consideramos importantes referir. Será dado a conhecer

também o modelo de dados do projecto e um protótipo multimodal deste criado em IMMI.

23

Page 40: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 3.1: A interface da ferramenta de pós-produção Sketch-On-Video.

3.1 Sketching

3.1.1 Sobre Vídeo

O primeiro passo para a construção do Sketch-On-Video consistiu no desenvolvimento de um

player de sketches (Figura 3.2). Uma ferramenta básica que permitisse desenhar sobre vídeos, e

apresentava seguintes funcionalidades:

1. Desenhar esboços sobre um vídeo. Os traços tinham como características:

(a) Cor.

(b) Espessura do traço.

(c) Tempo de ínicio.

(d) Tempo de �m.

2. Guardar informação dos esboços para posterior visualização.

3. Realizar operações de seleccionar, apagar, e editar sobre os esboços criados.

4. Abrir um projecto salvo anteriormente e visualizar os esboços.

Visto ser uma aplicação orientada à canetas é de esperar que o ambiente de utilização seja no sis-

tema operativo Windows, portanto claramente não seria necessário um sistema multi-plataforma.

Sketch Player foi desenvolvido em C# no Visual Studio, assim como o SOV.

Antes de tudo foi necessária a criação de um painel transparente sobre a tela de vídeo, onde os

strokes de tinta pudessem ser desenhados e ou visualizados. O segundo painel é necessário visto

optarmos por não modi�car os quadros do vídeo de forma a apresentar os desenhos sobre vídeo.

Dessa forma, a informação do vídeo permanece intacta sendo as anotações armazenadas em sep-

arado. Para o desenho propriamente dito, começou-se por desenvolver pequenas rotinas para a

24

Page 41: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 3.2: A interface do Sketch Player.

captura dos pontos no painel transparente sobre o vídeo no entanto, encontrou-se uma biblioteca

disponibilizada pela Microsoft que permite criar, manipular e armazenar traços, Microsoft Ink.

Esta biblioteca provém do pacote Tablet PC SDK já referido anteriormente como um dos toolkits

para o desenvolvimento de aplicações baseadas em canetas. A Microsoft Ink além de capturar os

pontos no painel e permitir-nos desenhar traços com os atributos de desenho desejados como a

cor, espessura ou mesmo outros atributos especiais criados por nós (tempo de início, �m e etc),

fornece-nos operações para a manipulação dos traços nela contida (mover, redimensionar, selec-

cionar e apagar).

Esta aplicação trabalhava apenas localmente, visto não existir nenhuma necessidade de conectar-se

ao servidor para obtenção de recursos. O utilizador simplesmente escolhia um vídeo localmente a

que deseja fazer anotações em tinta digital e após terminar guardava-as. E quando necessitasse

visualizar notas em tinta digital sobre um vídeo só precisa abrir o vídeo e carregar o �cheiro de

tinta digital guardado anteriormente.

Após o sucesso no desenvolvimento do Sketch Player pôde-se voltar para o desenvolvimento do

SOV que incluiu a integração das funcionalidades desenvolvidas no primeiro. Assim como no

Sketch Player, os traços sobre o vídeo no SOV além da posição geográ�ca na tela, guarda também

a posição temporal (o tempo de início e do �m do stroke) relativamente ao mídia principal, nesse

caso o vídeo da aula. A gestão dos sketches a serem visualizados ou não num determinado instante

deve-se a uma rotina que a cada segundo veri�ca que stroke deve estar visível (ver �gura 3.3).

3.1.2 Sobre Slides

O mecanismo de desenho de strokes sobre os slides é semelhante ao implementado para o vídeo. No

entanto, o slide corresponde a uma imagem colocada como o fundo do painel e torna desnecessário

um painel transparente sobre a zona dos slides que constituísse local para o desenho.

25

Page 42: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 3.3: Sketches sobre o vídeo e a toolbox de manipulação das propriedades da tinta digital

Figura 3.4: Notas em tinta digital sobre o slide

Outra diferença entre o sketching sobre estes mídias distintos consiste na gestão dos strokes

pois, ao contrário do que acontece quando sobre o vídeo estes não guardam a sua posição temporal

referente ao vídeo da aula. Quando sobre slides, os strokes guardam a informação do slide sobre

qual estão e dessa forma, a medida que o fundo do painel de slides muda é despoletado um evento

que identi�ca o slide visualizado e activa todos os strokes nele presentes. Podemos ver exemplo

de um slide com notas em tinta digital na �gura 3.4.

Toda a tinta digital criada pelo professor (sobre vídeo ou slide) é armazenada em formato xml

para posterior utilização ou manipulação. É comum provir do Show'Em traços produzidos pelo

professor durante a aula que podem ser visualizados e ou manipulados pelo SOV durante a pós-

produção.

26

Page 43: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

3.2 Edição de Vídeo

Conforme mencionado anteriormente, o SOV detém certas características próprias de aplicações

de edição de vídeo. É possível não só mover ou apagar partes da aula de forma a estruturar

melhor o seu conteúdo, como também introduzir outros segmentos de vídeo ou mesmo substituir

o áudio de um determinado fragmento. A grande di�culdade na implementação dessas operações

consiste na relação de dependência existente entre o vídeo e os outros médias a ele ligado devido

as suas posições temporais. Dessa forma, estão operações tinham de ter em conta a sincronização

existente entre o vídeo e o resto (slides, notas, tinta digital).

Estas operações foram integradas no SOV com a ajuda de Splicer[Splicer2008], uma biblioteca

para composição de vídeo que permite também adição de transições aos segmentos, operação co-

mum aquando da eliminação, reposição ou inserção de segmentos. Assim sendo, nos segmentos

criados pelas operações são adicionados de forma automática as transições fade-in e fade-out con-

soante a situação. Esta biblioteca foi escolhida devido ao conhecimento anterior da mesma e das

suas funcionalidades visto ter sido utilizada antes no desenvolvimento de um projecto de uma

mesa de mistura no âmbito da cadeira de PCM.

3.2.1 Eliminação e Reposição de segmentos

A eliminação de porções de vídeo foi a operação mais utilizada na edição do vídeo como mais

tarde o veremos no capítulo dos resultados. Provém da necessidade de apagar partes das aulas

desnecessárias, que possam criar alguma confusão aos alunos ou que apresentem imprevistos não

relacionados com a matéria.

A reposição de segmentos, por sua vez, nasce da necessidade de estruturar o conteúdo, permite ao

professor reorganizar a ordem temporal da explicação da matéria. Trata-se de uma operação útil

caso durante a aula o professor repare que uma parte da matéria da aula só tenha sido entendida

após a explicação duma outra parte da matéria.

Devido a sincronização existente entre o vídeo e os slides pensa-se ser inconsistente apagar

ou mover apenas uma porção da explicação de um determinado slide. Desta forma, optou-se por

considerar o tempo de duração do slide como o menor fragmento possível de uma aula e portanto,

capaz de ser apagado e movido.

Como podemos ver na �gura 3.5 o utilizador selecciona uma região dentro do intervalo de um

slide:

Figura 3.5: A região seleccionada pelo utilizador.

Automaticamente, os extremos da região seleccionada são recalculados de forma a coincidir

com o tempo inicial e �nal do(s) slide(s) em questão, como apresenta a �gura seguinte:

27

Page 44: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 3.6: Porção da aula correspondente a região seleccionada pelo utilizador.

Assim, caso o utilizador apague ou mova esse fragmento, a porção do vídeo, o slide em questão e

até mesmo as notas inseridas nesse fragmento sofrerão o mesmo tratamento. No entanto, a última

palavra pertence sempre ao utilizador. É precisa a sua con�rmação para apagar o(s) slide(s) em

questão e só quando esta é dada é desencadeada a mecânica explicada acima. Caso não, a operação

é aplicada apenas ao vídeo.

3.2.2 Inserção de segmentos

A operação de inserção tem o propósito de permitir ao professor adicionar qualquer explicação

adicional que achar necessária caso tenha reparado que a explicação dada na aula não tenha sido

su�ciente para a compreensão. A reposição de segmentos pode ser vista como a combinação de

uma operação de eliminação seguida de uma inserção. No entanto, essa inserção consiste na adição

de um segmento do mesmo vídeo e portanto, não acarreta problemas possíveis quando é inserido

um outro vídeo. As diferentes "�sionomias"dos vídeos podem trazer problemas na composição dos

mesmos. Temos aspectos importantes a testar como os codecs, a resolução ou o número de frames

por segundo para estudar a possibilidade da composição dos vídeos.

O Splicer nesse aspecto constituiu uma grande ajuda, sendo capaz de uniformizar os metada-

dos do vídeo de forma a resultar numa boa composição, com os valores por omissão de fps a 30 e

resolução de 320 por 240. Dessa forma, apenas era necessário testar se o codec do vídeo a inserir

é suportado pela aplicação e se tinha mais de 30 fps. Podemos ver na �gura 3.7 o exemplo da

inserção de um vídeo.

Figura 3.7: Operação de inserção de um segmento de vídeo no SOV

28

Page 45: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

O método de introdução de novo vídeo é simples. O utilizador indica a posição onde deseja

colocar o novo segmento e é aberta uma janela que permite ao utilizador abrir o vídeo desejado e

atribuir variáveis importantes da inserção como o intervalo de selecção ou ponto de inserção. Este

pode ainda especi�car se deseja inserir o vídeo e o áudio ou apenas o vídeo.

Quanto a sincronização nesse caso, as posições temporais todos os slides, notas e sketches acima

do ponto de inserção são actualizadas de acordo com a duração do segmento inserido.

3.2.3 Substituição de Áudio

Os imprevistos constantemente acontecem e a operação de substituição de áudio surgiu exacta-

mente através de um imprevisto. Durante a gravação de uma aula (PCM) as baterias do receptor

de áudio esgotaram-se resultando numa parte da aula sem áudio e de forma a resolver este possível

problema nasceu esta operação. Como o próprio nome diz, esta funcionalidade permite adicionar

ou substituir áudio a um determinado intervalo do vídeo da aula, algo útil não apenas em caso

de imprevistos conforme apresentado acima mas também caso o professor chegue a conclusão que

não explicou determinado excerto da aula da melhor maneira.

A substituição de áudio ao contrário das operações apresentadas acima não precisou de qual-

quer cuidado adicional respeitante a sincronização dos mídias, visto o áudio só existir anexado a

um segmento (vídeo). Este aspecto foi responsável para que não se tenha representado o áudio na

interface como habitual nas aplicações de edição de vídeo.

3.3 Sincronização de Mídias

Este módulo conforme mencionado anteriormente tem como base as operações do ePresence

Producer. O ePresence Producer era a ferramenta anteriormente utilizada pelo professor na

cadeira de PCM para a publicação das suas aulas. Esta simplesmente se ocupava da sincronização

dos slides, eliminação de secções do vídeo e da publicação da aula propriamente dita. O SOV

tanto melhorou as já existentes como criou novas operações de manipulação de forma a suportar

os novos conteúdos dantes não existentes (notas, tinta digital).

3.3.1 Slides

A sincronização de slides já era possível no ePresence Producer, no entanto o processo de adição ou

de edição destes foi melhorado, mais simples e robusto. Ao contrário do Producer, o SOV permite

adicionar slides próprios de um evento, criados a partir da apresentação Powerpoint da aula, e

também adicionar slides correspondentes a imagens externas ao evento. Além disso, possibilita a

adição e a reposição de grupos de slides.

Cada slide da apresentação tem um timestamp que corresponde ao tempo em que esse é visu-

alizado relativamente ao início da apresentação (na aula). Quando a aula é dada com o auxílio

do Show'Em este automaticamente regista as transições de slides e armazena-as no �cheiro

eventstream.xml, que corresponde o �cheiro principal de um evento. Estas transições são obtidas

pelo SOV e geralmente só é necessário encontrar no vídeo a posição onde começa a apresentação

29

Page 46: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

e sincronizar o bloco de transições de uma só vez. Dessa forma, assim que se encontrar a primeira

transição actualiza-se as restantes com base no tempo relativo a primeira existente anteriormente.

Figura 3.8: A adição ou edição de um slide da apresentação.

Caso seja necessário ou se deseje sincronizar cada slide individualmente, este sempre pode ser

adicionado ou editado com o tempo desejado conforme pode ser visto na �gura 3.8. De forma

ao utilizador ter a noção global das posições dos slides, é apresentada na interface uma lista dos

slides todos e os seus respectivos tempos que também encontram-se bem visíveis na timeline.

3.3.2 Notas

As notas tal como os slides têm uma posição temporal relativamente ao vídeo da aula, sendo

este tempo também armazenado no �cheiro eventstream.xml. A manipulação das notas é muito

semelhante a manipulação dos slides. A grande diferença reside no facto de que as notas são

temporárias ou seja têm um intervalo de tempo próprio em que estão visíveis, nesse caso a duração.

Conforme dito anteriormente, as notas podem ser textos, elos hipertextos, imagens ou mesmo

vídeos demonstração apresentados durante a aula (ver �gura 3.9).

No momento da criação é atribuida automaticamente a nota a posição actual do vídeo. No

entanto, tal como acontece com os slides é possível editar as propriedades da mesma, esta pode

ser feita recorrendo ao form de edição apresentado na �gura 3.9 ou pela manipulação directa na

timeline, caso tratar-se de um simples reposicionamento.

3.4 Outros Aspectos

3.4.1 Conectividade e Trabalho Local

Sketch-On-Video está direccionado para pós-produção de eventos e edição de arquivos ePresence,

como tal, é necessário a existência de um evento ou arquivo para posteriormente ser alterado. Os

recursos de uma apresentação usualmente encontram-se presentes no servidor central, no entanto,

é possível que o professor os tenha guardado localmente.

30

Page 47: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 3.9: A janela de adição ou edição de uma nota.

O professor pode abrir o evento ePresence (eventStream) que encontra-se guardado no seu

disco, ou pode conectar-se ao servidor e descarregar o evento no qual deseja trabalhar ou o ar-

quivo que deseja modi�car. Note-se que, desse modo as alterações não são efectuadas em modo

online, sendo necessário que os recursos sejam guardados localmente e trabalhados a partir daí.

Esta opção deve-se ao facto de ser mais �ável trabalhar localmente, com a redução do risco

de perder-se as alterações efectuadas devido a disponibilidade da rede. Após terminada a pós-

produção, o arquivo o arquivo é publicado, e caso ocorra algum problema na transferência do ar-

quivo pode-se sempre repetir a operação de transferência pois o arquivo é primeiramente guardado

localmente, o que evita a perda de informação. Para a publicação, o SOV tem de conectar-se no-

vamente ao servidor ePresence onde transfere todo o material da aula já trabalhado para que esta

�que acessível via Web aos alunos.

3.4.2 Comportamento Preditivo

Um dos principais objectivos no desenvolvimento consistiu em simpli�car o máximo possível a

vida do professor e para isso o work�ow ou a complexidade foi reduzida ao máximo. Através dos

estudos dos logs e observação da utilização do SOV pelo professor pôde-se identi�car as tarefas

mais frequentes e detectar como torná-las mais rápidas e simples.

Dessa forma, uma grande parte das tarefas como a adição de slides ou notas, ou adição de transições

fade aos segmentos, tem um comportamento preditivo. Salientamos a ideia do SOV automatica-

mente detectar a posição actual do vídeo e associá-la ao objecto criado. Este facto pode parecer

pouco importante no entanto, poupa ao utilizador 10 a 15 segundos na realização da tarefa, tempo

que torna-se signi�cativo caso a tarefa tenha de ser realizada um maior número de vezes. Por

outro lado, esse mecanismo previne erros como introdução incorrecta dos tempos por parte do

utilizador.

Além da captura automática do tempo, na adição de slides, o SOV selecciona automaticamente

31

Page 48: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

um slide que considera ser aquele com a maior probabilidade de ser inserido ou seja, o slide ime-

diatamente a seguir do último adicionado, restando ao utilizador apenas con�rmar ou seleccionar

outro.

3.4.3 Per�s de Utilização

Outra característica suportada pelo SOV que vem simpli�car o work�ow assim como dinamizar o

processo e melhorar a e�ciência em termos de directorias no servidor central consiste na existência

de per�s de utilização (ver �gura 3.10).

Figura 3.10: Edição de um per�l pelo SOV.

No Producer, o utilizador a cada publicação tinha de preencher uma série de propriedades para

a publicação, desde formatos de streaming, resolução do vídeo e as larguras de banda alvo até ao

template para o arquivo. Para além de confuso e susceptível a erros, esta con�guração em cada

publicação demora 2 a 3 minutos. Os per�s de utilização permitem guardar todas as con�gurações

necessárias para a publicação:

• O endereço do servidor ePresence e a respectiva password

• A directoria de publicação e a sua password

• Os parâmetros de codi�cação para formatos streaming

• O porta-voz ou apresentador

• O template do arquivo

Dessa forma, o professor cria uma única vez um per�l desejado para uma determinada cadeira e

só tem que utilizá-lo sempre que deseja conectar-se ao servidor ou publicar algo. Por exemplo,

o professor no início do semestre pode criar um per�l para esta cadeira, indicar a pasta para as

publicações da cadeira no servidor, os formatos de vídeo, etc, e depois jamais terá que se preocupar

32

Page 49: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

em saber onde ou como publica.

A existência de per�s de utilização além de colocar a publicação a distância de 2 cliques, per-

mite atingir outro objectivo ansiado já no início do desenvolvimento do SOV. Penso ser claro para

todos que processos de composição e codi�cação do vídeo para formatos streaming são excessiva-

mente lentos e morosos. Como tal, a existência de per�s por tornar desnecessária a con�guração

just-in-time permite-nos realizar as operações necessárias para a composição do vídeo com as al-

terações do utilizador e posteriormente a codi�cação deste para os formatos streaming no �m de

tudo. Desta forma, o utilizador não necessita esperar durante horas a composição e depois a cod-

i�cação para por �m, poder fazer a publicação (upload). Tendo todos os parâmetros necessários

para a publicação, o SOV compõe o vídeo �nal, codi�ca-o e por �m realiza o upload deste para o

servidor sem necessitar qualquer intervenção humana.

3.4.4 Conceito de Contexto

Sketch-On-Video trabalha com base numa cadeia de contextos. Um contexto contém toda a

informação sobre os componentes ou objectos manipulados pelo SOV, dá-nos uma ideia do estado

do programa encapsulando dados como:

• Chunks de vídeos que compõem o vídeo principal;

• Slides e notas que fazem parte do evento num determinado instante;

• Informações referentes ao evento no servidor, localização, identi�cação, etc;

• Strokes feitos até ao momento.

Num dado instante existe um contexto actual e consoante uma alteração do estado do programa

e seus objectos, como a adição de um novo slide ou remoção de um segmento de vídeo, o contexto

actual é colocado no �m da cadeia de contextos do programa e é criado um novo contexto com as

alterações efectuadas. Este último contexto criado passa assim a ser o contexto actual do programa.

Esta característica permite-nos fornecer ao utilizador o controlo do estado do programa através

da possibilidade de optar por desfazer (undo) ou refazer (redo) as operações. O undo signi�ca

aceder e restaurar o estado do contexto anterior ao contexto actual na cadeia de contexto e o redo

restaura o estado do contexto posterior ao contexto actual se existir.

3.5 Limitações

O Sketch-On-Video assim como qualquer outra ferramenta apresenta certas limitações que por

falta de tempo ou alternativas persistiram. Enumeramos as principais limitações:

• Limitação em termos de formatos de vídeos suportados.

• Falta de visualização da tinta digital existente como um objecto da timeline.

• Edição de vídeos limitada, pois só permite as operações de edição acima descritas (eliminação,

reposição e inserção de segmentos de vídeo, e anexação de áudio.

33

Page 50: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

• Permite a re-publicação do arquivo apenas caso não haja alterações no vídeo.

34

Page 51: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Capítulo 4

Avaliação e Discussão

Neste capítulo apresentamos os testes e métodos de avaliação utilizados no desenvolvimento do

SOV. A avaliação do SOV foi realizada com base nos resultados obtidos através de três eventos

distintos:

• A integração do SOV no exercício duma aula prática de PCM em que os alunos puderam

utilizá-lo como uma ferramenta de pós-produção e dar o seu feedback nos mais variados

aspectos.

• Acompanhamento da interacção de um professor com o SOV ao longo do segundo semestre

do ano 2007/2008 e o estudo dos logs resultantes desta utilização do SOV.

• Sessão de exercícios de comparação com o Producer realizada com cinco utilizadores.

Os resultados recaiem sobre os testes efectuados numas aulas de PCM juntamente com os alunos

e sobre os estudos efectuados sobre os registos de execução do programa ao longo do semestre.

4.1 SOV numa aula de pós-produção

O Sketch-On-Video foi integrado no exercício das aulas de PCM na semana de 31 de Março a

02 de Abril de 2008. Consistiram em 4 aulas práticas distribuídas pelos dois pólos (Alameda e

TagusPark), constituidas no total por 40 alunos. A matéria das aulas dessa semana recaíam sobre

a produção e pós-produção de conteúdos multimédia, sendo o Sketch-On-Video apresentado como

um exemplo de uma aplicação de pós-produção.

Foi realizada uma apresentação do projecto (�gura 4.1) aos alunos em que esclarecia acerca do

que realmente se tratava, os seus objectivos, as suas principais funcionalidades e as relações com

outros tipos de sistemas:

• ePresence Producer que consiste no sistema sobre o qual o SOV é baseado e cujo o objectivo

principal é sincronizar os slides e vídeos e publicá-los na Web (servidor ePresence).

• Sistemas de Sketching, por permitir anotações em tinta digital tanto sobre os slides como

sobre o vídeo. Foram apresentados algumas interfaces desses sistemas.

35

Page 52: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 4.1: Apresentação do Sketch-On-Video aos alunos.

• Sistemas de Manipulação de vídeo, por permitir a selecção, remoção, reposicionamento e

inserção de chunks de vídeo.

Foram apresentados alguns projectos da cadeira dos anos anteriores que tinham a manipulação de

vídeos como principal funcionalidade.

Aos alunos dos turnos de segunda-feira foi ainda apresentada uma demo do Sketch-On-Video

que apresentava as suas principais funcionalidades e instruía sobre como realizá-las. Dessa forma,

estes alunos ao interagirem com a aplicação já tinham uma noção mínima do que fazer para con-

seguirem atingir certos objectivos. Por outro lado, aos alunos dos turnos de quarta-feira não foi

apresentada qualquer demo ou manual de instruções, o que tornava o seu primeiro contacto com o

Sketch-On-Video totalmente desprovido de conhecimentos sobre a sua utilização. Essa diferença

permite veri�car se a interface do Sketch-On-Video é su�cientemente auto-explicativa de tal forma

a que os comportamentos dos dois conjuntos de alunos sejam semelhantes.

Através duma observação super�cial dos alunos dos dois conjuntos durante a aula não notou-

se grandes diferenças em termos de comportamento/interacção com o programa. No entanto,

espera-se tirar conclusões mais �dedignas depois da análise do questionário que foi disponibilizado

aos alunos de forma a avaliarem a aplicação.

4.1.1 Exercício

Conforme mencionado anteriormente a matéria das aulas práticas tratava-se da produção e pós-

produçao de conteúdos multimédia. Foram disponibilizados aos alunos materiais sobre exploração

espacial (músicas, vídeos, imagens) para o exercício.

O objectivo do exercício era criarem uma apresentação em formato ePresence com o auxílio da

ferramenta Sketch-On-Video utilizando algumas das suas funcionalidades disponíveis. No entanto,

36

Page 53: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

visto o Sketch-On-Vídeo apresentar-se como uma ferramenta de pós-produção que nesse caso

permite sincronizar vídeos e slides e enriquecer o conteúdo com adição de notas, é necessário

produzir conteúdos a serem usados pelo mesmo (parte da produção de conteúdos).

Após a produção de conteúdos, imagens manipuladas através do Gimp e vídeo �nal resultante

de misturas de vídeos e áudio criados com auxílio de Windows Movie Maker ou de um dos projectos

da cadeira (video mixer) do ano anterior passou-se a fase da pós-produção. Apresentou-se seguintes

passos ou condições a serem satisfeitas para a criação da apresentação:

• Executar Sketch-On-Video

• Carregar o vídeo e adicionar os slides a sincronizar com o mesmo.

• Acrescentar uma nota textual de 8 segundos numa posição à sua escolha.

• Adicionar uma imagem (local ou web) relacionada com o tema da apresentação no início do

vídeo com duração de 10s.

• Mudar a posição da nota textual criada (30 segundos acima ou abaixo).

• Seleccionar a porção de vídeo associado ao primeiro slide e movê-la para o �m do vídeo.

• Apagar o intervalo entre 20s e 30s.

• Aceder a toolBox da tinta e desenhar sobre o vídeo. O desenho deve estar activo de 30

segundos aos 50 segundos.

• Desenhar "FIM"no último slide.

• Guardar o projecto.

• Fechar o programa e voltar a executar

• Abrir o projecto anteriormente guardado

• Aplicar as alterações ao vídeo.

Visto tratar-se de um exercício para uma aula prática, com vários grupos de alunos em si-

multâneo, não convinha restringir por completo o que estes podiam fazer e como tal era impos-

sível registar tempos, número de erros e outras métricas como médidas de avaliação da aplicação.

Dessa forma, além do registo dos bugs e di�culdades encontradas pelos alunos na realização do

exercício foi-lhes proposto o preenchimento de um questionário (em anexo) que será utilizado

para avaliar/melhorar o Sketch-On-Video. O exercício de pós-produção teve a duração de 8 a 15

minutos.

4.1.2 Resultados e Discussão

Obteve-se 32 respostas ao questionário. Através das respostas pôde-se detectar e registar os bugs

do programa, obter sugestões de melhoria tanto ao nível da interface como ao nível do desempenho

e essencialmente pode-se avaliar a interface do programa e "medir"a satisfação na utilização por

parte dos alunos.

37

Page 54: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

As respostas demonstraram também o que os alunos de multimédia, como potenciais criadores

de apresentações multimédia, pensavam de uma ferramenta com a utilidade do SOV, sendo esta

considerada como "Muito Útil"por 90,6% das respostas (ver �gura 4.2).

Figura 4.2: Grá�co de respostas quanto a utilidade do SOV.

Esta receptividade em conjunto com a satisfação na utilização do SOV respondem desde já o

porquê da criação do Sketch-On-Video. Este é visto como uma ferramenta muito útil, possível de

se utilizar e obter um alto grau de satisfação devido ao seu desempenho. O alto nível de satisfação

deve-se com certeza ao facto de apenas 5 respostas serem negativas quanto ao sucesso na �naliza-

ção do teste.

Convém ainda focar algo importante, o facto de ter havido uma diferença no que foi mostrado

aos conjuntos de testes. De acordo com o que foi dito anteriormente, aos turnos das aulas práti-

cas de segunda feira foram-lhes adicionalmente apresentados um vídeo demonstração do SOV

exibindo as suas principais funcionalidades. Dessa forma, era de esperar uma grande diferença

no que diz respeito ao cumprimento das operações todas pedidas no teste caso a interface não

fosse su�cientemente auto-explicativa. Esta diferença passou-se despercebida nos resultados dos

testes dos dois grupos. Obtivemos 18 respostas ao inquérito dos turnos nos quais o vídeo foi

apresentado, em que 2 alunos foram incapazes de terminar o exercício face aos 3 registados nos

outros turnos. Outro aspecto que demonstra que o facto de apenas um grupo ter visto o vídeo

não consiste numa diferença signi�cativa de forma a poder originar diferentes comportamentos

consiste na distribuição do nível de di�culdade atribuida a interface do SOV. Segundo o grá�co na

�gura 4.3, podemos veri�car que ainda obtivemos 6 respostas acusando a di�culdade da interface

e essas são igualmente distribuídas pelos dois grupos de testes. Estas respostas nasceram mais

concretamente devido a certos aspectos da interface que suscitavam con�itos ou induziam a erros,

como a topologia e a mecânica da timeline ou os botões da interface pouco claros quanto aos seus

objectivos. Pudemos concluir isto graças às perguntas de resposta aberta e também a avaliação da

di�culdade de realização de algumas tarefas importantes do SOV como a adição/edição de slides, a

adição de notas, a navegação pela timeline, a selecção de chunks de vídeo e a reposição dos mesmos.

38

Page 55: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 4.3: Grá�co da complexidade atribuida a interface de SOV.

Tendo em conta os resultados obtidos acerca da di�culdade em algumas operações essenciais

Figura 4.4: 94% dos alunos con�rmam que voltariam a utilizar SOV.

do SOV, podemos concluir que a maior di�culdade encontrada pelos alunos foi a manipulação da

timeline em operações como a selecção e o movimento dos segmentos. A solução para tal problema

passou pela mudança do mecânica de selecção que por ser muito parecida com a de navegação

provocava certos incidentes na utilização. A navegação é feita através de cliques sobre a faixa

temporal que permitem trasladar a reprodução do vídeo para a posição indicada enquanto que

a selecção implicava um clique e manter premido o botão do rato até o �m (ou o início caso a

selecção seja no sentido direita-esquerda) do intervalo.

Essa semelhança provocava problemas como o utilizador querer navegar no vídeo mas o clique

ser efectuado com um ligeiro movimento e ao invés de passar para aquela posição do vídeo ser se-

leccionada a ín�ma zona entre o mouse down e o mouse up. Portanto, a selecção passou a ser feita

com a especi�cação do ponto inicial e �nal do intervalo sem o arrastar do rato sobre a faixa. Outra

melhoria efectuada quanto a essa componente da interface consistiu na introdução de diferentes

tipos de cursor para cada uma das fases. Por exemplo, temos uma mão aberta quando passamos

sobre uma zona seleccionada e uma mão fechada assim que agarramos a tal zona (drag-and-drop).

39

Page 56: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Estes testes foram extremamente importantes pois pôde-se tirar deles conclusões importantes,

apontando para fenómeno de que foi considerado como muito útil para 90,6% dos estudantes e

que 93,8% (�gura 4.4) das respostas con�rmam tornariam a utilizar o SOV para este tipo de apre-

sentações, o que demonstra duma certa forma sucesso no primeiro contacto com Sketch-On-Video.

Desse contacto, pôde-se ainda identi�car pontos fracos do SOV dignos de melhoria e adquirir novas

ideias provindas dos alunos, que visto serem alunos de multimédia tinham sempre conselhos inter-

essantes quanto a interface e o modo de funcionamento do programa. Apresentamos em seguida

algumas das sugestões dos alunos tidas em conta além das melhorias óbvias retiradas do teste:

• Pausar a reprodução do vídeo imediatamente no momento da introdução do novo slide.

• Permitir acrescentar um conjunto de slides e não apenas individualmente.

• Permitir existir uma certa independência entre o vídeo e o slide quando desejado pelo uti-

lizador

4.2 Observação da Interacção Professor-SOV e o Estudo dos

logs

Conforme dito anteriormente, o Sketch-On-Video esteve em uso durante o segundo semestre do

ano lectivo 2008/2009 no âmbito da cadeira de PCM. Houve um total de 24 aulas teóricas dessa

disciplina durante esse semestre, no entanto apenas contamos com o registo de pós-produção a

partir da aula 8. Destas últimas 16 aulas (aula 8 à 23) foram estudados apenas os logs das sessões

de pós-produção realizadas pelo professor de forma a obtermos resultados mais �dedignos visto as

restantes aulas terem sido publicadas por nós.

Tivemos oportunidade de acompanhar a sessão de pós-produção da maior parte dessas aulas e nos

logs foram registados todos os aspectos de execução e estados do programa também necessários

para casos de depuração de erros, mas apenas serão aqui apontadas variáveis essenciais quanto a

"qualidade"de execução do programa. Os aspectos aqui focados são:

• Tempo médio de utilização até a publicação.

• Tempo de utilização até a publicação descriminado por aula.

• Número total de erros (média e descriminado por aula).

• Frequência das operações.

• Tempo de con�guração da publicação.

A tabela abaixo contabiliza o número de erros realizados por cada sessão de pós-produção e

a duração de tempo que este processo consumiu. Os erros realizados pelo utilizador são contabi-

lizados a partir do número de vezes que este opta por realizar o undo duma determinada operação.

Como podemos ver pela tabela 4.1, obtemos uma média de 3 erros e cerca de 15 minutos

por sessão de pós-produção. Convém apontar que grande parte dos erros obtidos eram efectuados

40

Page 57: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Tabela 4.1: Medidas tiradas em cada sessão de pós-produção realizada pelo professor.Número de Erros Duração Principais Operações

Aula 9 7 20min Navegação (-)Eliminação de segmentos (2)Adição/Remoção de Slides (4)

Aula 11 6 18min Navegação (-)Eliminação de segmentos (1)Adição/Remoção de Slides (3)

Aula 12 5 16min Navegação (-)Eliminação de segmentos (2)Adição/Remoção de Slides (5)

Aula 15 4 17min Navegação (-)Eliminação de segmentos (3)Adição/Remoção de Slides (2)

Aula 18 4 15min Navegação (-)Eliminação de segmentos (1)Adição/Remoção de Slides (2)

Aula 19 3 15min Navegação (-)Eliminação de segmentos (3)Adição/Remoção de Slides (4)

Aula 20 2 13min Navegação (-)Eliminação de segmentos (1)Adição/Remoção de Slides (1)

Aula 21 2 9min Navegação (-)Eliminação de segmentos (2)Adição/Remoção de Slides (2)

Aula 23 1 10min Navegação (-)Eliminação de segmentos (2)Adição/Remoção de Slides (2)

durante a interacção com a timeline (na navegação e selecção de segmentos). Podemos ainda

observar, como seria de esperar, a redução do número de erros efectuados ao longo do tempo na

utilização com o SOV, o que demonstra a crescente familiaridade com a aplicação além de certas

alterações a determinadas funcionalidades como a adição de slides, selecção de segmentos e outras.

A redução também é visível no tempo necessário para a pós-produção. As razões para este facto

devem-se não só a familiaridade como também a implementação de um comportamento preditivo

do SOV em certas operações e a criação de per�s de utilização que vêm não só reduzir a complexi-

dade da publicação como vem reduzir quase por completo o tempo necessário para a con�guração

desta (aproximadamente 3 minutos).

Tivemos a chance de acompanhar e observar o professor Joaquim Jorge em várias sessões de

pós-produção e publicação das aulas, o que nos pôde comprovar a di�culdade existente na con-

cretização das operações de navegação e selecção de segmentos de vídeo através da timeline. Além

disso, a constante observação da utilização do SOV pelo professor permitiu-nos determinar certas

operações-padrão que ora devia ser simpli�cada ora devia ser realizada duma forma automática

pela aplicação de forma a facilitar a vida ao utilizador. E foi dessas situações que foram criadas

as operações com o comportamento preditivo mencionado no capítulo três.

41

Page 58: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

4.3 SOV Versus Producer

Nesta secção, apresentaremos um estudo de comparação entre o SOV e o Producer. Será apre-

sentada uma comparação qualitativa com base na experiência pessoal de utilização do Producer

e SOV, e em testemunhos obtidos por antigos utilizadores do Producer e que actualmente uti-

lizam SOV. Adicionalmente apresentaremos uma comparação quantitativa com base nos testes

com utilizadores onde estes puderam interagir com ambas as ferramentas e pudemos obter algu-

mas medidas de desempenho como: o tempo necessário para a realização do exercício, o número

de erros cometidos, a nota de satisfação de desempenho dada pelo utilizador e o factor de sucesso

na �nalização da tarefa.

No entanto, o nosso grande objectivo foi alcançado, o de criar uma ferramenta que pudesse

substituir o ePresence Producer que já era utilizada pelo professor para a publicação das suas

aulas. É de salientar que basicamente permitia a sincronização dos médias: slides e vídeo, a

eliminação de chunks de vídeo e a publicação propriamente dita como podemos veri�car na tabela

comparativa de operações apresentada na �gura 4.5.

Figura 4.5: Tabela comparativa de operações: SOV Vs Producer. *Producer apenas permitesincronização ou manipulação individual de slides. **Parâmetros de con�guração precisam serconstantemente introduzidos.

Além de integrar novas funcionalidades como o sketching e outras operações de edição de vídeo,

SOV também apresenta melhorias referentes àquelas já existentes no Producer. Podemos nomear

operações como inserção de slides em grupo ou mesmo reposicionamento em bloco desses médias

como sendo algumas das operações que vêm reduzir signi�cativamente o tempo anteriormente

necessário pelo Producer para a publicação da aula. Este apenas permite a sincronização individ-

ual de slides o que acarreta grande esforço por parte do utilizador ao adicionar e reposicionar slides

42

Page 59: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

um a um. Ao contrário do SOV, Producer mesmo no processo de adição de slides não fornece

ao utilizador qualquer vista global dos slides existentes na apresentação e que portanto, pode ser

adicionado, assim como também não fornece a priori qualquer informação visual do slide a ser

adicionado até que este seja realmente adicionado.

Existem ainda dois aspectos do SOV que conferem uma maior e�ciência na sua execução, sendo

elas, a existência de per�s de utilização e o comportamento preditivo. Os per�s de utilização vêm

eliminar o tempo desperdiçado pelo Producer na constante necessidade de introdução de parâmet-

ros de publicação a cada publicação. Estes per�s englobam toda a con�guração necessária para

um determinado tipo de publicação e uma vez criados, o utilizador só tem que seleccionar o tipo de

publicação desejada através duma simples selecção entre per�s existentes. Por �m, temos o com-

portamento preditivo do SOV que nasceu através da visualização de interacções entre utilizadores

e SOV, e também das medidas registadas pelos logs que nos forneceu as tarefas mais frequentes.

A ideia consiste em automatizar certas tarefas de forma a simpli�car a vida ao utilizador. Alguns

exemplos deste comportamento são:

• A detecção automática da tempo actual do vídeo principal e a sua associação a qualquer

objecto que seja criado ou reposicionado. Por exemplo, quando o utilizador opta por adi-

cionar um slide, automaticamente ao slide é associado o tempo actual do vídeo tornando

desnecessário introdução manual da posição temporal do slide pelo utilizador.

• A predição do próximo slide a ser adicionado com base no último adicionado. Os slides

encontram-se numerados e automaticamente quando o utilizador opta por adicionar um

novo slide, é pré-seleccionado o slide imediatamente superior ao último adicionado.

• Adição automática de transições fade-in e fade-out de forma a evitar a transição bruta de

quadros de vídeo.

Estes aspectos todos explicam os resultados obtidos em testes com utilizadores. Os testes foram

realizados com 5 utilizadores com duração total de quarenta e cinco minutos. O teste baseou-se

na realização de pequenas tarefas. Foram disponibilizados slides para uma apresentação e o vídeo

que serviu como o média principal. Visto ser um teste de comparação as operações efectuadas

foram as possíveis pelos dois sistemas. Os utilizadores puderam adicionar e sincronizar slides em

posições pedidas do vídeo, editar conteúdos de slides, cortar porções de vídeo e publicar.

Na �gura 4.6 podemos observar os principais resultados da sessão de testes através do qual

podemos constatar um melhor comportamento que o Producer. Adicionalmente o nível de satis-

fação do desempenho dos utilizadores diferem duma forma signi�cativa tendo o SOV obtido três

'bons' e dois 'satisfatórios' face os três 'insatisfatórios' e dois 'satisfatórios' do Producer.

Estes resultados de desempenho e as características faladas acima tornam o SOV superior ao

Producer tanto em termos qualitativos como quantitativos, possibilitando uma redução extrema

de tempo necessário para a publicação na ordem de 5 a 10 minutos.

43

Page 60: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Figura 4.6: Medidas tiradas da sessão de teste SOV vs Producer,

44

Page 61: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Capítulo 5

Conclusão

Consideramos desde já que o SOV é um sucesso, incorporou o conceito de uma ferramenta já exis-

tente e que era utilizada para o propósito de publicação de aulas em cenário Web (ePresence), e não

só melhorou as funcionalidades oferecidas por esta como integrou outras. Estas novas funcionali-

dades vêm destacá-lo no contexto de eLearning sem necessitar adicionar uma maior complexidade

na utilização deste. De acordo com a avaliação realizada do SOV e apresentada no capítulo ante-

rior podemos concluir que o SOV oferece uma melhor interface, maior �exibilidade em termos de

como realizar determinadas operações, mais funcionalidade, melhor desempenho e a possibilidade

de uma utilização com menos nível de stress e maior satisfação que o Producer.

O SOV foi sempre falado no contexto de eLearning mas convém salientar que este não se trata

simplesmente de uma ferramenta de pós-produção e publicação das aulas. Além disso, o SOV é

um editor hipermédia para criação de apresentações multimédia mais ricas e publicá-las na Web.

Dessa forma, o seu público-alvo deixa de ser, apenas, os professores que desejem ter as suas aulas

disponíveis aos seus estudantes na Internet mas também qualquer estudante ou trabalhador, no

contexto escolar, laboral ou simplesmente de lazer, que queira ter apresentações suas disponíveis

na Web.

Sketch-On-Video no futuro poderá ser substituído assim como substituiu o ePresence Producer,

quando aparecerem outras ferramentas com os mesmos objectivos, que ofereçam as mesmas fun-

cionalidades e até mais do que as oferecidas pelo SOV e com melhor qualidade. Acreditamos que

o SOV não é perfeito. Foi implementado em menos de um ano por uma única pessoa e mesmo

durante esse tempo, a atenção não pôde ser totalmente direccionada à implementação deste. No

entanto, acreditamos que este apresenta um comportamento robusto e e�caz, assim como, apre-

senta um grande potencial em termos da sua utilização para melhor aprendizagem dos alunos.

Conforme os resultados obtidos, apresentados no capítulo anterior, tudo indica que estamos no

bom caminho para obtenção de uma ferramenta de qualidade e realmente útil para eLearning e não

só. Não obstante, independentemente do facto destes resultados serem bons no que diz respeito

ao SOV, este é apenas um sub-projecto de um projecto mais ambicioso, o Mobymedia, e portanto

seria interessante um estudo do impacto do mesmo sobre os estudantes.

45

Page 62: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Um estudo desses não é possível concluir num espaço de um ano, pois temos de considerar muitas

variáveis e muitas interrogações a responder. Os alunos anotam mais? As notas estão melhores?

Parecem mais motivados? Entre muitas outras...

5.1 Trabalho Futuro

Apesar do comportamento e balanço positivo do Sketch-On-Video temos a noção de que exis-

tem aspectos e algum trabalho futuro para melhoria do SOV. Pensamos ser importante tratar os

aspectos de concorrência de forma a ser possível múltiplas instâncias do SOV em execução em

simultâneo podendo assim o utilizador publicar ao mesmo tempo mais que uma apresentação no

mesmo computador.

Outra limitação que seria útil resolver deve-se ao facto dos slides só poderem ser manipulados

via menus (menus contexto e principal), conferíamos mais �exibilidade a ferramenta possibili-

tando que este também possa ser manipulado por manipulação directa (por exemplo, através da

manipulação de objectos representativos dos slides na timeline). O mesmo acontece no caso dos

strokes que não são visíveis na timeline e portanto não-manipuláveis através desta. Seria necessário

adicionar uma vista representativa dos sketches existentes na aula. Por exemplo, acrescentar uma

faixa para visualização de todos os strokes feitos e permitir que possam ser manipuladas as suas

características a partir da faixa de tinta.

Temos ainda ideias como permitir o zoom de partes seleccionadas do slide para sketching, im-

plementar mais funcionalidades de edição de vídeo como a possibilidade de aplicação de �ltros e

outras transições, a detecção automática do início da apresentação no vídeo da aula para a sin-

cronização de slides e a possibilidade de pesquisa de notas existentes como forma de recuperação

de informação.

46

Page 63: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Bibliogra�a

[Abowd et al.1996] Abowd, G. D., Atkeson, C. G., Feinstein, A., Hmelo, C., Kooper, R., Long, S.,

Sawhney, N., and Tani, M. 1996. Teaching and learning as multimedia authoring: the classroom

2000 project. In MULTIMEDIA '96: Proceedings of the fourth ACM international conference

on Multimedia, pages 187�198, New York, NY, USA. ACM Press.

[Abowd et al.2003] Abowd, G. D., Gauger, M., and Lachenmann, A. 2003. The family video

archive: an annotation and browsing environment for home movies. In MIR '03: Proceedings of

the 5th ACM SIGMM international workshop on Multimedia information retrieval, pages 1�8,

New York, NY, USA. ACM Press.

[Anderson et al.2004] Anderson, R. J., Hoyer, C., Wolfman, S. A., and Anderson, R. 2004. A

study of digital ink in lecture presentation. In CHI '04: Proceedings of the SIGCHI conference

on Human factors in computing systems, pages 567�574, New York, NY, USA. ACM Press.

[Apitz and Guimbretière2004] Apitz, G. and Guimbretière, F. 2004. Crossy: a crossing-based

drawing application. In UIST '04: Proceedings of the 17th annual ACM symposium on User

interface software and technology, pages 3�12, New York, NY, USA. ACM.

[Bargeron and Moscovich2003] Bargeron, D. and Moscovich, T. 2003. Re�owing digital ink an-

notations. In CHI '03: Proceedings of the SIGCHI conference on Human factors in computing

systems, pages 385�393, New York, NY, USA. ACM Press.

[Bederson and Hollan1994] Bederson, B. B. and Hollan, J. D. 1994. Pad++: a zooming graphical

interface for exploring alternate interface physics. In UIST '94: Proceedings of the 7th annual

ACM symposium on User interface software and technology, pages 17�26, New York, NY, USA.

ACM.

[Bertini et al.2007] Bertini, M., Bimbo, A. D., Torniai, C., Grana, C., and Cucchiara, R. 2007.

Dynamic pictorial ontologies for video digital libraries annotation. In MS '07: Workshop on

multimedia information retrieval on The many faces of multimedia semantics, pages 47�56, New

York, NY, USA. ACM Press.

[Bottoni et al.2004] Bottoni, P., Civica, R., Levialdi, S., Orso, L., Panizzi, E., and Trinchese, R.

2004. Madcow: a multimedia digital annotation system. In AVI '04: Proceedings of the working

conference on Advanced visual interfaces, pages 55�62, New York, NY, USA. ACM Press.

47

Page 64: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

[Carter et al.2004] Carter, S., Churchill, E., Denoue, L., Helfman, J., and Nelson, L. 2004. Digital

gra�ti: public annotation of multimedia content. In CHI '04: CHI '04 extended abstracts on

Human factors in computing systems, pages 1207�1210, New York, NY, USA. ACM Press.

[Chatti et al.2006] Chatti, M. A., Sodhi, T., Specht, M., Klamma, R., and Klemke, R. 2006. u-

annotate: An application for user-driven freeform digital ink annotation of e-learning content.

In ICALT '06: Proceedings of the Sixth IEEE International Conference on Advanced Learning

Technologies, pages 1039�1043, Washington, DC, USA. IEEE Computer Society.

[Chiu et al.1999] Chiu, P., Kapuskar, A., Reitmeier, S., and Wilcox, L. 1999. Notelook: taking

notes in meetings with digital video and ink. In MULTIMEDIA '99: Proceedings of the seventh

ACM international conference on Multimedia (Part 1), pages 149�158, New York, NY, USA.

ACM Press.

[Correia and Chambel1999] Correia, N. and Chambel, T. 1999. Active video watching using an-

notation. In MULTIMEDIA '99: Proceedings of the seventh ACM international conference on

Multimedia (Part 2), pages 151�154, New York, NY, USA. ACM Press.

[Costa et al.2002] Costa, M., Correia, N., and Guimarães, N. 2002. Annotations as multiple per-

spectives of video content. In MULTIMEDIA '02: Proceedings of the tenth ACM international

conference on Multimedia, pages 283�286, New York, NY, USA. ACM Press.

[Dan R. Olsen et al.2004] Dan R. Olsen, J., Taufer, T., and Fails, J. A. 2004. Screencrayons:

annotating anything. In UIST '04: Proceedings of the 17th annual ACM symposium on User

interface software and technology, pages 165�174, New York, NY, USA. ACM Press.

[Denoue and Vignollet2000] Denoue, L. and Vignollet, L. 2000. An annotation tool for web

browsers and its applications to information retrieval. In Recherche d'Information Assistée

par Ordinateur, Paris, France.

[Diakopoulos and Essa2006] Diakopoulos, N. and Essa, I. 2006. Videotater: an approach for pen-

based digital video segmentation and tagging. In UIST '06: Proceedings of the 19th annual

ACM symposium on User interface software and technology, pages 221�224, New York, NY,

USA. ACM Press.

[ePresence2008] ePresence 2008. Página do ePresence. http://epresence.tv/ (Última Visita:

25/08/2008).

[Gabrielli and Law2003] Gabrielli, S. and Law, A. 2003. Annotation in the wild: bene�ts of linking

paper to digital media. In CHI '03: CHI '03 extended abstracts on Human factors in computing

systems, pages 890�891, New York, NY, USA. ACM Press.

[Golovchinsky and Denoue2002] Golovchinsky, G. and Denoue, L. 2002. Moving markup: reposi-

tioning freeform annotations. In UIST '02: Proceedings of the 15th annual ACM symposium on

User interface software and technology, pages 21�30, New York, NY, USA. ACM Press.

[Goularte et al.2004] Goularte, R., Cattelan, R. G., Camacho-Guerrero, J. A., Valter R. Inácio,

J., and da Graça C. Pimentel, M. 2004. Interactive multimedia annotations: enriching and

48

Page 65: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

extending content. In DocEng '04: Proceedings of the 2004 ACM symposium on Document

engineering, pages 84�86, New York, NY, USA. ACM Press.

[Goularte et al.2003] Goularte, R., dos Santos Moreira, E., and da Graça C. Pimentel, M. 2003.

Structuring interactive tv documents. In DocEng '03: Proceedings of the 2003 ACM symposium

on Document engineering, pages 42�51, New York, NY, USA. ACM.

[Hong and Landay2006] Hong, J. I. and Landay, J. A. 2006. Satin: a toolkit for informal ink-

based applications. In SIGGRAPH '06: ACM SIGGRAPH 2006 Courses, page 7, New York,

NY, USA. ACM Press.

[Joseph J. LaViola2006] Joseph J. LaViola, J. 2006. Sketching and gestures 101. In SIGGRAPH

'06: ACM SIGGRAPH 2006 Courses, page 2, New York, NY, USA. ACM.

[Kam et al.2005] Kam, M., Wang, J., Iles, A., Tse, E., Chiu, J., Glaser, D., Tarshish, O., and

Canny, J. 2005. Livenotes: a system for cooperative and augmented note-taking in lectures. In

CHI '05: Proceedings of the SIGCHI conference on Human factors in computing systems, pages

531�540, New York, NY, USA. ACM Press.

[Karpenko and Hughes2006a] Karpenko, O. A. and Hughes, J. F. 2006a. Implementation details

of smoothsketch: 3d free-form shapes from complex sketches. In SIGGRAPH '06: ACM SIG-

GRAPH 2006 Sketches, page 51, New York, NY, USA. ACM Press.

[Karpenko and Hughes2006b] Karpenko, O. A. and Hughes, J. F. 2006b. Smoothsketch: 3d free-

form shapes from complex sketches. In SIGGRAPH '06: ACM SIGGRAPH 2006 Papers, pages

589�598, New York, NY, USA. ACM Press.

[Kirk and Fraser2006] Kirk, D. and Fraser, D. S. 2006. Comparing remote gesture technologies

for supporting collaborative physical tasks. In CHI '06: Proceedings of the SIGCHI conference

on Human Factors in computing systems, pages 1191�1200, New York, NY, USA. ACM Press.

[Li et al.2003] Li, Y., Landay, J. A., Guan, Z., Ren, X., and Dai, G. 2003. Sketching informal

presentations. In ICMI '03: Proceedings of the 5th international conference on Multimodal

interfaces, pages 234�241, New York, NY, USA. ACM Press.

[Liao et al.2003] Liao, C., Liu, Q., Kimber, D., Chiu, P., Foote, J., and Wilcox, L. 2003. Shared

interactive video for teleconferencing. In MULTIMEDIA '03: Proceedings of the eleventh ACM

international conference on Multimedia, pages 546�554, New York, NY, USA. ACM Press.

[Lin et al.2000] Lin, J., Newman, M. W., Hong, J. I., and Landay, J. A. 2000. Denim: �nding

a tighter �t between tools and practice for web site design. In CHI '00: Proceedings of the

SIGCHI conference on Human factors in computing systems, pages 510�517, New York, NY,

USA. ACM Press.

[Mackay1989] Mackay, W. E. 1989. Eva: an experimental video annotator for symbolic analysis

of video data. volume 21, pages 68�71, New York, NY, USA. ACM Press.

[Mackay and Davenport1989] Mackay, W. E. and Davenport, G. 1989. Virtual video editing in

interactive multimedia applications. Commun. ACM, 32(7):802�810.

49

Page 66: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

[Marshall1997] Marshall, C. C. 1997. Annotation: from paper books to the digital library. In

DL '97: Proceedings of the second ACM international conference on Digital libraries, pages

131�140, New York, NY, USA. ACM Press.

[Mynatt et al.1999] Mynatt, E. D., Igarashi, T., Edwards, W. K., and LaMarca, A. 1999. Flatland:

new dimensions in o�ce whiteboards. In CHI '99: Proceedings of the SIGCHI conference on

Human factors in computing systems, pages 346�353, New York, NY, USA. ACM Press.

[Ou et al.2003] Ou, J., Fussell, S. R., Chen, X., Setlock, L. D., and Yang, J. 2003. Gestural

communication over video stream: supporting multimodal interaction for remote collaborative

physical tasks. pages 242�249.

[Ramos and Balakrishnan2003] Ramos, G. and Balakrishnan, R. 2003. Fluid interaction tech-

niques for the control and annotation of digital video. In UIST '03: Proceedings of the 16th

annual ACM symposium on User interface software and technology, pages 105�114, New York,

NY, USA. ACM Press.

[Recognizer2008] Recognizer, D. 2008. Página do reconhecedor $1. http://depts.washington.

edu/aimgroup/proj/dollar/ (Última Visita: 25/08/2008).

[SATIN2008] SATIN 2008. Página do projecto SATIN. http://dub.washington.edu:2007/

projects/satin/ (Última Visita: 25/08/2008).

[Saund et al.2003] Saund, E., Fleet, D., Larner, D., and Mahoney, J. 2003. Perceptually-supported

image editing of text and graphics. In UIST '03: Proceedings of the 16th annual ACM symposium

on User interface software and technology, pages 183�192, New York, NY, USA. ACM Press.

[Saund and Moran1994] Saund, E. and Moran, T. P. 1994. A perceptually-supported sketch ed-

itor. In UIST '94: Proceedings of the 7th annual ACM symposium on User interface software

and technology, pages 175�184, New York, NY, USA. ACM Press.

[Sawhney et al.1996] Sawhney, N., Balcom, D., and Smith, I. 1996. Hypercafe: narrative and

aesthetic properties of hypervideo. In HYPERTEXT '96: Proceedings of the the seventh ACM

conference on Hypertext, pages 1�10, New York, NY, USA. ACM Press.

[Schilit et al.1998] Schilit, B. N., Golovchinsky, G., and Price, M. N. 1998. Beyond paper: sup-

porting active reading with free form digital ink annotations. In CHI '98: Proceedings of the

SIGCHI conference on Human factors in computing systems, pages 249�256, New York, NY,

USA. ACM Press/Addison-Wesley Publishing Co.

[SDK2008a] SDK, M. S. 2008a. Página para download do Microsoft Speech

SDK. http://www.microsoft.com/downloads/details.aspx?FamilyId=

5E86EC97-40A7-453F-B0EE-6583171B4530&displaylang=en (Última Visita: 25/08/2008).

[SDK2008b] SDK, T. P. 2008b. Página para o download de Tablet PC

Package. http://www.microsoft.com/downloads/details.aspx?familyid=

69640B5C-0EE9-421E-8D5C-D40DEBEE36C2&displaylang=en (Última Visita: 25/08/2008).

50

Page 67: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

[Splicer2008] Splicer, B. 2008. Página do Splicer. http://www.codeplex.com/splicer (Última

Visita: 25/08/2008).

[Tang and Minneman1991a] Tang, J. C. and Minneman, S. 1991a. Videowhiteboard: video shad-

ows to support remote collaboration. In CHI '91: Proceedings of the SIGCHI conference on

Human factors in computing systems, pages 315�322, New York, NY, USA. ACM Press.

[Tang and Minneman1991b] Tang, J. C. and Minneman, S. L. 1991b. Videodraw: a video interface

for collaborative drawing. ACM Trans. Inf. Syst., 9(2):170�184.

[TORCH2008] TORCH 2008. Página do projecto Torch. http://www.torch.ch (Última Visita:

25/08/2008).

[van den Hengel et al.2007] van den Hengel, A., Dick, A., Thormählen, T., Ward, B., and Torr,

P. H. S. 2007. Videotrace: rapid interactive scene modelling from video. page 86.

[Wilcox et al.1997] Wilcox, L. D., Schilit, B. N., and Sawhney, N. 1997. Dynomite: a dynamically

organized ink and audio notebook. In CHI '97: Proceedings of the SIGCHI conference on

Human factors in computing systems, pages 186�193, New York, NY, USA. ACM Press.

[Wobbrock et al.2007] Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries,

toolkits or training: a $1 recognizer for user interface prototypes. In UIST '07: Proceedings

of the 20th annual ACM symposium on User interface software and technology, pages 159�168,

New York, NY, USA. ACM.

[YAWAS2008] YAWAS 2008. Página do projecto YAWAS. http://www.yawas.com/ (Última

Visita: 25/08/2008).

51

Page 68: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

52

Page 69: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

Apêndice A

Anexos

A.1 Modelo de Dados

Nesta secção apresentamos como encontra-se organizada a arquitectura do SOV. Na �gura A.1

podemos observar o diagrama de classes do programa.

Figura A.1: Diagrama de classes do SOV.

53

Page 70: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

A.1.1 Forms

O SOV é constituido por seguintes forms para interacção com o utilizador:

• SlideForm: janela para a adição e edição de slides. Criado pelo form principal, Form1.

• NoteForm: formulário para a adição e edição de notas. Criado pelo form principal, Form1

tal como o SlideForm.

• PublishForm: janela que permite ao utilizador especi�car os parâmetros �nais da publi-

cação mais concretamente, o título do arquivo, o apresentador e o nome do directório para

o mesmo.

• RemoteSaveForm: Permite ao utilizador guardar no servidor as alterações efectuadas ao

projecto.

• InsertVideoForm: Permite ao utilizador indicar o vídeo a inserir e especi�car as variáveis

importantes da inserção como o intervalo do vídeo a ser inserido e a posição de inserção no

vídeo original.

• ManagePro�leForm: Permite visualizar os per�s existentes no Pro�leManager e proceder

a criação, edição ou eliminação de per�s. A criação de novo per�l ou a edição de um existente

é feita invocando o Pro�leWizard.

• Pro�leWizard: Este wizard permite a criação ou edição do per�l propriamente dita. É

através dele que o utilizador introduz toda a informação que constitui um per�l.

• DownloadForm: Como é possível inferir através do nome, este é o responsável pela intro-

dução inserida pelo utilizador para downloads de eventos e arquivos.

• InkToolBox: Permite manipular as características da tinta (espessura, cor, etc).

• Form1: Constitui a janela principal do programa. Qualquer que seja a comunicação exis-

tente entre uma classe e outra é provável que passe pelo Form1. Manipula ainda o eventstream

através da adição, remoção e edição de notas e slides, operações essas que se encontram en-

capsuladas na classe EventManager.

A.1.2 Classes

Enumeramos nesta secção as classes propriamente ditas que ou representam um objecto ou en-

capsulam operações necessárias para a manipulação de informação adquiridas pelos forms acima

indicados:

• InkSlideManager: classe responsável pela captura e desenho de strokes sobre os slides.

• InkVideoPanel: Classe (painel transparente) responsável pelo desenho sobre o vídeo.

InkSlideManager e InkVideoPanel não foram integradas numa mesma classe devido ao facto

da captura e desenho sobre o vídeo e slides necessitarem metodologias diferentes conforme

explicado na secção de Sketching.

54

Page 71: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

• MediaControl: Classe responsável pelo controlo do média (operações como o play, pause,

stop, etc). Contém uma instância da classe Filter.

• Filter: Classe que implementa o IsampleGrabber. Processa as frames do media control a

qual se encontra associado. É a classe responsável pelos efeitos visuais das transições (fade-in

e fade-out) aquando da reprodução do vídeo.

• Chunk: Representa um pedaço de vídeo. Além das variáveis importantes como o intervalo

do vídeo que representa contém ainda uma lista de transições/efeitos aplicadas a esse bloco.

• Context: Representa o contexto ou estado do programa. Este contém as informações todas

necessárias para retomar o trabalho a partir de um determinado ponto

• Serializer: Classe responsável pelo armazenamento do estado actual do programa. Recebe

o contexto actual (Context) e guarda.

• Note: Classe que representa uma nota.

• Slide: Classe que representa um slide.

• InkXmlReader/InkXmlWriter: Lê e escreve o �cheiro com a informação dos strokes.

• TrackElement: Componente que visualmente representa não só os chunks como também

as notas na timeline.

• TimelineControl: O componente do Form1 que apresenta a evolução temporal do vídeo

e usado para a manipulação não só do vídeo, como das notas e slides. É a classe que

possui o MediaControl e veri�ca se determinado slide ou nota deve estar activa ou não num

determinado instante do vídeo. Manipula ainda o eventstream através da adição, remoção e

edição de notas e slides.

• Con�gContainer: Classe que encapsula toda a informação de con�guração adquirida do

�cheiro de con�guração "con�g.xml".

• Publisher: Classe responsável pelas operações necessárias para a publicação. É a classe

por detrás do PublishForm, responsável pela codi�cação do vídeo, upload do �cheiros e

publicação propriamente dita.

• Pro�le: Classe que representa o per�l de utilização. Conforme dito anteriormente, per�l

encapsula toda a informação necessária para conexão ao servidor, codi�cação do vídeo e a

publicação.

• Pro�leManager: Classe que permite gerir os vários per�s existentes.

• EventManager: Classe responsável por qualquer alteração realizada no eventstream.

55

Page 72: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

A.1.3 Ficheiros

Nesta secção apresenta-se os principais �cheiros para o funcionamento ou manipulação do SOV:

• eventStream.xml: Este é o �cheiro central, que representa um determinado evento (aula,

apresentação, etc) no SOV. No mesmo encontra-se registados os slides e os seus tempos de

transição, e da mesma forma as notas adicionadas pelo utilizador e as suas especi�cações.

Este �cheiro não é modi�cado em runtime. SOV tem uma variável, xmlDoc, que representa

o �cheiro XML e esta é actualizada sempre que o utilizador adiciona um novo slide ou nota,

ou remove um slide ou nota existentes e quando o utilizador deseja gravar as alterações, este

�cheiro é actualizado de acordo com o xmlDoc.

• inkDataXml.xml: Ficheiro que guarda em formato XML todos os strokes do professor

e as suas características. Os strokes podem ter sido criados no SOV ou pela aplicação

Show'Em durante a aula. Contém sketches feitos em diferentes mídias, tanto os feitos sobre

os slides como os dos vídeos demonstração e os do vídeo principal. Assim como o �cheiro

eventStream, este �cheiro é actualizado quando o utilizador deseja guardar as alterações, e

tem uma variável inkOverlay, disponibilizada pela biblioteca Microsoft.Ink que serve de

repositório para tinta digital criada pelo utilizador.

• slideTitles.xml: Este �cheiro contém todas as associações entre os slides existentes e o

seu título. É utilizado para apresentar ao utilizador o título do slide activo no momento

da reprodução. Este �cheiro é modi�cado quando o utilizador edita a descrição do slide ou

quando é inserido um novo slide que não fazia parte da apresentação.

• ist1*.xml: São �cheiros que armazenam informações/notas tiradas pelos alunos. Temos

os especí�cos para armazenamento de anotações em tinta digital dos alunos, podendo estas

serem privadas ou públicas (exemplo: [email protected]) e temos um especí-

�co para as anotações textuais criadas pelos alunos (exemplo: [email protected]).

Convém salientar que o número do aluno (os cinco dígitos após "ist1") identi�ca o �cheiro

com as anotações deste. Estes �cheiros não são utilizados pelos SOV, simplesmente são

descarregados juntamente com todos os outros recursos das aulas para a sua posterior pub-

licação no servidor onde a aula estará acessível.

• pro�les.xml: Todos os per�s de utilização do SOV são armazenados neste �cheiro. Os

per�s são lidos do �cheiro e carregado para a aplicação na inicialização desta. O �cheiro é

actualizado cada vez que o utilizador efectua alterações no conjunto de per�s de SOV, sejam

estas criação de novos per�s, ou edição e eliminação dos per�s existentes.

• con�g.xml: Ficheiro com a con�guração inicial do SOV, por exemplo, é nele que se encontra

especi�cado a directoria de trabalho onde devem ser postos os materiais das aulas para

posterior trabalho sobre estes.

56

Page 73: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

A.2 Avaliação Intermédia

Nesta secção apresenta-se as questões contidas no questionário realizado durante a avaliação in-

termédia.

1. O que pensa da utilidade do Sketch-On-Video para produção de conteúdos multimédia?

�Inútil �Pouco Útil �Muito Útil �Indispensável

2. Qual o nível de satisfação na sua utilização?(1 - Insatisfeito e 5 -

Excelente)

�1 �2 �3 �4 �5

3. Conseguiu atingir os objectivos propostos?

�Sim �Não. Porque:

4. Avalie o nível de di�culdade da interface:

�Muito Simples �Simples �Difícil �Catástrofe

5. Avalie o nível de di�culdade de cada uma das tarefas:

a. Adição de Slides

�Muito Simples �Simples �Difícil �Catástrofe

b. Adição de Notas

�Muito Simples �Simples �Difícil �Catástrofe

c. Navegação pela timeline

�Muito Simples �Simples �Difícil �Catástrofe

d. Selecção de chunks de vídeo

�Muito Simples �Simples �Difícil �Catástrofe

57

Page 74: Sketch-On-Video - Video Annotations com Tablet PCs · anotações e manipulação de áriosv stramse de média e posterior publicação dessas aulas de forma a estarem acessíveis

e. Mover chunks de vídeo

�Muito Simples �Simples �Difícil �Catástrofe

6. O que pensa que deve ser melhorada na interface?

7. Tornaria a utilizar o Sketch-On-Video para criar e disponibilizar

apresentações desse tipo?

�Sim �Não �Talvez

8. Sugestões ou Bugs:

58