singular value decomposition (svd) and application in matlab

Apresentacao Introducao Historia Matrizes EVD SVD Aplicacoes Referencias

Singular Value Decomposition (SVD) and Application inMatLab:

Resolving the sign ambiguity in the SVD.

Autor:Walner Mendonca dos Santos

[email protected]

13 de Janeiro de 2012Fortaleza-CE, Brasil

– –Universidade Federal do Ceara

Walner Mendonca Singular Value Decomposition (SVD)

Sumario

1 Apresentacao

2 Introducao

3 Historia

4 Matrizes

7 Aplicacoes

8 Referencias

Tudo comeca com um pouco de

ideia e bastante disposicao...

Apresentacao

Metodos de analise

Metodos modernos de analise de dados;

Decomposicao em Valores Singulares (SVD);

Decomposicao em Autovalores (EVD);

Aplicacoes de tais metodos.

Apresentacao

Metodos de analise

Apresentacao

Metodos de analise

Apresentacao

Metodos de analise

Apresentacao

Nessa jornada...

Passearemos um pouco pela a algebra linear;

Contemplaremos a pureza dos autovalores;

Discutiremos a teoria da SVD;

Nos deliciaremos com algumas aplicacoes.

Apresentacao

Nessa jornada...

Apresentacao

Nessa jornada...

Apresentacao

Nessa jornada...

Introducao

Motivacoes

Implicacoes teoricas;

A importancia pratica;

Aplicacoes.

Introducao

Motivacoes

Aplicacoes.

Introducao

Motivacoes

Aplicacoes.

Introducao

Objetivos

Desenvolver uma teoria razoavel;

Apresentar os principais resultados;

Construir a SVD;

Mostrar aplicacoes.

Introducao

Objetivos

Construir a SVD;

Mostrar aplicacoes.

Introducao

Objetivos

Construir a SVD;

Mostrar aplicacoes.

Introducao

Objetivos

Construir a SVD;

Mostrar aplicacoes.

Introducao

Topicos

Topicos Matriciais;

Autovalores e Autovetores;

Compressao de Imagens;

Sinalizacao Ambıgua;

Eigenfaces.

Introducao

Topicos

Topicos Matriciais;

Eigenfaces.

Introducao

Topicos

Topicos Matriciais;

Eigenfaces.

Introducao

Topicos

Topicos Matriciais;

Eigenfaces.

Introducao

Topicos

Topicos Matriciais;

Eigenfaces.

Introducao

Topicos

Topicos Matriciais;

Eigenfaces.

Introducao

Abordagem

Apresentar;

Idealizar;

Construir;

Reforcar;

Aplicar.

Introducao

Abordagem

Apresentar;

Idealizar;

Construir;

Reforcar;

Aplicar.

Introducao

Abordagem

Apresentar;

Idealizar;

Construir;

Reforcar;

Aplicar.

Introducao

Abordagem

Apresentar;

Idealizar;

Construir;

Reforcar;

Aplicar.

Introducao

Abordagem

Apresentar;

Idealizar;

Construir;

Reforcar;

Aplicar.

Historia

Eugenio Beltrami (italiano)(1873)

Foi o desenvolvedor da SVD;

Criou um algoritmo proprio para o calculo da SVD;

Seu metodo tinha limitacoes: matrizes reais, quadradas,nao-singular e com autovalores distintos.

Historia

Camille Jordan (frances)(1874)

Descobriu a SVD um ano depois de Beltrami;

Sua tatica: reduzir uma forma bilinear a uma forma diagonalpor substituicoes ortogonais;

Solucao mais elegante do que a de Beltrami;

Tecnica sem o devido reconhecimento.

Historia

James Sylvester (ingles)(1889)

Obteve resultados similares ao de Jordan;

Seu metodo envolvia ignorar termos de segunda ordem.

Historia

James Sylvester (ingles)(1889)

Obteve resultados similares ao de Jordan;

Seu metodo envolvia ignorar termos de segunda ordem.

Historia

Erhard Schmidt (alemao)(1907)

Foi o primeiro a introduzir a SVD em equacoes integrais;

Usou a SVD para obter uma melhor aproximacao de umoperador.

Historia

Erhard Schmidt (alemao)(1907)

Foi o primeiro a introduzir a SVD em equacoes integrais;

Usou a SVD para obter uma melhor aproximacao de umoperador.

Historia

Herman Weyl (alemao)(1912)

Desenvolveu uma teoria de perturbacao geral;

Deu uma elegante prova do teorema da aproximacao.

Historia

Herman Weyl (alemao)(1912)

Desenvolveu uma teoria de perturbacao geral;

Deu uma elegante prova do teorema da aproximacao.

Historia

Gene Golub (norte-americano)(1970)

Um dos principais contribuintes para algoritmos paradecomposicao de matrizes;

Criou um algoritmo estavel e eficiente que ate hoje e usado.

Historia

Gene Golub (norte-americano)(1970)

Um dos principais contribuintes para algoritmos paradecomposicao de matrizes;

Criou um algoritmo estavel e eficiente que ate hoje e usado.

Historia

Curiosidades Historicos

A expressao ”valores singulares”partiu provavelmente da teoriadas equacoes diferenciais;

Nao usado de forma consistente ate meados do seculo XX.

Historia

Curiosidades Historicos

A expressao ”valores singulares”partiu provavelmente da teoriadas equacoes diferenciais;

Nao usado de forma consistente ate meados do seculo XX.

Parte I

– MATRIZES –

Matrizes

Definicao

Uma matriz Am×n e um agrupamento retangular de m × nnumeros. Os numeros deste agrupamento sao chamdos entradasda matriz e sao representados por indexacoes do tipo aij .

Matrizes

Representacao

Quando se interessa em mostrar a matriz, costuma-se representa-lada seguinte forma:

a11 a12 a13 · · · a1na21 a22 a23 · · · a2na31 a32 a33 · · · a3n

......

.... . .

...am1 am2 am3 · · · amn

Matrizes

Nomenclatura

Quando for desejado uma notacao mais compacta para representaruma matriz Am×n, podemos escrever da seguinte forma:

Am×n = [aij ]m×n ou A = [aij ]

Matrizes

Matriz quadrada

Dizemos que uma matriz e quadrada quando o numero de linhasdela coincidir com o numero de colunas.

Diagonal de uma matriz

Chamamos o conjuto de elementos a11, a22, a33, ..., aij , onde i = jde diagonal da matriz A (nao necessariamente quadrada).

Matrizes

Matriz quadrada

Dizemos que uma matriz e quadrada quando o numero de linhasdela coincidir com o numero de colunas.

Diagonal de uma matriz

Chamamos o conjuto de elementos a11, a22, a33, ..., aij , onde i = jde diagonal da matriz A (nao necessariamente quadrada).

Matrizes

Exemplos de matrizes

9 16 13 22 08 10 0

9 6 0 155 2 15 707 1 20 0, 9

Matrizes

Definicao (Igualdade entre matrizes)

Duas matrizes A e B sao iguais se, e somente se, tiverem o mesmotamanho m × n e se as entradas aij e bij forem iguais para todoi ≤ m e j ≤ n.

Matrizes

Definicao (Soma de matrizes)

Se A e B sao matrizes do mesmo tamanho, entao a soma A + B ea matriz obtida somando as entrada de A as entradascorrespondetes de B. Matrizes de tamanho distintos nao podemser somadas ou subtraıdas.

Matrizes

Proriedades da Soma

1 A + B = B + A

2 A + (B + C) = (A + B) + C

3 A + 0 = A

4 A + (−A) = 0

Matrizes

Proriedades da Soma

1 A + B = B + A

2 A + (B + C) = (A + B) + C

3 A + 0 = A

4 A + (−A) = 0

Matrizes

Proriedades da Soma

1 A + B = B + A

2 A + (B + C) = (A + B) + C

3 A + 0 = A

4 A + (−A) = 0

Matrizes

Proriedades da Soma

1 A + B = B + A

2 A + (B + C) = (A + B) + C

3 A + 0 = A

4 A + (−A) = 0

Matrizes

Proriedades da Soma

1 A + B = B + A

2 A + (B + C) = (A + B) + C

3 A + 0 = A

4 A + (−A) = 0

Matrizes

Definicao (Produto de matrizes por escalares)

Se A e uma matriz e c e um escalar, entao o produto cA e amatriz obtida pela multiplicacao de cada entrada da matriz A porc . A matriz cA e chamada de multiplo escalar de A.

Matrizes

Proriedades do produto de matrizes por escalares

1 a(bA) = (ab)A

2 1A = A

3 (a + b)A = aA + bA

4 a(A + B) = aA + aB

Matrizes

1 a(bA) = (ab)A

2 1A = A

3 (a + b)A = aA + bA

4 a(A + B) = aA + aB

Matrizes

1 a(bA) = (ab)A

2 1A = A

3 (a + b)A = aA + bA

4 a(A + B) = aA + aB

Matrizes

1 a(bA) = (ab)A

2 1A = A

3 (a + b)A = aA + bA

4 a(A + B) = aA + aB

Matrizes

1 a(bA) = (ab)A

2 1A = A

3 (a + b)A = aA + bA

4 a(A + B) = aA + aB

Matrizes

Definicao (Produto entre duas matrizes)

Sejam Am×n e Bn×p duas matrizes com o numero de colunas de Aigual ao numero de linhas de B. Definimos o produto entre elascomo a matriz m × p, C = AB, com as entradas cij calculadas daseguinte forma:

cij =n∑

aikbkj ,

para i = 1, ...,m e j = 1, ..., p.

Observacao

Nao se defini o produto entre matrizes quando o numero decolunas de A nao for igual ao numero de linhas de B.

Matrizes

Definicao (Produto entre duas matrizes)

Sejam Am×n e Bn×p duas matrizes com o numero de colunas de Aigual ao numero de linhas de B. Definimos o produto entre elascomo a matriz m × p, C = AB, com as entradas cij calculadas daseguinte forma:

cij =n∑

aikbkj ,

para i = 1, ...,m e j = 1, ..., p.

Observacao

Nao se defini o produto entre matrizes quando o numero decolunas de A nao for igual ao numero de linhas de B.

Matrizes

Exemplo de produto entre duas matrizes

5 6 13 2 00 4 2

⇒ AB =

5 · 2 + 6 · 0 + 1 · 13 · 2 + 2 · 0 + 0 · 10 · 2 + 4 · 0 + 2 · 1

Matrizes

Proriedades do produto entre matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Nao vale necessariamente a comutatividade em relacao ao produtode matrizes. Ou seja, AB = BA nem sempre e verdade.

Matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Matrizes

1 A(BC) = (AB)C

2 A(B + C) = AB + AC

3 (A + B)C = AC + BC

4 a(AB) = (aA)B = A(aB)

Observacao

Matrizes

Mais proriedades da aritmetica matricial

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

1 A− A = 0

2 0− A = −A

3 0A = 0

4 0A = 0; A0 = 0

5 ImA = A; AIn = A

Matrizes

Definicao (Transposta)

Se A e uma matriz m × n qualquer, entao a transposta de A,denota-se por AT , e definida como a matriz n ×m que resulta dapermutacao das linhas com as colunas de A; ou seja, a i-esimacoluna de AT e i-esima linha de A.

Matrizes

Exemplos de matrizes transpotas

5 6 13 2 00 4 2

⇒ AT =

5 3 06 2 41 0 2

⇒ BT =[

2 0 1]

Matrizes

Propriedades da trasnposta

1 (AT )T = A

2 (A + B)T = AT + BT

3 (αA)T = αAT

4 (CD)T = DTCT (note a ordem dos fatores)

Matrizes

1 (AT )T = A

2 (A + B)T = AT + BT

3 (αA)T = αAT

Matrizes

1 (AT )T = A

2 (A + B)T = AT + BT

3 (αA)T = αAT

Matrizes

1 (AT )T = A

2 (A + B)T = AT + BT

3 (αA)T = αAT

Matrizes

1 (AT )T = A

2 (A + B)T = AT + BT

3 (αA)T = αAT

Matrizes

Definicao (Matriz Simetrica)

Se uma matriz satisfaz AT = A, dizemos que ela e uma matrizsimetrica.

Teorema

1 Toda matriz diagonal quadrada e simetrica.

2 A matriz ATA e simetrica, qualquer que seja a matriz A.

3 A matriz AAT e simetrica, qualquer que seja a matriz A.

4 Se A e simetrica, entao A pode ser escrita comoA = BBT = CTC, para alguma matriz B ou C.

Matrizes

Teorema

Matrizes

Teorema

Matrizes

Teorema

Matrizes

Teorema

Matrizes

Teorema

Matrizes

Exemplos de matrizes simetricas

0 1 01 2 40 4 8

5 3 0 13 2 4 30 4 2 71 3 7 9

[0 12 3

]⇒ CCT =

[0 12 3

] [0 21 3

[1 33 13

Matrizes

Definicao (Inversa)

Se A e B sao duas matrizes tais que AB = BA = I, dizemos queB e a matriz inversa de A e a denotamos por A−1.

Matrizes

Exemplo de matriz inversa[2 14 3

−2 1

[1 00 1

Matrizes

Usando o MatLab (Inversa de uma Matriz)

Sintaxe:

B = inv(A)

Retorna a inversa (quando existir) de uma matriz quadrada.

Matrizes

Propriedades da inversa

1 Se B e invesersa de A e C tambem e, entao B = C

2 (A−1)−1 = A

3 (AB)−1 = B−1A−1 (note a ordem dos fatores)

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

2 (A−1)−1 = A

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

2 (A−1)−1 = A

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

2 (A−1)−1 = A

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

2 (A−1)−1 = A

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

2 (A−1)−1 = A

4 (A−1)T = (AT )−1

5 (αA)−1 = 1αA−1

Matrizes

Definicao (Menor)

Seja A uma matriz de ordem m × n. Denota-se por Aij a matrizmenor de A sobre a entrada ij . Esta matriz e a matriz A sem alinha i e a coluna j . Em outras palavras, Aij = [akl ], para1 ≤ k ≤ m; k 6= i e 1 ≤ l ≤ n; l 6= j .

Matrizes

Exemplos de matrizes menores

9 16 13 22 08 10 0

⇒ A11 =

[22 010 0

]; A22 =

[9 18 0

]; A33 =

[9 163 22

Matrizes

Usando o MatLab (Matriz Menor)

Sintaxe:

B = menor(A,i,j)

Retorna a menor (i,j) da matriz A.

Matrizes

Definicao (Determinante)

Seja A uma matriz quadrada de ordem n. Chama-se determinanteda matriz A o valor da funcao definida recursivamente da seguinteforma

det (A) =n∑

(−1)1+ka1k det (A1k)

onde det ([a11]) = a11 (determinate de uma matriz 1× 1 e igual aovalor da sua unica entrada).

Matrizes

Propriedades do determinante

1 O determinante de uma matriz n × n que possui pelo menosuma linha ou coluna nula e zero.

2 O determinante da matriz identidade e um.

3 Se uma matriz n × n possui pelo menos uma linha(coluna)multipla de outra linha(coluna), seu determinante e nulo.

4 Se uma matriz n × n possui uma linha(coluna) que pode serescrita como combinacao linear das demais linhas(colunas),seu determinante e nulo.

Matrizes

Exemplo de determinante de uma matriz

det(A) =

∣∣∣∣∣∣3 0 11 0 00 1 3

∣∣∣∣∣∣= (−1)1+1 ·3 ·

∣∣∣∣ 0 01 3

∣∣∣∣+(−1)1+2 ·0 ·∣∣∣∣ 1 0

∣∣∣∣+(−1)1+3 ·1 ·∣∣∣∣ 1 0

∣∣∣∣⇒ det(A) = 0− 0 + 1 = 1

Matrizes

Usando o MatLab (Determinante)

Sintaxe:

d = det(A)

Retorna o determinante da matriz A quadrada pelo metodo deLagrange.

Matrizes

Mais propriedades do determinante

1 Se o determinante de uma matriz e nulo, entao seus vetorescolunas (ou vetores linhas) sao linearmente dependentes.

2 det(AB) = det(A) det(B)

3 det(A−1) = (det(A))−1

4 det(A) = det(AT )

Matrizes

3 det(A−1) = (det(A))−1

4 det(A) = det(AT )

Matrizes

3 det(A−1) = (det(A))−1

4 det(A) = det(AT )

Matrizes

3 det(A−1) = (det(A))−1

4 det(A) = det(AT )

Matrizes

3 det(A−1) = (det(A))−1

4 det(A) = det(AT )

Matrizes

Definicao (Matriz Diagonal)

Uma matriz m × n e dita matriz diagonal se todo elemento naopertencente a diagonal dela for nulo. Escrevemos

A = diag(a1, a2, a3, . . . , ap)m×n

Teorema

O determinante de uma matriz diagonal n × n e igual ao produtodos n elementos de sua diagonal.

Matrizes

Definicao (Matriz Diagonal)

Uma matriz m × n e dita matriz diagonal se todo elemento naopertencente a diagonal dela for nulo. Escrevemos

A = diag(a1, a2, a3, . . . , ap)m×n

Teorema

O determinante de uma matriz diagonal n × n e igual ao produtodos n elementos de sua diagonal.

Matrizes

Exemplos de matrizes diagonais

A = diag(5, 7, 11)5×3 =

5 0 00 7 00 0 110 0 00 0 0

B = diag(9, 1,−1, 0)4×4 =

9 0 0 00 1 0 00 0 −1 00 0 0 0

Matrizes

Definicao (Matriz Ortogonal)

Uma matriz A e dita ortogonal se AAT = I. Portanto, A tera queser uma matriz quadrada.

Teorema

Se A e uma matriz ortogonal, entao det(A) = ±1

Matrizes

Definicao (Matriz Ortogonal)

Uma matriz A e dita ortogonal se AAT = I. Portanto, A tera queser uma matriz quadrada.

Teorema

Se A e uma matriz ortogonal, entao det(A) = ±1

Matrizes

Exemplos de matrizes ortogonais

[cos(θ) sen(θ)−sen(θ) cos(θ)

0 0 1 01 0 0 00 0 0 10 1 0 0

Matrizes

Definicao (Similaridade)

Sejam A e B matrizes quadradas n× n. Dizemos que A e similar aB (escrevemos A ≈ B) se existir uma matriz X n × n invertıvel talque

A = XBX−1

Teorema

Matrizes similares possuem o mesmo determinante.

Matrizes

Definicao (Similaridade)

Sejam A e B matrizes quadradas n× n. Dizemos que A e similar aB (escrevemos A ≈ B) se existir uma matriz X n × n invertıvel talque

A = XBX−1

Teorema

Matrizes similares possuem o mesmo determinante.

Matrizes

Exemplo de matrizes similares[−1 −26 6

2 10 3

][−1 −26 6

[2 −3−3 5

] [2 10 3

] [5 33 2

Matrizes

Definicao (Produto Interno Vetorial)

O produto interno de dois vetores e uma funcao Rn × Rn → Rdefinida por

〈x, y〉 =n∑

Equivalentemente, e mais conveniente, temos

〈x, y〉 = xTy

Nessa segunda forma, os vetores sao tratados como matrizes n × 1e os escalares como matrizes 1× 1.

Matrizes

Definicao (Produto Interno Matricial)

O produto interno de duas matrizes e uma funcaoRm×n × Rm×n → R definida por

〈A,B〉 =m∑i=1

n∑j=1

aijbij

Matrizes

Usando o MatLab (Produto Interno)

Sintaxe:

x = interno(u,v)

x = interno(A,B)

Retorna o porduto interno vetorial (matricial) de dois vetores(matrizes) u e v (A e B).

Matrizes

Propriedades do produto interno

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

3 〈v,u〉 = 〈u, v〉4 〈v + u,w〉 = 〈v,w〉+ 〈u,w〉5 〈αu, v〉 = α〈v,u〉

Todas essas propriedades do produto interno vetorial tambemsao validas para o produto interno matricial.

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

3 〈v,u〉 = 〈u, v〉

4 〈v + u,w〉 = 〈v,w〉+ 〈u,w〉5 〈αu, v〉 = α〈v,u〉

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

3 〈v,u〉 = 〈u, v〉4 〈v + u,w〉 = 〈v,w〉+ 〈u,w〉

5 〈αu, v〉 = α〈v,u〉

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

Matrizes

1 〈v, v〉 = 0⇔ v = 0

2 〈v, v〉 > 0, se v 6= 0

Matrizes

Definicao (Norma Eclidiana de Vetores)

A norma padrao (Euclidiana) de vetores e uma funcaoRn → R[0,∞] definida por

‖x‖ =√〈x, x〉

de modo equivalente, temos

‖x‖ =√

√√√√ n∑i=1

Matrizes

Definicao (Norma de Matrizes)

A norma (2) de matrizes e uma funcao Rm×n → R[0,∞] definidapor

‖A‖ = max (svd(A))

Matrizes

Definicao (Norma Frobenius)

A norma de Frobenius de uma matriz e uma funcaoRm×n → R[0,∞] definida por

‖A‖F =√〈A,A〉

de modo equivalente, temos

‖A‖F =

√√√√ m∑i=1

n∑j=1

Matrizes

Usando o MatLab (Norma)

Sintaxe:

n = norm(v)

n = norm(A,p)

Retorna a norma padrao do vetor v.

Retorna a norma como o maior valor singular da matriz A.[p=2]

Retorna a norma de Frobenius da matriz A. [p=’fro’]

Matrizes

Propriedades da norma

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Todas essa propriedades sao validas para qualquer norma aquidefinida.

Matrizes

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Matrizes

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Matrizes

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖

4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Matrizes

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Matrizes

1 ‖v‖ = 0⇔ v = 0

2 ‖v‖ > 0, se v 6= 0

3 ‖αv‖ = |α|‖v‖4 ‖v + u‖ ≤ ‖v‖+ ‖u‖

Matrizes

Definicao (Cosseno do Angulo Entre Vetores)

O cosseno do angulo entre dois vetores e uma funcaoRn × Rn → R[−1, 1] definida por

cos(θ) =〈u, v〉‖u‖‖v‖

onde θ = ang(u, v) e o angulo entre os vetores u e v.

Observacao

Apesar do angulo entre vetores nao estar bem definido, a definicaoacima nos e satisfatoria para o que pretendemos aplica-la. A ideiade angulo deve ser sugerida como um valor real para θ tal que ocos(θ) seja como esta acima.

Matrizes

Definicao (Cosseno do Angulo Entre Vetores)

O cosseno do angulo entre dois vetores e uma funcaoRn × Rn → R[−1, 1] definida por

cos(θ) =〈u, v〉‖u‖‖v‖

onde θ = ang(u, v) e o angulo entre os vetores u e v.

Observacao

Apesar do angulo entre vetores nao estar bem definido, a definicaoacima nos e satisfatoria para o que pretendemos aplica-la. A ideiade angulo deve ser sugerida como um valor real para θ tal que ocos(θ) seja como esta acima.

Matrizes

Propriedades do cosseno do angulo entre vetores

1 cos(θ) ∈ [−1, 1] ∈ R2 Quanto mais proximo de 1 for o modulo do cosseno do angulo

entre dois vetores, mais proximos de serem ”paralelos”elesestarao.

3 Se o cosseno do angulo entre dois vetores for 1, entao elesestao na mesma direcao e no mesmo sentido.

4 Se o cosseno do angulo entre dois vetores for -1, entao elesestao na mesma direcao, mas em sentidos opostos.

5 Se o cosseno do angulo dois vetores for 0, entao eles saoperpendiculares (a projecao de um sobre o outro e nula).

Matrizes

1 cos(θ) ∈ [−1, 1] ∈ R

2 Quanto mais proximo de 1 for o modulo do cosseno do anguloentre dois vetores, mais proximos de serem ”paralelos”elesestarao.

Matrizes

Parte II

– AUTOVALORES & AUTOVETORES –

Autovalores e Autovetores

Definicao (Autovalores e Autovetores)

Seja A ∈ Rn×n uma matriz quadrada. Um vetor nao-nulo x ∈ Rn eum autovetor ou um vetor caracterıstico de A, e λ ∈ R e oautovalor ou um valor caracterıstico correspondente, se

Ax = λx.

Consequencias da definicao

1 A cada autovetor, corresponde um unico autovalor.

2 A cada autovalor, uma infinidade de autovetores ocorresponde.

Definicao (Autovalores e Autovetores)

Seja A ∈ Rn×n uma matriz quadrada. Um vetor nao-nulo x ∈ Rn eum autovetor ou um vetor caracterıstico de A, e λ ∈ R e oautovalor ou um valor caracterıstico correspondente, se

Ax = λx.

Consequencias da definicao

1 A cada autovetor, corresponde um unico autovalor.

2 A cada autovalor, uma infinidade de autovetores ocorresponde.

Usando o MatLab (Eigen Show)

Sintaxe:

eigshow(A)

Demonstracao grafica dos autovalores para matrizes 2× 2.

Observacao

Quando x for paralelo a Ax, teremos x sendo um autovetor damatriz. A norma de Ax e o correspondente autovalor.

Questoes

1 Quais matrizes dos ’eigshow’ sao ortogonais?

2 Quais matrizes dos ’eigshow’ sao singulares?

Sintaxe:

eigshow(A)

Observacao

Questoes

Sintaxe:

eigshow(A)

Observacao

Questoes

Sintaxe:

eigshow(A)

Observacao

Questoes

Sintaxe:

eigshow(A)

Observacao

Questoes

Usando o MatLab (Autovalores e Autovetores)

Sintaxe:

[V, E] = eig(A)

[V, E] = eigs(A)

V e a matriz dos autovetores.

E e a matriz diagonal dos autovalores.

Teorema

Seja A uma matriz n × n e λ um escalar em R. Os seguintesenunciados sao equivalentes:

1 λ e um autovalor de A.

2 (A− λI)x = 0 tem uma solucao nao trivial.

3 det(A− λI) = 0

Definicao (Polinomio Caracterıstico)

Seja A uma matriz n × n e λ um escalar em R. O polinomiocaracterıstico da matriz A e o polinomio

PA(λ) = det(A− λI).

Teorema

λ e uma autovalor de A se, e somente se, λ e raiz do polinomiocaracterıstico PA(λ). Em outras palavas, para algum x, λ satisfaz

Ax = λx⇔ PA(λ) = det(A− λI) = 0.

Definicao (Polinomio Caracterıstico)

Seja A uma matriz n × n e λ um escalar em R. O polinomiocaracterıstico da matriz A e o polinomio

PA(λ) = det(A− λI).

Teorema

λ e uma autovalor de A se, e somente se, λ e raiz do polinomiocaracterıstico PA(λ). Em outras palavas, para algum x, λ satisfaz

Ax = λx⇔ PA(λ) = det(A− λI) = 0.

Usando o MatLab (Matematica Simbolica)

Sintaxe:

S = sym(A)

Transforma a estrura de dados A em um objeto simbolico S.

Usando o MatLab (Polinomio Caracterıstico)

Sintaxe:

p = poly(A)

Exibe os coeficientes do polinomio caracterıstico da matriz A.

Quando A for uma estrutura simbolica, poly(A) retornara opolinomio caracterıstico na forma simbolica.

Usando o MatLab (Fatoracao)

Sintaxe:

p = factor(poly(A))

Exibe o polinomio caracterıstico fatorado na forma simbolica.

Procedimento para o calculo de autovalores

1 Encontrar o polinomio caracterıstico da matriz.

PA(λ) = det(A− λI)

2 Achar as raızes do polinomio caracterıstico. Estas serao osautovalores.

PA(λ) = 0

3 Resolver o sistema (A− λi I)x = 0, para cada autovalor λi .Cada vetor solucao sera um autovetor da matriz A.

PA(λ) = 0

Exemplo

2 −3 11 −2 11 −3 2

⇒ PA(λ) =

∣∣∣∣∣∣2− λ −3 1

1 −2− λ 11 −3 2− λ

∣∣∣∣∣∣⇒ PA(λ) = −λ(λ− 1)2 ⇒ λ1 = 0, λ2 = λ3 = 1

(A− λi I)x =

2− λi −3 11 −2− λi 11 −3 2− λi

xiyizi

Exemplo (continuacao)

Para i = 1, temos λ1 = 0

⇒ (A− λ1I)x =

2− 0 −3 11 −2− 0 11 −3 2− 0

x1y1z1

2x1 − 3y1 + 1z1 = 01x1 − 2y1 + 1z1 = 01x1 − 3y1 + 2z1 = 0

x1 = z1y1 = z1

⇒ (x1, y1, z1) = α(1, 1, 1)

Para i = 2 = 3, temos λ2 = λ3 = 1

⇒ (A− λ2I)x =

2− 1 −3 11 −2− 1 11 −3 2− 1

x2y2z2

1x2 − 3y2 + 1z2 = 01x2 − 3y2 + 1z2 = 01x2 − 3y2 + 1z2 = 0

⇒ z2 = 3y2 − x2

⇒ (x2, y2, z3) = (x3, y3, z3) = (α, β, 3β−α) = α(1, 0,−1)+β(0, 1, 3)

Conclusao:

Autovalor 0 1

Multiplicidade 1 2

Autovetor associado (1,1,1) (1,1,2)

Espaco gerado α(1, 1, 1) α(1, 0,−1) + β(0, 1, 3)

Propriedades dos autovalores

1 Os autovalores de uma matriz diagonal sao os elementos desua diagonal.

2 Os autovalores da transposta de A sao os mesmos autovaloresde A.

3 Os autovalores de uma matriz simetrica sao todos reais.

4 Matrizes similares possuem os mesmos autovalores.

Propriedades de uma matriz diagonal

1 A = diag(a1, a2, ..., an), B = diag(b1,b2, ...,bn)⇒ AB = diag(a1b1, a2b2, ..., anbn)

3 A−1 = diag(a−11 , a−12 , ..., a−1n )

4 O determinante de uma matriz diagonal n × n e igual aoproduto dos n elementos de sua diagonal.

3 A−1 = diag(a−11 , a−12 , ..., a−1n )

Definicao (Matriz Diagonalizavel)

Uma matriz n × n, A, e dita diagonalizavel se existe uma matriznao singular X e uma matriz diagonal Λ tais que

A = XΛX−1

Dizemos que X diagonaliza A.

Propriedades de uma matriz diagonalizavel

1 Os vetores colunas da matriz diagonalizante X saoautovetores de A.

2 Os elementos da diagonal de Λ sao os autovalores de A

Teorema

Uma k-esima potencia de A e similar a uma k-esima potencia de Λsendo X a matriz diagonalizante.

Ak = XΛkX−1

Teorema

Uma matriz A e diagonalizavel se, e somente se, o determinanteda matriz, cuja as colunas sao formadas por autovetores de A, fornao-nulo.

Propriedades de uma matriz ortogonal

Seja A uma matriz ortogonal.

1 A−1 = AT

2 Se A e uma matriz ortogonal, entao det(A) = ±1

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

5 ‖Ax‖ = ‖x‖6 Os autovalores reais de uma matriz ortogonal e igual a 1 ou−1.

7 Se B e uma matriz ortogonal, entao AB tambem e ortogonal.

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉

4 ‖A‖ = 1

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

5 ‖Ax‖ = ‖x‖

6 Os autovalores reais de uma matriz ortogonal e igual a 1 ou−1.

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

1 A−1 = AT

3 〈Ax,Ay〉 = 〈x, y〉4 ‖A‖ = 1

Decomposicao de Schur

Se A e uma matriz n × n com entradas reais e autovalores reais,entao existe uma matriz ortogonal Q tal que

A = QΩQ−1

onde Ω e uma matriz triangular superior da forma

λ1 × × · · · ×0 λ2 × · · · ×0 0 λ3 · · · ×...

......

. . ....

0 0 0 · · · λn

com λi sendo autovalores de A repetidos de acordo com amultiplicidade.

Usando o MatLab (Decomposicao de Schur)

Sintaxe:

[U,T] = schur(A)

U e a matriz ortogonal da decomposicao.

T e a matriz de Schur.

Decomposicao de Hessenberg

Uma decomposicao de Hessenberg de qualquer matriz A, n × n euma fatoracao do seguinte tipo, onde Q e uma matriz ortogonal eΘ e uma matriz Hessenberg superior.

A = QΘQ−1

× × × · · · × × ×× × × · · · × × ×0 × × · · · × × ×

0 0 × . . . × × ×...

......

. . ....

......

0 0 0 · · · × × ×0 0 0 · · · 0 × ×

Usando o MatLab (Decomposicao de Hessenberg)

Sintaxe:

[P,H] = hess(A)

P e a matriz ortogonal da decomposicao.

H e a matriz de Hessenberg.

Decomposicao em Autovalores (EVD)

Uma decomposicao em autovalores (EVD) da matriz simetrican × n, A, e uma fatoracao da seguinte forma

A = QΛQ−1

onde Q e uma matriz ortogonal e Λ = diag(λ1, λ2, ..., λn), com λisendo autovalores de A.

Parte III

– DECOMPOSICAO EM VALORES

SINGULARES –

Decomposicao em Valores Singulares (SVD)

Definicao (Decomposicao em Valores Singulares)

Sejam as matrizes

A ∈ RI×J ;

U = u1,u2, . . . ,uI ∈ RI×I ;

V = v1, v2, . . . , vJ ∈ RJ×J ;

Σ ∈ RI×J

Uma decomposicao do tipo

A = UΣVT

satisfazendo certas propriedades e dita uma decomposicao emvalores singulares.

Definicao (Decomposicao em Valores Singulares)

Sejam as matrizes

A ∈ RI×J ;

U = u1,u2, . . . ,uI ∈ RI×I ;

V = v1, v2, . . . , vJ ∈ RJ×J ;

Σ ∈ RI×J

Uma decomposicao do tipo

A = UΣVT

satisfazendo certas propriedades e dita uma decomposicao emvalores singulares.

Propriedades

AI×J = UI×IΣI×JVTJ×J

UUT = IdI (Ortogonal de ordem I);

VVT = IdJ (Ortogonal de ordem J);

Σ = diag(σ1, σ2, . . . , σP)I×J , com P = min(I , J) eσ1 ≥ σ2 ≥ · · · ≥ σP ≥ 0.

Propriedades

Nomenclatura

Os σk pertencentes a matriz Σ chamam-se valores singulares;

Os vetores colunas uk da matriz U sao os vetores singularesesquerdos;

Os vetores colunas vk da matriz V sao os vetores singularesdireitos.

Nomenclatura

Ilustracao da SVD

Usando o MatLab (SVD)

Sintaxe:

[U, S, V] = svd(A)

[U, S, V] = svds(A)

U e a matriz dos vetores singulares esquerdos.

V e a matriz dos vetores singulares direitos.

S e a matriz dos valore singulares da matriz A.

Exemplo

Considere o seguinte exemplo simples:

4 22 3 51 5 1 1

11 69 10 1411 69 10 14

Comando ’svd’

Usando ’svd’ para calcular a SVD de A, temos os seguintesvetores singulares esquerdos

−0.22 −0.97 0.07 0.00−0.05 −0.06 −1.00 −0.00−0.69 0.16 0.03 −0.71−0.69 0.16 0.03 0.71

Comando ’svds’

No entanto, ’svds’ troca os sinais dos primeiros tres pares devetores singulares. Abaixo os vetores singulares esquerdos saomostrados (os vetores singulares direitos tem um sinalcorrespondente).

0.22 0.97 −0.07 0.000.05 0.06 1.00 −0.000.69 −0.16 −0.03 −0.710.69 −0.16 −0.03 0.71

Usando o MatLab (Eigen & Singular Value Show)

Sintaxe:

eigshow(A)

Demonstracao grafica dos valores singulares para matrizes2× 2.

Observacao

Quando Ax for perpendicular a Ay, teremos:

1 Os vetores x e y sao os vetores singulares direitos da matriz;

2 Os vetores Ax e Ay, normalizados, sao os vetores singularesesquerdos da matriz;

3 A norma de Ax e Ay sao os valores singulares.

Usando o MatLab (Eigen & Singular Value Show)

Sintaxe:

eigshow(A)

Demonstracao grafica dos valores singulares para matrizes2× 2.

Observacao

Quando Ax for perpendicular a Ay, teremos:

1 Os vetores x e y sao os vetores singulares direitos da matriz;

2 Os vetores Ax e Ay, normalizados, sao os vetores singularesesquerdos da matriz;

3 A norma de Ax e Ay sao os valores singulares.

Propriedades da SVD

1 A = UΣVT ⇒ AT = VΣTUT

2 ⇒ ATA = VΣTUTUΣVT = V(ΣTΣ)VT

3 ⇒ AAT = UΣVTVΣTUT = U(ΣΣT )UT

4 ⇒ ΣΣT ≈ AAT ⇒ eig(ΣΣT ) = eig(AAT )

5 ⇒ σ2i = λi ⇒ σi =√λi

onde λi e i-esimo autovalor de AAT . O outro caso ( quesegue (2) )e analogo e se chega ao mesmo resultado.

Propriedades da SVD

5 ⇒ σ2i = λi ⇒ σi =√λi

Propriedades da SVD

5 ⇒ σ2i = λi ⇒ σi =√λi

Propriedades da SVD

5 ⇒ σ2i = λi ⇒ σi =√λi

Propriedades da SVD

5 ⇒ σ2i = λi ⇒ σi =√λi

Propriedades da SVD

5 ⇒ σ2i = λi ⇒ σi =√λi

Propriedades da SVD

1 Segue de (2) que V diagonaliza ATA, portanto os vi , vetoressingulares esquerdos de A, sao autovetores de ATA.

2 Segue de (3) que U diagonaliza AAT , portanto os ui , vetoressingulares direitos de A, sao autovetores de AAT .

3 Segue de (5) um meio de calcular os autovalores de A:

σi =√λi

Propriedades da SVD

σi =√λi

Propriedades da SVD

σi =√λi

Propriedades da SVD

σi =√λi

Teorema

Se A e uma matriz simetrica, entao a SVD de A se resumo a EVDde A.

Observacao

Se A e uma matriz simetrica, entao as matrizes ortogonais da SVDde A serao as mesmas. Consequentemente, os autovalores de Aserao iguais aos seus valores singulares.

Teorema

Se A e uma matriz simetrica, entao a SVD de A se resumo a EVDde A.

Observacao

Se A e uma matriz simetrica, entao as matrizes ortogonais da SVDde A serao as mesmas. Consequentemente, os autovalores de Aserao iguais aos seus valores singulares.

Exemplo

1 11 10 0

⇒ ATA =

[1 1 01 1 0

] 1 11 10 0

[2 22 2

⇒ AAT =

1 11 10 0

[ 1 1 01 1 0

2 2 02 2 00 0 0

Polinomio caracterıstico:

⇒ PAT A(λ) =

∣∣∣∣ 2− λ 22 2− λ

∣∣∣∣ = λ(λ− 4)

Autovalores e valores singulare:

⇒ λ1 = 4, λ2 = 0⇒ σ1 = 2, σ2 = 0

Autovetores:[2− λi 2

2 2− λi

] [xiyi

(2− λi )xi + 2yi = 02xi + (2− λi )yi = 0

(2− 4)x1 + 2y1 = 02x1 + (2− 4)y1 = 0

⇒−2x1 + 2y1 = 02x1 − 2y1 = 0

⇒ x1 = y1 ⇒ (x1, y1) = α(1, 1)

(2− 0)x2 + 2y2 = 02x2 + (2− 0)y2 = 0

2x2 + 2y2 = 02x2 + 2y2 = 0

⇒ x2 = −y2 ⇒ (x2, y2) = α(1,−1)

(2− 4)x1 + 2y1 = 02x1 + (2− 4)y1 = 0

⇒−2x1 + 2y1 = 02x1 − 2y1 = 0

⇒ x1 = y1 ⇒ (x1, y1) = α(1, 1)

(2− 0)x2 + 2y2 = 02x2 + (2− 0)y2 = 0

2x2 + 2y2 = 02x2 + 2y2 = 0

⇒ x2 = −y2 ⇒ (x2, y2) = α(1,−1)

Matriz dos vetores singulares direitos:

vi =(xi , yi )

‖(xi , yi )‖⇒ v1 =

(1, 1)√2

; v2 =(1,−1)√

1√2− 1√

Polinomio caracterıstico:

⇒ PAAT (λ) =

∣∣∣∣∣∣2− λ 2 0

2 2− λ 00 0 0− λ

∣∣∣∣∣∣ = λ2(λ− 4)

Auto vetores: 2− λi 2 02 2− λi 00 0 −λi

xiyiz1

(2− λi )xi + 2yi = 02xi + (2− λi )yi = 00xi + 0yi − λz1 = 0

⇒ x1 = y1; z1 = 0⇒ (x1, y1, z1) = α(1, 1, 0)

⇒ x2 = −y2; z2 = 0⇒ (x2, y2, z2) = α(1,−1, 0)

⇒ x3 = y3 = 0; z3 = α⇒ (x3, y3, z3) = α(0, 0, 1)

A matriz U dos vetores singulares esquerdos:

ui =(xi , yi , zi )

‖(xi , yi , zi )‖⇒ u1 =

(1, 1, 0)√2

; u2 =(1,−1, 0)√

2; u2 =

(0, 0, 1)√1

1√2− 1√

A = UΣVT =

1√2− 1√

0 00 0

1√2− 1√

Conclusao:

Autovalor 4 0

Valor singular 2 0

Vetor singular direito ( 1√2, 1√

2) ( 1√

2, 1√

Vetor singular esquerdo ( 1√2,− 1√

2, 0) ( 1√

2,− 1√

2, 0); (0, 0, 1)

Definicao (Pseudo-inversa)

A pseudo-inversa de uma matriz I × J,A, e uma matriz odtida doproduto das seguintes matrizes

A−1 = VΣ−1UT

onde Σ−1 = diag(σ−11 , σ−12 , . . . , σ−1P )J×I , com P = min(I , J). Sealgum valor λi singular da matriz for nulo, considera-se λ−1i = 0.

Observacao

A pseudo-inversa de uma matriz quadrada e a inversa antesdefinida.

Definicao (Pseudo-inversa)

A pseudo-inversa de uma matriz I × J,A, e uma matriz odtida doproduto das seguintes matrizes

A−1 = VΣ−1UT

onde Σ−1 = diag(σ−11 , σ−12 , . . . , σ−1P )J×I , com P = min(I , J). Sealgum valor λi singular da matriz for nulo, considera-se λ−1i = 0.

Observacao

A pseudo-inversa de uma matriz quadrada e a inversa antesdefinida.

Usando o MatLab (Pseudo-inversa)

Sintaxe:

B = pinv(A)

Retorna a pseudo-inversa da matriz A.

O Teorema da SVD

1 Sempre e possıvel decompor uma matriz A em valoressingulares.

2 Os valores singulares de uma matriz A sao unicamentedeterminados.

Observacao

Os valores singulares σ1, ..., σp sao unicos; entretanto, as matrizesU e V nao sao unicas.

O Teorema da SVD

Observacao

O Teorema da SVD

Observacao

O Teorema da SVD

Observacao

Definicao (rank de uma matriz)

O rank de uma matriz I × J, A, e o numero de valores singularesdistintos.

Observacao

O rank de uma matriz e na verdade o numero de colunas (oulinhas) linearmente independentes, o que e equivalente ao numerode valores singulares.

Definicao (rank de uma matriz)

O rank de uma matriz I × J, A, e o numero de valores singularesdistintos.

Observacao

O rank de uma matriz e na verdade o numero de colunas (oulinhas) linearmente independentes, o que e equivalente ao numerode valores singulares.

Usando o MatLab (Rank de uma Matriz)

Sintaxe:

k = rank(A)

Retorna o rank da matriz A.

Forma truncada

A ∼= UKΣKVTK =

K∑k=1

σkukvTk = A(k)

com K ≤ min(I , J)

UK = u1,u2, . . . ,uK ∈ RI×K ;

VK = v1, v2, . . . , vK ∈ RJ×K ;

ΣK = diag(σ1, σ2, . . . , σK ) ∈ RK×K .

Forma truncada

A ∼= UKΣKVTK =

K∑k=1

σkukvTk = A(k)

com K ≤ min(I , J)

UK = u1,u2, . . . ,uK ∈ RI×K ;

VK = v1, v2, . . . , vK ∈ RJ×K ;

ΣK = diag(σ1, σ2, . . . , σK ) ∈ RK×K .

Ilustracao da forma truncada da SVD

Teorema

Seja A = UΣVT a SVD da matriz A ∈ RI×J e A(K) a truncada deA de ordem K .

Se K ≤ rank(A), entao ‖A− A(K)‖ = σk+1.

Demonstracao

Lembrando a definicao da norma matricial ‖A‖ = max (svd(A)).Portanto, segue que

‖A− A(K)‖ = ‖UΣVT −UΣ(K)VT‖ =

‖U(ΣT −Σ(K))VT‖ = σk+1

Teorema

Seja A = UΣVT a SVD da matriz A ∈ RI×J e A(K) a truncada deA de ordem K .

Se K ≤ rank(A), entao ‖A− A(K)‖ = σk+1.

Demonstracao

Lembrando a definicao da norma matricial ‖A‖ = max (svd(A)).Portanto, segue que

‖A− A(K)‖ = ‖UΣVT −UΣ(K)VT‖ =

‖U(ΣT −Σ(K))VT‖ = σk+1

Propriedades da truncada

1 Segue da definicao de matriz truncada que, paraK < rank(A) ≤ P = min(I , J),

A = UKΣKVTK

= σ1u1vT1 + σ2u2vT2 + ...+ σKuKvTK + ...+ σPuPvTP≈ σ1u1vT1 + σ2u2vT2 + ...+ σKuKvTK

2 limK→P

[‖A− A(K)‖] = 0

3 limK→P

[ang(A,A(K))] = 0

A = UKΣKVTK

2 limK→P

[‖A− A(K)‖] = 0

3 limK→P

[ang(A,A(K))] = 0

A = UKΣKVTK

2 limK→P

[‖A− A(K)‖] = 0

3 limK→P

[ang(A,A(K))] = 0

A = UKΣKVTK

2 limK→P

[‖A− A(K)‖] = 0

3 limK→P

[ang(A,A(K))] = 0

Usando o MatLab (Truncada de uma Matriz)

Sintaxe:

B = truncada(A,k)

Retorna a forma truncada de ordem k de uma matriz de postor ≥ k .

Reflexividade

σkukvTk = σk(−uk)(−vTk )

Parte IV– APLICACOES –

Aplicacoes da SVD

Atributos da SVD

Simplificacao de dados;

Praticidade no tratamento dos dados;

Ortogonalizacao de espacos;

Aproximacoes;

Maximizacao do desempenho.

Aplicacoes da SVD

Atributos da SVD

Aproximacoes;

Aplicacoes da SVD

Atributos da SVD

Aproximacoes;

Aplicacoes da SVD

Atributos da SVD

Aproximacoes;

Aplicacoes da SVD

Atributos da SVD

Aproximacoes;

Aplicacoes da SVD

Atributos da SVD

Aproximacoes;

Aplicacoes da SVD

Algumas dos metodos mais comum

Analise de Componentes Principais (PCA);

Indexamento Semantico Latente (LSI));

Selecao induzida de hipertextos topicos (HITS);

Analise de Classificacoes, Analise de agrupamentos;

Aplicacoes da SVD

Aplicacoes apresentadas aqui

Indexamento Semantico Latente (LSI);

Algoritmo SignFlip;

Analise de Dados Espectrais;

Eigenfaces.

Aplicacoes da SVD

Algoritmo SignFlip;

Eigenfaces.

Aplicacoes da SVD

Algoritmo SignFlip;

Eigenfaces.

Aplicacoes da SVD

Algoritmo SignFlip;

Eigenfaces.

Aplicacoes da SVD

Algoritmo SignFlip;

Eigenfaces.

Aplicacoes da SVD

Algoritmo SignFlip;

Eigenfaces.

Aplicacao 1Indexamento Semantico Latente (LSI)

Indexamento Semantico Latente (LSI)

Metodo de Busca

Rotina:

1 Carregar base de dados.

2 Montar a matriz de frequencia das palavras-chave(previamente definidas). [A]

3 Normalizar a matriz. [Q]

4 Ler palavras-chave (com base nas palavras-chave dos aquivosda base de dados).

5 Formar um vetor de busca. [v]

6 Normalizar o vetor de busca. [x]

7 Calcular o vetor de correlacao. [y = QTx]

8 O arquivo que melhor se ajusta ao criterio de busca e aquelecorrepondente ao yi mais proximo de 1.

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Metodo de Busca

Rotina:

Frequencia das Palavras-Chave

ModulosPalavras-chave M1 M2 M3 M4 M5 M6 M7 M8

determinante 0 6 3 0 1 0 1 1autovalores 0 0 0 0 0 5 3 2linear 5 4 4 5 4 0 3 3matrizes 6 5 3 3 4 4 3 2numerico 0 0 0 0 3 0 4 3ortogonalidade 0 0 0 0 4 6 0 2espacos 0 0 5 2 3 3 0 1sistemas 5 3 3 2 4 2 1 1transformacoes 0 0 0 5 1 3 1 0vetor 0 4 4 3 4 1 0 3

Matriz de Frequencia das Palavras-Chave

0 6 3 0 1 0 1 10 0 0 0 0 5 3 25 4 4 5 4 0 3 36 5 3 3 4 4 3 20 0 0 0 3 0 4 30 0 0 0 4 6 0 20 0 5 2 3 3 0 15 3 3 2 4 2 1 10 0 0 5 1 3 1 00 4 4 3 4 1 0 3

Matriz de Frequencia das Palavras-ChaveNormalizada

0, 00 0, 59 0, 33 0, 00 0, 10 0, 00 0, 15 0, 150, 00 0, 00 0, 00 0, 00 0, 00 0, 50 0, 44 0, 310, 54 0, 40 0, 44 0, 57 0, 40 0, 00 0, 44 0, 460, 65 0, 50 0, 33 0, 34 0, 40 0, 40 0, 44 0, 310, 00 0, 00 0, 00 0, 00 0, 30 0, 00 0, 60 0, 460, 00 0, 00 0, 00 0, 00 0, 40 0, 60 0, 00 0, 310, 00 0, 00 0, 55 0, 23 0, 30 0, 30 0, 00 0, 155, 00 0, 30 0, 33 0, 23 0, 40 0, 20 0, 15 0, 150, 00 0, 00 0, 00 0, 57 0, 10 0, 30 0, 15 0, 000, 00 0, 40 0, 44 0, 34 0, 40 0, 10 0, 00 0, 46

Ler Palvras-Chave; Formar um Vetor de Busca;Normalizar o Vetor de Busca

Palavras-chaves: ortogonalidade; espacos; vetor.

0000011001

⇒ x =

‖a‖⇒ x =

0.000.000.000.000.000.580.580.000.000.58

Calcular o Vetor de Correlacao

y = QTx

⇒ yi = qTi x = cos(θ)i

⇒ y =[

0.00 0.23 0.57 0.33 0.64 0.58 0.00 0.54]T

Conclusao

O modulo 5 e o que melhor se ajusta ao nosso criterio de busca.

Calcular o Vetor de Correlacao

y = QTx

⇒ yi = qTi x = cos(θ)i

⇒ y =[

0.00 0.23 0.57 0.33 0.64 0.58 0.00 0.54]T

Conclusao

O modulo 5 e o que melhor se ajusta ao nosso criterio de busca.

Aproximando a Base de Dados

Devido a problemas de polissemia e sinonımia, nosso metodode busca nao e perfeito.

Suponha que fosse possıvel corrigir esse problemas e chegar auma matriz de dados perfeita P.

Podemos pensar em E = Q− P como uma matriz querepresenta o erro da aproximacao.

Encotremos uma aproximacao de Q mais simples, Q1 (composto menor). Q1 sera a truncada de Q de ordem k.

Veja que pode acontecer de ‖E1‖ ser menor que ‖E‖.

A multiplicacao QTx requer um total de mn multiplicacoes deescalares.

Se r ≤ min(m, n)/2, a multiplicacao Q1 = V1Σ1UT1 e a

multiplicacao QT1 x requerem juntas um total de r(m + n + 1)

multiplicacoes de escalares.

Aplicacao 2Compressao de Imagens

Compressao de Imagens

Usando o MatLab (Compressao de Imagens)

Rotina:

1 Carregar imagem.

2 Transforma a imagem numa matriz.

3 Calcular a forma truncada de ordem k por meio da SVD.

4 Transforma a matriz numa imagem.

5 Exibir a imagem.

Rotina:

1 Carregar imagem.

5 Exibir a imagem.

Rotina:

1 Carregar imagem.

5 Exibir a imagem.

Rotina:

1 Carregar imagem.

5 Exibir a imagem.

Rotina:

1 Carregar imagem.

5 Exibir a imagem.

Aplicacao 3Ambiguidade no sinal da SVD

Algoritmo SignFlip

Essencia do Metodo

Idealizacao

Matematicamente, nao ha maneira de evitar a ambiguidadedo sinal de um termo multiplicativo, como o par de vetoressingulares.

A fim de identificar o sinal de um vetor singular, sugere-se queseja semelhante ao sinal da maioria dos vetores que estarepresentando.

Geometricamente, ele deve apontar na mesma direcao, e naona direcao oposta dos pontos que estao representando.

Essencia do Metodo

Idealizacao

Essencia do Metodo

Idealizacao

Exemplo

Quatro exemplos de matrizes 10×2 aleatorias

Exemplo

Exemplo de uma matriz de dados

Funcao SignFlip

Entradas:

X ∈ RI×J e sua (possivelmente truncadas) decomposicao emvalores singulares (U,V,Σ).

Funcao SignFlip

1º passo

Para cada vetor singular a esquerda, k = 1, 2, ...,K e para yj sendoa j-esima coluna de Y

Y = X−K∑

m=1,m 6=k

σmumvTm

Seja sesquerdok =J∑

sign(uTk yj)(uT

k yj)2

fim do para

Funcao SignFlip

2º passo

Para cada vetor singular a direita, k = 1, 2, ...,K e para yi sendo ai-esima linha transposta de Y

Y = X−K∑

m=1,m 6=k

σmumvTm

Seja sdireitok =I∑

sign(vTk yi )(vTk yi )2

fim do para

Funcao SignFlip

3º passo

Para cada vetor singular, k = 1, 2, ...,K

se (sesquerdok )(sdireitok ) < 0, entao

se (sesquerdok ) < (sdireitok ), entao

sesquerdok = −sesquerdokse nao,

sdireitok = −sdireitok

fim do sefim do se

Funcao SignFlip

3º passo (continuacao)

Para cada vetor singular, k = 1, 2, ...,K(...)

uk = sign(sesquerdok )uk

vk = sign(sdireitok )vk

fim do para

Funcao SignFlip

Saıdas:

u e v( vetores singulares a esquerda e a direita com sinaisapropriados).

Aplicacao 4Exemplos de uso da convencao de sinais:

Dados Espectrais

O efeito da sinalizacao ambıgua em DadosEspectrais

Dados espectrais

Um exemplo para a ilustracao da ambiguidade no sinal da SVD e aanalise de Dados Espectrais.

Dados espectrais

Figura: Sesenta e uma emisoes de espectros fluorescentes201-dimensionais.

Dados espectrais

Figura: Bootstrapped dos tres primeiros vetores singulares direitos apartir da Figura 6 antes (superior) e depois (inferior) da correcao do sinal.

Aplicacao 5Analise de Componentes Principais (PCA)

Analise de Componentes Principais (PCA)

Metodologia

Rotina:

2 Montar a matriz correpondente a base de dados. [A]

3 Calcular a matriz dos desvios medio. [X]

4 Computar a matriz de covariancia. [S = XT Xn−1 ]

Metodologia

Rotina:

Metodologia

Rotina:

Metodologia

Rotina:

Notas da turma de matematica da Universidade deMassachusetts Dartmouth

Graus——————————————————-

Aluno Trabalhos Provas Parciais Prova Final

S1 198 200 196S2 160 165 165S3 158 158 133S4 150 165 91S5 175 182 151S6 134 165 101S7 152 136 80

Media 161 163 131

Matriz dos desvios

37 37 65−1 2 34−3 −5 2−11 2 −4014 19 20−27 −28 −30−9 −27 −51

Normalizando os desvios

u1 =x1‖x1‖

; u2 =x2‖x2‖

e u3 =x3‖x3‖

Matriz dos desvios normalizada

0, 74 0, 65 0, 62−0, 02 0, 03 0, 33−0, 06 −0, 09 0, 02−0, 22 0, 03 −0, 380, 28 0, 33 0, 19−0, 54 −0, 49 −0, 29−0, 18 −0, 47 −0, 49

Normalizando os desvios

u1 =x1‖x1‖

; u2 =x2‖x2‖

e u3 =x3‖x3‖

Matriz dos desvios normalizada

0, 74 0, 65 0, 62−0, 02 0, 03 0, 33−0, 06 −0, 09 0, 02−0, 22 0, 03 −0, 380, 28 0, 33 0, 19−0, 54 −0, 49 −0, 29−0, 18 −0, 47 −0, 49

Relacao angular entre os vetores

cos(θ) =xT1 x2

‖x1‖ ‖x2‖≈ 0, 92

Matriz de correlacao

C = UTU =

1 0, 92 0, 830, 92 1 0, 830, 83 0, 83 1

Relacao angular entre os vetores

cos(θ) =xT1 x2

‖x1‖ ‖x2‖≈ 0, 92

Matriz de correlacao

C = UTU =

1 0, 92 0, 830, 92 1 0, 830, 83 0, 83 1

Variancia

n − 1

n∑i=1

n − 1

Covariancia

cov(X1,X2) =xT1 x2n − 1

Matriz de covariancia

S =XTX

n − 1

Variancia

n − 1

n∑i=1

n − 1

Covariancia

cov(X1,X2) =xT1 x2n − 1

S =XTX

n − 1

Variancia

n − 1

n∑i=1

n − 1

Covariancia

cov(X1,X2) =xT1 x2n − 1

S =XTX

n − 1

37 −1 −3 −11 14 −27 −937 2 −5 2 19 −28 −2765 34 2 −40 20 −30 −51

37 37 65−1 2 34−3 −5 2−11 2 −4014 19 20−27 −28 −30−9 −27 −51

417, 7 437, 5 725, 7437, 5 546, 0 830, 0725, 7 830, 0 1814, 3

Componentes Principais

Evitar a correlacao entre os dados.

Tornar os fatores hipoteticos nao correlacionados. [yi ]

Portanto, queremos introduzir vetores mutuamenteortogonais, yi , correspondentes aos fatores hipoteticos.

Alem disso, queremos numerar esse vetores em ordemdecrescente de variancia.

Problema das componentes principais

Queremos, portanto, fatorar a matriz de dados X (m× n, onde n eo numero de fatores hipoteticos - testes) da seguinte forma

X = UW

onde U e a matriz das componentes principais normalizadas e W ea matriz que mede em que extensao cada teste depende dosfatores hipoteticos.

Problema das componentes principais

Em geral, a SVD resolve a PCA. Se X tem posto r e sua SVD,X = UΣV (truncada), entao os vetores componente principais saodados por

y1 = σ1u1, ..., yr = σrur

Os vetore a esquerda u1, ...,un sao os vetores componentesprincipais normalizados. Se fizermos W = ΣVT , entao

X = UW

Aplicacao 6Eigenfaces

Eigenfaces

Um exemplo para a ilustracao da ambiguidade no sinal da SVD eda PCA e uma tecnica bem conhecida chamada Eigenfaces, muitasvezes usado no reconhecimento de faces.

Eigenfaces

Usando o MatLab (Eigenfaces)

Rotina: (1ª Parte - Preparar o banco de faces)

1 Carregar base de n faces. Cada face e uma matriz NL × NC .

2 Vetorizar as matrizes correspondente a cada face: ei ,M × 1,onde M = NLNC .

3 Computar o vetor face media: µ.

4 Subtrair de cada vetor-face a face media (Matriz dos Desvios):

∆i = ei − µ

5 Computar a matriz de covariancia:

C = ∆∆T

Eigenfaces

∆i = ei − µ

C = ∆∆T

Eigenfaces

∆i = ei − µ

C = ∆∆T

Eigenfaces

∆i = ei − µ

C = ∆∆T

Eigenfaces

∆i = ei − µ

C = ∆∆T

Eigenfaces

Rotina: (2ª Parte - Computar o Eigenspace)

1 Calcular os autovetores da matriz de covariancia C = ∆∆T ,(M ×M): (INVIAVEL!)

2 Calcular os autovetores da matriz L = ∆T∆, (n × n).

eig(∆T∆) = svd(∆T∆) = VΣTΣVT

Portanto, V e a matriz dos autovetores de L.

3 Computar o Eigenspace: U = EV, onde E = [e1, ..., en].

Eigenfaces

Rotina: (3ª Parte - Comparando as Projecoes)

1 Projetar a face-teste (z) no Eigenspace: w = UT (z− µ)

2 Projetar os vetores-faces (ei ) no Eigenspace: yi = UT (ei − µ)

Y = UT∆

3 Calcular a distancia entre a face-teste projetada (w) e osvetores-faces proetados (yi ):

disti = ‖yi −w‖

4 Pegar o vetor-face projetado menos distante da face-testeprojetada e a sua numeracao (distmin, k).

Eigenfaces

Y = UT∆

Eigenfaces

Y = UT∆

Eigenfaces

Y = UT∆

Eigenfaces

Rotina: (4ª Parte - Classificando a Imagem)

1 Assuma um limite tolerancia:

Limite =σi

rank(L)

2 Se distmin > Limite, entao a face-teste nao pertence ao bancode faces e nem ao menos possui uma similar.

3 Se distmin < Limite e distmin 6= 0, entao a face-teste possuiuma similar no banco de faces (a face k).

4 Se distmin < Limite e distmin = 0, entao a face-teste pertenceao banco de faces, sendo k a sua numeracao.

Eigenfaces

Limite =σi

rank(L)

Eigenfaces

Limite =σi

rank(L)

Eigenfaces

Limite =σi

rank(L)

O efeito da sinalizacao ambıgua em Eigenfaces

Eigenfaces

Figura: Eigenfaces correspondentes aos tres primeiros vetores singularesobtidos em execucoes diferentes do metodo ’svd’ em MATLAB, quando200 de 265 imagens sao aleatoriamente amostradas em cada execucao.

O efeito da sinalizacao ambıgua em Eigenfaces

Eigenfaces

Figura: Eigenfaces correspondentes aos tres primeiros vetores singularesobtidos de forma consistente em execucoes diferentes com a funcaoSignFlip quando 200 de 265 imagens sao aleatoriamente amostradas emcada execucao.

E tudo termina com muitas ideias.

Lista de funcoes usadas no MatLab

inv (inversa)

menor (menor de uma matriz)

det (determinante)

interno (porduto interno matricial e vetorial canonico)

norm (norma)

cos (cosseno)

eigshow (eigen-singular show)

eig (autovalores e autovetores)

sym (manipulacao simbolica)

poly (polinomio caracterıstico)

Lista de funcoes usadas no MatLab

factor (fatorizacao)

schur (decomposicao de Schur)

hess (decomposicao de Hessenberg)

svd (decomposicao em valores singulares completa)

svds (decomposicao em valores singulares parcial)

rank (rank de uma matriz)

truncada (truncada de uma matriz)

pinv (pseudo-inversa de uma matriz)

signflip (funcao signflip)

svdimagens (rotina de compressoes de imagens)

Referencias

Banco de faces

Pode-se encontrar o banco de faces usado a aplicacao Eigenface noseguinte site:http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html

Referencias

1 Linear Algebra; Kenneth Hoffman & Ray Kunze; editoraPrentice Hall, 2ªed.

2 Algebra Linear com aplicacoes; Steven J. Leon; editora LTC,8ªed.

3 Singular value decomposition, eigenfaces, and 3Dreconstructions; Muller, N., Magaia, L. and Herbst B. M;SIAM Review, Vol. 46 Issue 3, pp. 518–545. Dec. 2004.

4 On the early history of the singular value decomposition; G.W. Stewart; IMA Preprint Series nº952, abril de 1992.

5 Singular Value Decomposition Tutorial; Kirk Baker; March 29,2005; http://www.cs.wits.ac.za/ michael/SVDTut.pdf

6 Resolvign the sign ambiguity in the singular valuedecomposition; R. Broa, E. Acar e Tamara G. Kolda; J.Chemometrics 2008, 22, 135-140.

singular value decomposition (svd) and application in matlab

Documents

svd mostrar aplicaes

dados e

referncias e sumario1

walner mendona dos santos

ideia e bastante disposicao

tais mtodos

analise mtodos modernos

passearemos um pouco