bases for infinite vector spaces

8/12/2019 Bases for infinite vector spaces

1/9

B A S E S F O R I N F I N I T E D I M E N S I O N A L V E C T O R S P A C E S

M A T H 5 1 3 L I N E A R A L G E B R A S U P P L E M E N T

P r o f e s s o r K a r e n E . S m i t h

W e h a v e p r o v e n t h a t e v e r y n i t e l y g e n e r a t e d v e c t o r s p a c e h a s a b a s i s . B u t

w h a t a b o u t v e c t o r s p a c e s t h a t a r e n o t n i t e l y g e n e r a t e d , s u c h a s t h e s p a c e o f a l l

c o n t i n u o u s r e a l v a l u e d f u n c t i o n s o n t h e i n t e r v a l 0 ; 1 ] ? D o e s s u c h a v e c t o r s p a c e

h a v e a b a s i s ?

B y d e n i t i o n , a b a s i s f o r a v e c t o r s p a c e V i s a l i n e a r l y i n d e p e n d e n t s e t w h i c h

g e n e r a t e s V . B u t w e m u s t b e c a r e f u l w h a t w e m e a n b y l i n e a r c o m b i n a t i o n s f r o m

a n i n n i t e s e t o f v e c t o r s . T h e d e n i t i o n o f a v e c t o r s p a c e g i v e s u s a r u l e f o r a d d i n g

t w o v e c t o r s , b u t n o t f o r a d d i n g t o g e t h e r i n n i t e l y m a n y v e c t o r s . B y s u c c e s s i v e

a d d i t i o n s , s u c h a s ( v

1

+ v

2

) + v

3

, i t m a k e s s e n s e t o a d d a n y n i t e s e t o f v e c t o r s ,

b u t i n g e n e r a l , t h e r e i s n o w a y t o a s c r i b e m e a n i n g t o a n i n n i t e s u m o f v e c t o r s i n

a v e c t o r s p a c e .

T h e r e f o r e , w h e n w e s a y t h a t a v e c t o r s p a c e V i s g e n e r a t e d b y o r s p a n n e d b y a n

i n n i t e s e t o f v e c t o r s f v

1

; v

2

; : : : g , w e m e a n t h a t e a c h v e c t o r v i n V i s a n i t e l i n e a r

c o m b i n a t i o n

i

1

v

i

1

+ +

i

n

v

i

n

o f t h e v

i

' s . L i k e w i s e , a n i n n i t e s e t o f v e c t o r s

f v

1

; v

2

; : : : g i s s a i d t o b e l i n e a r l y i n d e p e n d e n t i f t h e o n l y n i t e l i n e a r c o m b i n a t i o n

o f t h e v

i

' s t h a t i s z e r o i s t h e t r i v i a l l i n e a r c o m b i n a t i o n . S o a s e t f v

1

; v

2

; v

3

; : : : ; g i s

a b a s i s f o r V i f a n d o n l y i f e v e r y e l e m e n t o f V c a n b e b e w r i t t e n i n a u n i q u e w a y

a s a n i t e l i n e a r c o m b i n a t i o n o f e l e m e n t s f r o m t h e s e t .

A c t u a l l y , t h e n o t a t i o n f v

1

; v

2

; v

3

; : : : ; g f o r a n i n n i t e s e t i s m i s l e a d i n g b e c a u s e

i t s e e m s t o i n d i c a t e t h a t t h e s e t i s c o u n t a b l e . W e w a n t t o a l l o w t h e p o s s i b i l i t y t h a t

a v e c t o r s p a c e m a y h a v e a n u n c o u n t a b l e b a s i s . F o r t h i s r e a s o n , i t i s m o r e s e n s i b l e

t o u s e n o t a t i o n s u c h a s f v

j 2 g ; w h e r e i s s o m e u n s p e c i e d i n d e x i n g s e t .

D o e s e v e r y v e c t o r s p a c e h a v e a b a s i s ? L e t ' s s e e w h a t h a p p e n s i n t h e s i m p l e s t

c a s e s .

E x a m p l e 1 . C o n s i d e r t h e v e c t o r s p a c e P ( R ) o f a l l p o l y n o m i a l f u n c t i o n s o n t h e

r e a l l i n e . T h i s v e c t o r s p a c e i s n o t g e n e r a t e d b y a n y n i t e s e t . O n t h e o t h e r h a n d ,

e v e r y p o l y n o m i a l i s a n i t e l i n e a r c o m b i n a t i o n o f t h e p o l y n o m i a l s

f

n

( x ) = x

n

f o r n = 0 ; 1 ; 2 ; : : : , s o t h e s e p o l y n o m i a l s s p a n P ( R ) . F u r t h e r m o r e , i f a p o l y n o m i a l

n

x

n

+

n 1

x

n

+ +

1

x +

0

i s t h e z e r o f u n c t i o n o n R , t h e n a l l c o e c i e n t s

i

T y p e s e t b y A

M

S - T

E

X

1


2/9

m u s t b e z e r o , s o t h e f

n

' s a r e l i n e a r l y i n d e p e n d e n t . I n o t h e r w o r d s , t h e f u n c t i o n s

f

n

f o r m a b a s i s f o r t h e v e c t o r s p a c e P ( R ) .

E x a m p l e 2 . L e t R

1

b e t h e v e c t o r s p a c e o f i n n i t e s e q u e n c e s (

1

;

2

;

3

; : : : ; )

o f r e a l n u m b e r s . T h i s i s a n a t u r a l g e n e r a l i z a t i o n o f R

n

. T h e v e c t o r a d d i t i o n a n d

s c a l a r m u l t i p l i c a t i o n a r e d e n e d i n t h e n a t u r a l w a y : t h e s u m o f (

1

;

2

;

3

; : : : ) a n d

(

1

;

2

;

3

; : : : ) i s (

1

+

1

;

2

+

2

;

3

+

3

; : : : ) a n d t h e p r o d u c t o f (

1

;

2

;

3

; : : : )

b y a s c a l a r i s t h e s e q u e n c e (

1

;

2

;

3

; : : : ) . W h a t m i g h t b e a b a s i s f o r R

1

?

A n a t u r a l s e t t o c o n s i d e r i s t h e s e t f e

1

; e

2

; : : : ; g g e n e r a l i z i n g t h e s t a n d a r d b a s i s

f o r R

n

. I n o t h e r w o r d s , e

i

h e r e i s t h e s e q u e n c e o f a l l z e r o e s e x c e p t i n t h e i t h s p o t

w h e r e t h e r e a p p e a r s a 1 . T h e v e c t o r s f e

i

g a r e o b v i o u s l y l i n e a r l y i n d e p e n d e n t . B u t

d o t h e y s p a n R

1

? N o t e t h a t e v e r y n i t e l i n e a r c o m b i n a t i o n o f t h e e

i

' s w i l l b e a

v e c t o r i n w h i c h o n l y n i t e l y m a n y c o m p o n e n t s a r e n o n - z e r o . T h u s t h e r e i s n o w a y

t o w r i t e v e c t o r l i k e ( 1 ; 1 ; 1 ; : : : ; ) a s a n i t e l i n e a r c o m b i n a t i o n o f t h e e

i

' s .

S i n c e t h e v e c t o r v = ( 1 ; 1 ; 1 ; : : : ; ) c a n n o t b e w r i t t e n a s a l i n e a r c o m b i n a t i o n o f

t h e v e c t o r s e

i

= ( 0 ; : : : ; 0 ; 1 ; 0 ; 0 ; : : : ) , i t m u s t b e t h a t t o g e t h e r t h e e

i

' s a n d v f o r m

a l i n e a r l y i n d e p e n d e n t s e t . I f t h i s s e t s p a n s R

1

, i t m u s t b e a b a s i s . U n f o r t u n a t e l y ,

i t d o e s n o t s p a n : f o r e x a m p l e , t h e v e c t o r w = ( 1 ; 2 ; 3 ; 4 ; : : : ) i s n o t a l i n e a r c o m -

b i n a t i o n o f t h e e

i

' s a n d v . W e c o u l d t r y t o r e p e a t t h i s p r o c e s s , c h e c k i n g w h e t h e r

t h e s e t

fw ; v ; e

1

; e

2

; e

3

; : : : ;

gs p a n s R

1

, a n d i f n o t , e n l a r g i n g t h e s e t t o a b i g g e r

l i n e a r l y i n d e p e n d e n t s e t . B u t d o e s t h e p r o c e s s e v e n t u a l l y e n d , y i e l d i n g a b a s i s f o r

R

1

? A c t u a l l y , i t c a n b e p r o v e d t h a t n o c o u n t a b l e s e t o f v e c t o r s i n R

1

s p a n s R

1

,

s o e v e n i f R

1

h a s a b a s i s , w e w i l l n o t b e a b l e t o c o n s t r u c t i t b y s i m p l y a d d i n g i n

e l e m e n t s o n e a t a t i m e t o t h i s s e t .

O n e m i g h t t r y t o a r g u e t h a t t h e v e c t o r s e

i

g e n e r a t e R

1

i f w e a l l o w \ i n n i t e

l i n e a r c o m b i n a t i o n s " o f t h e m . I n d e e d , w e c o u l d t h i n k o f (

1

;

2

;

3

; : : : ) a s t h e

s u m

P

1

i = 1

i

e

i

. T h i s i s u n s a t i s f a c t o r y f o r s e v e r a l r e a s o n s . F i r s t , a l t h o u g h t h i s

p a r t i c u l a r i n n i t e s u m s e e m s t o m a k e s e n s e , i n n i t e s u m s i n g e n e r a l d o n o t . F o r

e x a m p l e , w h a t w o u l d b e t h e s u m ( 1 ; 1 ; 1 ; : : : ; ) + ( 2 ; 2 ; 2 ; : : : ; ) + ( 3 ; 3 ; 3 ; : : : ; ) ? T h i s

c o u l d b e c o m e a s e r i o u s p r o b l e m i f w e t r y t o d o a n y k i n d o f a l g e b r a i c m a n i p u l a t i o n s

w i t h t h e s e \ i n n i t e s u m s " . A l s o , t h e f a c t t h a t w e j u s t h a p p e n t o m a k e s e n s e o f a n

i n n i t e s u m o f a s p e c i a l t y p e o f v e c t o r s i n a s p e c i a l t y p e o f v e c t o r s p a c e d o e s n o t

g e n e r a l i z e w e l l t o o t h e r s e t t i n g s . E v e n f o r s u b s p a c e s o f R

1

, t h e s e \ i n n i t e s u m s "

m a y n o t m a k e s e n s e .

E x a m p l e 3 . L e t V b e t h e s u b s p a c e o f R

1

c o n s i s t i n g o f t h o s e s e q u e n c e s

(

1

;

2

; : : : ; ) f o r w h i c h t h e l i m i t l i m a

n

e x i s t s a s n g o e s t o i n n i t y . T h a t i s , V

i s t h e s p a c e o f c o n v e r g e n t s e q u e n c e s o f r e a l n u m b e r s . C l e a r l y t h e e l e m e n t s e

i

a b o v e

a r e i n V , s i n c e t h e l i m i t o f t h e s e q u e n c e ( 0 ; : : : ; 0 ; 1 ; 0 ; 0 : : : ; ) i s z e r o . O f c o u r s e ,

t h e e

i

a r e s t i l l l i n e a r l y i n d e p e n d e n t . D o t h e y s p a n V ? N o , a g a i n t h e e l e m e n t

( 1 ; 1 ; 1 ; : : : ) i s i n V ( t h e l i m i t o f t h i s s e q u e n c e i s 1 ) , b u t n o t i n t h e s p a n o f t h e e

i

.

I t i s n o t c l e a r w h e t h e r w e c a n a d d i n s o m e m o r e v e c t o r s o f V s o a s t o e n l a r g e t h i s

s e t t o a b a s i s .

N o t e t h a t w e c a n n o t d e s c r i b e V a s t h e s e t o f \ i n n i t e l i n e a r c o m b i n a t i o n s " o f

t h e e

i

. I n d e e d , t h e s e t o f a l l t h e \ i n n i t e l i n e a r c o m b i n a t i o n s " o f t h e e

i

i s a l l

o f R

1

, w h e r e a s n o t e v e r y v e c t o r i n R

1

i s a c o n v e r g e n t s e q u e n c e . F o r e x a m p l e

2


3/9

( 1 ; 2 ; 3 ; 4 ; : : : ) i s n o t i n V .

E x a m p l e 4 . L e t

2

b e t h e s u b s p a c e o f R

1

o f a l l s q u a r e s u m m a b l e s e q u e n c e s ,

t h a t i s , o f v e c t o r s (

1

;

2

; : : : ) s u c h t h a t

P

1

i = 1

2

i

e x i s t s . T h i s s p a c e i n c l u d e s t h e

l i n e a r l y i n d e p e n d e n t v e c t o r s e

i

, b u t i s n o t s p a n n e d b y t h e e

i

. F o r e x a m p l e , t h e

v e c t o r ( 1 ;

1

2

;

1

4

;

1

8

;

1

1 6

; : : : ) i s i n

2

( i t h a s s q u a r e - s u m 4 / 3 ) , b u t i s n o t a ( n i t e ) l i n e a r

c o m b i n a t i o n o f t h e e

i

. D o e s t h i s s p a c e h a v e a b a s i s ?

E x a m p l e 5 . L e t V b e t h e s u b s p a c e o f R

1

s p a n n e d b y t h e e

i

f o r i = 1 ; 2 ; 3 ; : : : .

S i n c e t h e e

i

a r e l i n e a r l y i n d e p e n d e n t , c l e a r l y t h e y f o r m a b a s i s f o r V . W h a t i s t h e

s p a c e V ? I t c o n s i s t s o f a l l v e c t o r s i n R

1

i n w h i c h a l l b u t n i t e l y m a n y o f t h e s l o t s

a r e z e r o e s . T h i s c a n b e i n t e r p r e t e d a s t h e u n i o n o f a l l R

n

a s n g o e s t o i n n i t y .

E x a m p l e 6 . L e t R b e t h e s e t o f r e a l n u m b e r s c o n s i d e r e d a s a v e c t o r s p a c e o v e r

t h e e l d Q o f r a t i o n a l n u m b e r s . W h a t c o u l d p o s s i b l y b e a b a s i s ? T h e e l e m e n t s

p

2 ,

p

3 ;

p

5 ;

p

6 ; : : : ; c a n b e s h o w n t o b e l i n e a r l y i n d e p e n d e n t , b u t t h e y c e r t a i n l y

d o n ' t s p a n R , a s w e a l s o n e e d e l e m e n t s l i k e ,

2

;

3

; : : : ; , w h i c h a l s o f o r m a l i n e a r l y

i n d e p e n d e n t s e t . I n f a c t , b e c a u s e Q i s c o u n t a b l e , o n e c a n s h o w t h a t t h e s u b s p a c e

o f R g e n e r a t e d b y a n y c o u n t a b l e s u b s e t o f R m u s t b e c o u n t a b l e . B e c a u s e R i t s e l f

i s u n c o u n t a b l e , n o c o u n t a b l e s e t c a n b e a b a s i s f o r R o v e r Q . T h i s m e a n s t h a t a n y

b a s i s f o r R o v e r Q , i f o n e e x i s t s , i s g o i n g t o b e d i c u l t t o d e s c r i b e .

T h e s e e x a m p l e s m a k e i t c l e a r t h a t e v e n i f w e c o u l d s h o w t h a t e v e r y v e c t o r s p a c e

h a s a b a s i s , i t i s u n l i k e l y t h a t a b a s i s w i l l b e e a s y t o n d o r t o d e s c r i b e i n g e n e r a l .

E v e r y v e c t o r s p a c e h a s a b a s i s .

A l t h o u g h i t m a y s e e m d o u b t f u l a f t e r l o o k i n g a t t h e e x a m p l e s a b o v e , i t i s i n d e e d

t r u e t h a t e v e r y v e c t o r s p a c e h a s a b a s i s . L e t u s t r y t o p r o v e t h i s . F i r s t , c o n s i d e r

a n y l i n e a r l y i n d e p e n d e n t s u b s e t o f a v e c t o r s p a c e V , f o r e x a m p l e , a s e t c o n s i s t i n g

o f a s i n g l e n o n - z e r o v e c t o r w i l l d o . C a l l t h i s s e t

S

1

. I f

S

1

s p a n s V , i t i s a b a s i s , a n d

t h e p r o o f i s c o m p l e t e . I f n o t , w e c a n c h o o s e a v e c t o r o f V n o t i n S a n d t h e u n i o n

S

2

= S

1

f v g i s a l a r g e r l i n e a r l y i n d e p e n d e n t s e t . E i t h e r t h i s s e t i s a b a s i s , o r w e

c a n a g a i n e n l a r g e i t b y c h o o s i n g s o m e v e c t o r o f V n o t i n t h e s p a n . W e c a n r e p e a t

t h i s p r o c e s s o v e r a n d o v e r , a n d h o p e t h a t i t e v e n t u a l l y e n d s . B u t i t i s e a s y t o s e e

t h a t s u c h a n a i v e a p p r o a c h w i l l n o t w o r k i n g e n e r a l u n l e s s V i s n i t e d i m e n s i o n a l .

I n d e e d , s t a r t i n g f r o m S

1

b e i n g a s i n g l e e l e m e n t s e t , e v e r y S

i

p r o d u c e d t h i s w a y w i l l

b e n i t e .

O n t h e o t h e r h a n d , u s i n g t h i s i d e a , w e e i t h e r g e t a b a s i s f o r V e v e n t u a l l y o r w e

g e t a n i n c r e a s i n g c o l l e c t i o n o f l i n e a r l y i n d e p e n d e n t s e t s

S

1

S

2

S

3

: : : :

C l e a r l y t h e u n i o n S o f a l l t h e S

i

i s a l i n e a r l y i n d e p e n d e n t s e t , s i n c e a n y n i t e l i n e a r

c o m b i n a t i o n o f t h e e l e m e n t s o f t h e u n i o n m u s t i n v o l v e e l e m e n t s f r o m o n e o f t h e

s e t s

S

i

. I f t h i s s e t

Ss p a n s V , i t i s a b a s i s a n d w e a r e d o n e . T h i s i s w h a t h a p p e n s ,

f o r e x a m p l e , i f V i s t h e s p a c e o f p o l y n o m i a l s d e n e d i n E x a m p l e 1 a n d S

i

i s t h e s e t

3


4/9


5/9

a r e n i t e l y m a n y s e t s i n t h e c o l l e c t i o n , b u t w h a t i f t h e r e a r e i n n i t e l y m a n y , m a y b e

e v e n u n c o u n t a b l y m a n y ? T h e a x i o m o f c h o i c e a n d Z o r n ' s L e m m a b o t h e r e d m a n y

m a t h e m a t i c i a n s ( a n d s t i l l b o t h e r s s o m e ! ) f o r v a r i o u s r e a s o n s . F o r e x a m p l e , u s i n g

t h e a x i o m o f c h o i c e , o n e c a n p r o v e t h a t a b a l l t h e s i z e o f t h e s u n c a n b e c u t i n t o

n i t e l y m a n y p i e c e s a n d t h e n r e a s s e m b l e d i n t o a b a l l t h e s i z e o f a p i n h e a d . S o i f

w e a c c e p t t h e a x i o m o f c h o i c e ( a n d e q u i v a l e n t l y , Z o r n ' s L e m m a ) , w e m u s t a c c e p t

s u c h s t a t e m e n t s .

T h e r e i s n o w a y t o p r o v e t h e a x i o m o f c h o i c e : o n e e i t h e r a c c e p t s i t a s a n a x i o m o r

o n e d o e s n ' t . T h e a x i o m o f c h o i c e ( a n d s o t h e e q u i v a l e n t f o r m u l a t i o n Z o r n ' s L e m m a )

i s l o g i c a l l y i n d e p e n d e n t f r o m t h e o t h e r a x i o m s o f s e t t h e o r y , a f a c t p r o v e n b y P a u l

C o h e n i n 1 9 6 3 . I n o t h e r w o r d s , w e d e r i v e n o c o n t r a d i c t i o n s i f w e a s s u m e i t i s t r u e ,

a n d w e d e r i v e n o c o n t r a d i c t i o n s i f w e a s s u m e i t i s f a l s e . T h e a x i o m o f c h o i c e i s n o

l o n g e r a s c o n t r o v e r s i a l a s i t o n c e w a s . I t i s a c c e p t e d b y m o s t m a t h e m a t i c i a n s t h e s e

d a y s , b u t t h e d e g r e e t o w h i c h i t i s u s e d w i t h o u t c o m m e n t d e p e n d s o n t h e b r a n c h

o f m a t h e m a t i c s . T o l e a r n m o r e a b o u t t h e a x i o m o f c h o i c e a n d r e l a t e d m a t t e r s ,

y o u c a n t a k e a c o u r s e o n m a t h e m a t i c a l l o g i c . M a n y b o o k s o n a n a l y s i s a l s o c o n t a i n

d i s c u s s i o n s o f t h e a x i o m o f c h o i c e , f o r e x a m p l e , H S ] h a s n i c e d i s c u s s i o n , i n c l u d i n g

t h e p r o o f o f t h e e q u i v a l e n c e o f Z o r n ' s L e m m a a n d t h e a x i o m o f c h o i c e .

S u m m a r y : E v e r y v e c t o r s p a c e h a s a b a s i s , t h a t i s , a m a x i m a l l i n e a r l y i n d e -

p e n d e n t s u b s e t . E v e r y v e c t o r i n a v e c t o r s p a c e c a n b e w r i t t e n i n a u n i q u e w a y

a s a n i t e l i n e a r c o m b i n a t i o n o f t h e e l e m e n t s i n t h i s b a s i s . A b a s i s f o r a n i n n i t e

d i m e n s i o n a l v e c t o r s p a c e i s a l s o c a l l e d a H a m e l b a s i s . T h e p r o o f t h a t e v e r y v e c t o r

s p a c e h a s a b a s i s u s e s t h e a x i o m o f c h o i c e . T h e r e i s n o p r a c t i c a l w a y t o n d a

H a m e l b a s i s i n g e n e r a l , w h i c h m e a n s w e h a v e l i t t l e u s e f o r t h e c o n c e p t o f a b a s i s

f o r a g e n e r a l i n n i t e ( e s p e c i a l l y u n c o u n t a b l e ) d i m e n s i o n a l v e c t o r s p a c e .

A l t e r n a t i v e s t o t h e c o n c e p t o f a b a s i s .

T h e r e a r e s o m e v e c t o r s p a c e s , s u c h a s R

1

, w h e r e a t l e a s t c e r t a i n i n n i t e s u m s

m a k e s e n s e , a n d w h e r e e v e r y v e c t o r c a n b e u n i q u e l y r e p r e s e n t e d a s a n i n n i t e l i n e a r

c o m b i n a t i o n o f v e c t o r s . A l t h o u g h t h e r e a r e s o m e d r a w b a c k s t o t h i s i d e a , i t i s a l s o

v e r y u s e f u l t o u s e t h e i d e a o f i n n i t e s u m s i n s o m e c a s e s , p r o v i d e d w e c a n m a k e

s e n s e o u t o f t h e m .

W h a t d o w e n e e d i n o r d e r t o m a k e s e n s e o f a n i n n i t e s u m o f v e c t o r s ? T h e o n l y

w a y t o m a k e s e n s e o u t o f a n i n n i t e s u m

P

1

i = 1

v

i

i s t o c o n s i d e r t h e s e q u e n c e o f

p a r t i a l s u m s s

n

=

P

n

i = 1

v

i

( f o r n = 1 ; 2 ; 3 ; : : : ) a n d h o p e t h a t t h i s s e q u e n c e f s

n

g

c o n v e r g e s . T h u s w e m u s t h a v e a n o t i o n o f \ c o n v e r g e n c e " | a w a y t o s a y t h a t a

s e q u e n c e o f v e c t o r s f s

n

g i s g e t t i n g c l o s e r a n d c l o s e r t o s o m e x e d v e c t o r s . T h e

m o s t n a t u r a l w a y t o i n t e r p r e t \ c l o s e n e s s " o f t w o v e c t o r s i s t o r e q u i r e t h a t t h e

d i s t a n c e b e t w e e n t h e m i s s m a l l , b u t t o d o t h i s w e m u s t h a v e a n o t i o n o f d i s t a n c e i n

o u r v e c t o r s p a c e . A s w e h a v e s t u d i e d i n c l a s s , a n o t i o n o f d i s t a n c e c a n b e d e n e d

f o r a n y v e c t o r s p a c e o n w h i c h w e h a v e a n i n n e r p r o d u c t . T h u s a n a t u r a l p l a c e t o

5


6/9

t r y t o m a k e s e n s e o f i n n i t e s u m s o f v e c t o r s i s i n a n i n n e r p r o d u c t s p a c e .

1

L e t V b e a n i n n e r p r o d u c t s p a c e . C a n w e n d a s e t o f v e c t o r s f v

n

g , f o r

n = 1 ; 2 ; 3 ; : : : s u c h t h a t e v e r y v e c t o r v i n V c a n b e e x p r e s s e d a s a n i n n i t e s u m

P

1

i = 0

i

v

i

i n a u n i q u e w a y ? B e t t e r y e t , c a n w e n d a n o r t h o n o r m a l s e t f v

n

g w i t h

t h i s p r o p e r t y ? I f s o , s u c h a n o r t h o n o r m a l s e t i s c a l l e d a n o r t h o n o r m a l b a s i s f o r t h e

s p a c e V , a l t h o u g h w e m u s t b e c a r e f u l n o t t o c o n f u s e t h i s c o n c e p t w i t h a H a m e l

b a s i s ( i n w h i c h w e d o n o t a l l o w i n n i t e s u m s ) . F o r t u n a t e l y , t h e a n s w e r i s Y E S i n

m a n y i m p o r t a n t a p p l i c a t i o n s . W e n o w d i s c u s s a c o u p l e o f t h e s e .

F o u r i e r S e r i e s . O n e o f t h e m o s t i m p o r t a n t e x a m p l e s w h e r e t h i s s o r t o f a l t e r -

n a t i v e t o t h e u s u a l n o t i o n o f a b a s i s a p p e a r s i s i n F o u r i e r A n a l y s i s . I n F o u r i e r

a n a l y s i s , w e a r e i n t e r e s t e d n d i n g a n \ o r t h o n o r m a l b a s i s " f o r t h e s p a c e o f c o n t i n -

u o u s f u n c t i o n s o n s o m e i n t e r v a l .

L e t C ( ; ] ) b e t h e v e c t o r s p a c e o f a l l c o n t i n u o u s r e a l v a l u e d f u n c t i o n s o n t h e

i n t e r v a l ; ] . A s w e h a v e s e e n , w e c a n d e n e a n i n n e r p r o d u c t o n t h i s s p a c e b y

h f ; g i =

1

Z

f g d x :

T h u s t h e d i s t a n c e b e t w e e n t w o f u n c t i o n s f a n d g c a n b e d e n e d a s

d ( f ; g ) = j j f g j j = h f g ; f g i

1 = 2

= (

1

Z

( f g )

2

d x )

1 = 2

:

N o w i t m a k e s s e n s e t o s a y t h a t a s e q u e n c e o f c o n t i n u o u s f u n c t i o n s f s

n

g a p p r o a c h e s

s o m e x e d f u n c t i o n s . W e m e a n t h a t t h e d i s t a n c e s d ( s ; s

n

) a p p r o a c h z e r o a s n

a p p r o a c h e s i n n i t y , t h a t i s , t h a t t h e s e q u e n c e o f r e a l n u m b e r s

(

1

Z

( s s

n

)

2

d x )

1 = 2

a p p r o a c h e s z e r o a s n ! 1 . ( A s u b t l e p o i n t t o b e w a r e : t h i s i s n o t t h e s a m e a s s a y i n g

t h a t f o r e a c h x , t h e s e q u e n c e o f r e a l n u m b e r s s

n

( x ) a p p r o a c h e s t h e r e a l n u m b e r

s ( x ) . T h e t y p e o f c o n v e r g e n c e w e a r e i n t e r e s t e d i n h e r e i s c a l l e d \ L

2

c o n v e r g e n c e "

o r \ c o n v e r g e n c e i n t h e m e a n " , a n d s h o u l d n o t b e c o n f u s e d w i t h t h i s \ p o i n t w i s e

c o n v e r g e n c e . " )

G i v e n a n e x p r e s s i o n

P

1

i = 1

f

n

c o n s i s t i n g o f a n i n n i t e s u m o f f u n c t i o n s , h o w c a n

w e t e l l i f i t i s m e a n i n g f u l ? W e c o n s i d e r t h e s e q u e n c e o f p a r t i a l s u m s s

n

=

P

n

i = 1

f

n

,

a s e q u e n c e o f f u n c t i o n s i n C ( ; ] ) . T h e e x p r e s s i o n

P

1

i = 1

f

n

i s m e a n i n g f u l i f

t h e s e q u e n c e f s

n

g c o n v e r g e s ( i n t h e s e n s e d e s c r i b e d a b o v e ) t o s o m e f u n c t i o n s i n

C ( ; ] ) . I n t h i s c a s e , w e s a y t h a t t h e i n n i t e s u m

P

1

i = 1

f

n

e x i s t s a n d i s e q u a l t o

t h e f u n c t i o n s .

1

A c t u a l l y , t h e r e a r e v e c t o r s p a c e s , c a l l e d n o r m e d s p a c e s , i n w h i c h o n e c a n t a l k a b o u t d i s t a n c e ,

b u t w h i c h d o n o t n e c e s s a r i l y h a v e a n i n n e r p r o d u c t . A n i n n e r p r o d u c t , a f t e r a l l , c a r r i e s i n f o r m a t i o n

n o t j u s t a b o u t d i s t a n c e , b u t a l s o a b o u t a n g l e s . B a n a c h s p a c e s , i f y o u h a v e h e a r d o f t h e m , a r e

i m p o r t a n t e x a m p l e s o f n o r m e d s p a c e s .

6


7/9

W e n o w a s k w h e t h e r w e c a n n d a n o r t h o n o r m a l s e t

So f f u n c t i o n s

ff

i

gf o r

i = 1 ; 2 ; 3 ; : : : s u c h t h a t e v e r y c o n t i n u o u s f u n c t i o n ( i e , e v e r y v e c t o r i n C ( ; ] ) ) i s

a n i n n i t e s u m o f t h e f o r m

P

1

i = 1

i

f

i

i n a u n i q u e w a y . A s w e h a v e p r o v e d i n c l a s s ,

a n y o r t h o n o r m a l s e t i n a n y i n n e r p r o d u c t s p a c e w i l l b e l i n e a r l y i n d e p e n d e n t , a n d s o

s u c h a s e t w i l l b e a n o r t h o n o r m a l b a s i s ( b u t n o t n e c e s s a r i l y a H a m e l b a s i s

2

) . T h e

a n s w e r i s Y E S , a n d t h e s e t S c a n b e t a k e n t o b e t h e s e t c o n s i s t i n g o f t h e f u n c t i o n s

h

n

( x ) = s i n ( n x ) f o r n = 1 ; 2 ; 3 ; : : :

g

n

( x ) = c o s ( n x ) f o r n = 1 ; 2 ; 3 ; : : :

g

0

( x ) = 1 = 2 :

I t i s e a s y t o v e r i f y t h a t t h e s e f u n c t i o n s a r e o r t h o n o r m a l ( b y p e r f o r m i n g t h e n e c e s s a r y

i n t e g r a l s ) . T h i s g i v e s u s a n o r t h o n o r m a l s e t o f v e c t o r s i n C ( ; ] ) . W h a t i s a l s o

t r u e , b u t n o t s o o b v i o u s , i s t h a t e v e r y c o n t i n u o u s f u n c t i o n o n t h e i n t e r v a l ; ]

h a s a u n i q u e r e p r e s e n t a t i o n a s a n i n n i t e l i n e a r c o m b i n a t i o n o f t h e s e f u n c t i o n s .

T h i s e x p r e s s i o n i s c a l l e d t h e F o u r i e r s e r i e s o f a f u n c t i o n a n d t h e c o e c i e n t s o f f

n

t h a t a p p e a r a r e c a l l e d t h e F o u r i e r c o e c i e n t s . I n t e r e s t i n g l y , e v e n t h o u g h t h e s p a c e

o f a l l c o n t i n u o u s f u n c t i o n s o n ; ] h a s a c o u n t a b l e o r t h o n o r m a l b a s i s , i t c a n b e

s h o w n t h a t i t d o e s n o t h a v e a c o u n t a b l e H a m e l b a s i s .

I t t u r n s o u t t h a t f o r t h e s p a c e C ( ; ] ) d e n e d a b o v e , t h e s e t S i s a m a x i m a l

o r t h o n o r m a l s e t . I n f a c t , a n o r t h o n o r m a l b a s i s f o r a i n n i t e d i m e n s i o n a l i n n e r

p r o d u c t s p a c e V c a n b e d e n e d a s a m a x i m a l o r t h o n o r m a l s e t o f v e c t o r s i n V .

O f c o u r s e , a s w e h a v e p r o v e n , t h e s a m e d e n i t i o n i s v a l i d f o r n i t e d i m e n s i o n a l

i n n e r p r o d u c t s p a c e s a s w e l l . E s s e n t i a l l y t h e s a m e p r o o f ( u s i n g Z o r n ' s L e m m a ) w e

u s e d t o s h o w t h a t e v e r y s p a c e h a s a H a m e l b a s i s s h o w s t h a t e v e r y i n n e r p r o d u c t

s p a c e V h a s a n o r t h o n o r m a l b a s i s . H o w e v e r , a d r a w b a c k o f t h i s d e n i t i o n i s t h a t

i t i s n o t c l e a r t h a t e v e r y v e c t o r i n V h a s a u n i q u e e x p r e s s i o n a s a n i n n i t e l i n e a r

c o m b i n a t i o n o f t h e b a s i s e l e m e n t s . I n f a c t , t h i s i s n o t t r u e i n g e n e r a l . P l e a s e c o n s u l t

a b o o k o n f u n c t i o n a l a n a l y s i s , s u c h a s C ] , f o r m o r e i n f o r m a t i o n .

O n e i m p o r t a n t d i e r e n c e b e t w e e n t h i s t y p e o f o r t h o n o r m a l b a s i s a n d a H a m e l

b a s i s i s t h a t i t i s n o t t r u e t h a t e v e r y i n n i t e l i n e a r c o m b i n a t i o n o f t h e b a s i s e l e -

m e n t s b e l o n g s t o o u r v e c t o r s p a c e . I n d e e d , a n a r b i t r a r y i n n i t e s u m n e e d n o t e v e n

c o n v e r g e t o a n a c t u a l f u n c t i o n i n g e n e r a l .

T o l e a r n m o r e a b o u t F o u r i e r S e r i e s , t a k e a c l a s s o n F o u r i e r a n a l y s i s s u c h a s M a t h

4 5 4 o r s e e a b o o k s u c h a s B D ] .

H i l b e r t S p a c e s .

A H i l b e r t s p a c e i s s i m p l y a n i n n e r p r o d u c t s p a c e w i t h o n e a d d i t i o n a l p r o p e r t y

c a l l e d c o m p l e t e n e s s . R o u g h l y s p e a k i n g , t h e s p a c e i s c o m p l e t e i f e v e r y s e q u e n c e o f

v e c t o r s w h i c h a p p e a r s t o b e c o n v e r g i n g a c t u a l l y d o e s c o n v e r g e . M o r e p r e c i s e l y , t h e

s p a c e i s c o m p l e t e i f e v e r y C a u c h y s e q u e n c e c o n v e r g e s , w h e r e a s e q u e n c e f s

n

g i s

C a u c h y i f f o r a l l p o s i t i v e n u m b e r s , t h e r e e x i s t s a n i n t e g e r N s u c h t h a t w h e n e v e r

n ; m > N , t h e d i s t a n c e b e t w e e n s

n

a n d n

m

i s l e s s t h a n .

2

I n f a c t , i t c a n b e s h o w n t h a t i t i s n e v e r a H a m e l b a s i s .

7


8/9

I n g e n e r a l , j u s t b e c a u s e a s e q u e n c e a p p e a r s t o c o n v e r g e ( t h a t i s , i s C a u c h y ) ,

w e c a n n o t c o n c l u d e t h a t i t a c t u a l l y d o e s c o n v e r g e . F o r e x a m p l e , c o n s i d e r t h e

v e c t o r s p a c e o f c o n t i n u o u s f u n c t i o n s o n t h e i n t e r v a l ; ] w i t h t h e i n n e r p r o d u c t

h f ; g ; i =

1

R

f g d x . T h e f u n c t i o n s

f

n

( x ) = 0 i f x 0

f

n

( x ) = x

1 = n

i f x > 0

f o r n = 1 ; 2 ; 3 ; : : : f o r m a C a u c h y s e q u e n c e . T h i s s e q u e n c e a p p e a r s t o b e c o n v e r g i n g ,

b u t i t d o e s n o t c o n v e r g e t o a v e c t o r i n C ( ; ] ) . I n d e e d , t h i s s e q u e n c e c o n v e r g e s

t o

f ( x ) = 0 f o r x

0

f ( x ) = 1 f o r x > 0 ;

w h i c h i s n o t c o n t i n u o u s . T h u s t h e s e q u e n c e f f

n

g o f v e c t o r s i n C ( ; ] ) d o e s n o t

c o n v e r g e t o a v e c t o r i n C ( ; ] ) . I n t h i s s e n s e , t h e s p a c e C ( ; ] ) s e e m s t o b e

m i s s i n g s o m e e l e m e n t s | i t i s n o t c o m p l e t e .

I t t u r n s o u t t h a t t h e r e i s a w a y t o d e n e t h e \ c o m p l e t i o n " o f t h e s p a c e C ( ; ] ) .

T h i s w i l l b e a n i n n e r p r o d u c t s p a c e w h i c h c o n t a i n s C ( ; ] ) a n d a l s o c o n t a i n s

e v e r y f u n c t i o n w h i c h i s a l i m i t o f c o n t i n u o u s f u n c t i o n s i n t h e s e n s e w e j u s t d e s c r i b e d .

T h i s c o m p l e t i o n s p a c e i s a c o m p l e t e i n n e r p r o d u c t s p a c e c a l l e d L

2

( ; ] ) . T h e

s p a c e L

2

t u r n s o u t t o c o n s i s t o f a l l \ s q u a r e i n t e g r a b l e f u n c t i o n s " | t h a t i s , a l l

f u n c t i o n s f d e n e d o n t h e i n t e r v a l

; ] s u c h t h a t t h e i n t e g r a l

R

f

2

d x i s n i t e .

T h e s p a c e L

2

( ; ] ) i s a p r o t o t y p i c a l e x a m p l e o f a H i l b e r t s p a c e .

I t t u r n s o u t t h a t t h e s a m e t r i g o n o m e t r i c f u n c t i o n s h

n

( x ) = s i n ( n x ) ; g

n

( x ) =

c o s ( n x ) ; a n d g

0

( x ) = 1 = 2 f o r m a n o r t h o n o r m a l b a s i s f o r L

2

( ; ] ) . T h i s m a k e s

s e n s e , s i n c e w e a l r e a d y k n o w t h a t e v e r y c o n t i n u o u s f u n c t i o n i s a l i m i t o f a s e q u e n c e

o f f u n c t i o n s o b t a i n e d a s n i t e l i n e a r c o m b i n a t i o n s o f t h e s e t r i g o n o m e t r i c f u n c t i o n s ,

a n d w e a l s o k n o w t h a t e v e r y v e c t o r i n L

2

i s a l i m i t o f c o n t i n u o u s f u n c t i o n s . T h i s

e m p h a s i z e s t h e d i e r e n c e b e t w e e n t h i s k i n d o f b a s i s a n d a H a m e l b a s i s f o r a n i n n i t e

d i m e n s i o n a l s p a c e : t w o d i e r e n t s p a c e s h e r e h a v e t h e s a m e b a s i s ! T h e r e a s o n t h i s

c a n h a p p e n i s t h a t w e d o n o t a l l o w a r b i t r a r y i n n i t e l i n e a r c o m b i n a t i o n s o f t h e

e l e m e n t s , b u t o n l y t h o s e p a r t i c u l a r i n n i t e s u m s t h a t c o n v e r g e t o a v e c t o r i n t h e

s p a c e i n q u e s t i o n .

A n o t h e r i m p o r t a n t e x a m p l e o f a H i l b e r t s p a c e i s t h e s p a c e

2

o f s q u a r e - s u m m a b l e

s e q u e n c e s a s d e n e d i n E x a m p l e 4 a b o v e . T h i s i s a n i n n e r p r o d u c t s p a c e , w h e r e

t h e i n n e r p r o d u c t i s d e n e d a s a s o r t o f \ i n n i t e d o t p r o d u c t " :

h (

1

;

2

;

3

; : : : ) ; (

1

;

2

;

3

; : : : ) i =

1

X

i = 1

i

i

:

I t i s n o t o b v i o u s t h a t t h i s m a k e s s e n s e : w h y s h o u l d s u c h a s u m n e c e s s a r i l y c o n -

v e r g e ? O f c o u r s e i t d o e s n ' t c o n v e r g e i n g e n e r a l i f w e t a k e (

1

;

2

;

3

; : : : ) a n d

(

1

;

2

;

3

; : : : ) t o b e a r b i t r a r y e l e m e n t s i n R

1

, s u c h a s ( 1 ; 1 ; 1 ; : : : ) a n d ( 2 ; 2 ; 2 ; : : : ) .

8


9/9

F o r t u n a t e l y , i f w e r e s t r i c t t o e l e m e n t s o f

2

, t h e c o n v e r g e n c e c a n b e p r o v e d u s i n g

t h e C a u c h y - S c h w a r t z i n e q u a l i t y . T o s e e t h i s , w e n e e d t o s h o w t h a t t h e s e q u e n c e o f

p a r t i a l s u m s

s

n

=

n

X

i = 1

i

i

c o n v e r g e s t o s o m e r e a l n u m b e r . I t s u c e s t o s h o w t h e s u m i s a b s o l u t e l y c o n v e r g e n t ,

s o t h e r e i s n o h a r m i n a s s u m i n g a l l

i

a n d

i

a r e n o n - n e g a t i v e . B y C a u c h y - S c h w a r t z

f o r t h e s t a n d a r d i n n e r p r o d u c t o n R

n

, w e s e e t h a t

s

n

j j (

1

; : : : ;

n

) j j j j (

1

; : : : ;

n

) j j :

B u t a s n g o e s t o i n n i t y , t h e q u a n t i t y o n t h e r i g h t g o e s t o t h e p r o d u c t o f t h e i n n i t e

s u m s

P

n

i = 1

2

i

a n d

P

n

i = 1

2

i

, w h i c h w e a r e a s s u m i n g a r e n i t e . T h u s t h e s e q u e n c e

s

n

i s a b o u n d e d i n c r e a s i n g s e q u e n c e o f r e a l n u m b e r s , s o i t m u s t h a v e a l i m i t . T h i s

s h o w s t h a t t h e s u m

P

1

i = 1

i

i

c o n v e r g e s , s o h (

1

;

2

;

3

; : : : ) ; (

1

;

2

;

3

; : : : ) i i s

w e l l - d e n e d a n d

2

i s a n i n n e r p r o d u c t s p a c e .

I t t u r n s o u t t h i s i n n e r p r o d u c t s p a c e i s c o m p l e t e , s o

2

i s a H i l b e r t s p a c e . A

g o o d e x e r c i s e i s t o s h o w t h a t t h e v e c t o r s f e

i

g ( w h e r e e

i

i s t h e i n n i t e s e q u e n c e o f

z e r o s w i t h a s i n g l e o n e i n t h e i t h s p o t ) i s a n o r t h o n o r m a l b a s i s f o r

2

.

T h e r e a r e m a n y m o r e i n t e r e s t i n g t h i n g s t h a t c a n b e s a i d a b o u t i n n i t e d i m e n -

s i o n a l i n n e r p r o d u c t s p a c e s . P l e a s e t a k e a c o u r s e i n a d v a n c e d a n a l y s i s , s u c h a s

M a t h 5 9 7 o r M a t h 6 0 2 , t o l e a r n m o r e ! Y o u c a n a l s o c o n s u l t a n y b o o k o n f u n c t i o n a l

a n a l y s i s , s u c h a s C ] b e l o w .

R e f e r e n c e s

B D ] B o y c e , W . E . a n d D i P r i m a , E l e m e n t a r y d i e r e n t i a l e q u a t i o n s a n d b o u n d a r y v a l u e p r o b -

l e m s , J o h n W i l e y , N e w Y o r k , 1 9 6 9 .

H S ] H e w i t t , E . , a n d S t r o m b e r g , K . , R e a l a n d A b s t r a c t A n a l y s i s , S p r i n g e r V e r l a g , N e w Y o r k ,

1 9 6 5 .

C ] C o n w a y , J o h n B . , A c o u r s e i n f u n c t i o n a l a n a l y s i s , S p r i n g e r { V e r l a g , N e w Y o r k , 1 9 9 0 .

9

bases for infinite vector spaces

Documents