convolutional*deep*belief*networks*for*scalable ...swadhin/reading_group/... ·...

89

Upload: others

Post on 16-Aug-2020

7 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 2: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Convolutional  Deep  Belief   Networks  for  Scalable  Unsupervised  Learning  of  Hierarchical   RepresentationsHonglak Lee,  Roger  Grosse,  Rajesh  Ranganath,  Andrew  Y.  Ng

Page 3: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X  or OCNN

A  two-­‐dimensionalarray  of  pixels

Page 4: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

CNN X

CNN O

Page 5: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

CNN X

CNN O

Page 6: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

=?

Page 7: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

=?

Page 8: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 X -­‐1 -­‐1 -­‐1 -­‐1 X X -­‐1-­‐1 X X -­‐1 -­‐1 X X -­‐1 -­‐1-­‐1 -­‐1 X 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 X -­‐1 -­‐1-­‐1 -­‐1 X X -­‐1 -­‐1 X X -­‐1-­‐1 X X -­‐1 -­‐1 -­‐1 -­‐1 X -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 9: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

=x

Page 10: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

=

=

=

Page 11: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 12: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 13: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 14: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 15: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 16: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

Page 17: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 18: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 19: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 20: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

11 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 21: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 11 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 22: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 23: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 24: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 25: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 1 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 26: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 1 11

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 27: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 1 11 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 28: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 11 1 11 1 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 29: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1

1 1 11 1 11 1 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 30: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

11 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 31: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 -­‐11 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 32: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 1 -­‐11 1 1-­‐1 1 1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 33: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

1 1 -­‐11 1 1-­‐1 1 1

55

1 1 -­‐11 1 1-­‐1 1 1

Page 34: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 35: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

=

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 36: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

=

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

=

=

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 37: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

1 -­‐1 -­‐1-­‐1 1 -­‐1-­‐1 -­‐1 1

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐1 -­‐1 1-­‐1 1 -­‐11 -­‐1 -­‐1

1 -­‐1 1-­‐1 1 -­‐11 -­‐1 1

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 38: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

Page 39: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 40: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 41: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 42: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 43: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 44: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55 0.33

0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 45: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55 0.33

0.33 1.00 0.33 0.55

0.55 0.33 1.00 0.11

0.33 0.55 0.11 0.77

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 46: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55 0.33

0.33 1.00 0.33 0.55

0.55 0.33 1.00 0.11

0.33 0.55 0.11 0.77

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

0.33 0.55 1.00 0.77

0.55 0.55 1.00 0.33

1.00 1.00 0.11 0.55

0.77 0.33 0.55 0.33

0.55 0.33 0.55 0.33

0.33 1.00 0.55 0.11

0.55 0.55 0.55 0.11

0.33 0.11 0.11 0.33

Page 47: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.33 0.55 0.33

0.33 1.00 0.33 0.55

0.55 0.33 1.00 0.11

0.33 0.55 0.11 0.77

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

0.33 0.55 1.00 0.77

0.55 0.55 1.00 0.33

1.00 1.00 0.11 0.55

0.77 0.33 0.55 0.33

0.55 0.33 0.55 0.33

0.33 1.00 0.55 0.11

0.55 0.55 0.55 0.11

0.33 0.11 0.11 0.33

Page 48: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 49: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

0.77

Page 50: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.77 00.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 51: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.77 0 0.11 0.33 0.55 0 0.330.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 52: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.77 0 0.11 0.33 0.55 0 0.33

0 1.00 0 0.33 0 0.11 0

0.11 0 1.00 0 0.11 0 0.55

0.33 0.33 0 0.55 0 0.33 0.33

0.55 0 0.11 0 1.00 0 0.11

0 0.11 0 0.33 0 1.00 0

0.33 0 0.55 0.33 0.11 0 0.77

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

Page 53: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

0.77 0 0.11 0.33 0.55 0 0.33

0 1.00 0 0.33 0 0.11 0

0.11 0 1.00 0 0.11 0 0.55

0.33 0.33 0 0.55 0 0.33 0.33

0.55 0 0.11 0 1.00 0 0.11

0 0.11 0 0.33 0 1.00 0

0.33 0 0.55 0.33 0.11 0 0.77

0.33 0 0.11 0 0.11 0 0.33

0 0.55 0 0.33 0 0.55 0

0.11 0 0.55 0 0.55 0 0.11

0 0.33 0 1.00 0 0.33 0

0.11 0 0.55 0 0.55 0 0.11

0 0.55 0 0.33 0 0.55 0

0.33 0 0.11 0 0.11 0 0.33

0.33 0 0.55 0.33 0.11 0 0.77

0 0.11 0 0.33 0 1.00 0

0.55 0 0.11 0 1.00 0 0.11

0.33 0.33 0 0.55 0 0.33 0.33

0.11 0 1.00 0 0.11 0 0.55

0 1.00 0 0.33 0 0.11 0

0.77 0 0.11 0.33 0.55 0 0.33

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

0.77 -­‐0.11 0.11 0.33 0.55 -­‐0.11 0.33

-­‐0.11 1.00 -­‐0.11 0.33 -­‐0.11 0.11 -­‐0.11

0.11 -­‐0.11 1.00 -­‐0.33 0.11 -­‐0.11 0.55

0.33 0.33 -­‐0.33 0.55 -­‐0.33 0.33 0.33

0.55 -­‐0.11 0.11 -­‐0.33 1.00 -­‐0.11 0.11

-­‐0.11 0.11 -­‐0.11 0.33 -­‐0.11 1.00 -­‐0.11

0.33 -­‐0.11 0.55 0.33 0.11 -­‐0.11 0.77

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.11 0.33 -­‐0.77 1.00 -­‐0.77 0.33 -­‐0.11

0.11 -­‐0.55 0.55 -­‐0.77 0.55 -­‐0.55 0.11

-­‐0.55 0.55 -­‐0.55 0.33 -­‐0.55 0.55 -­‐0.55

0.33 -­‐0.55 0.11 -­‐0.11 0.11 -­‐0.55 0.33

Page 54: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

1.00 0.33 0.55 0.33

0.33 1.00 0.33 0.55

0.55 0.33 1.00 0.11

0.33 0.55 0.11 0.77

0.33 0.55 1.00 0.77

0.55 0.55 1.00 0.33

1.00 1.00 0.11 0.55

0.77 0.33 0.55 0.33

0.55 0.33 0.55 0.33

0.33 1.00 0.55 0.11

0.55 0.55 0.55 0.11

0.33 0.11 0.11 0.33

Page 55: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

1.00 0.55

0.55 1.00

0.55 1.00

1.00 0.55

1.00 0.55

0.55 0.55

Page 56: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

1.00 0.55

0.55 1.00

0.55 1.00

1.00 0.55

1.00 0.55

0.55 0.55

1.00

0.55

0.55

1.00

1.00

0.55

0.55

0.55

0.55

1.00

1.00

0.55

Page 57: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

1.00

0.55

0.55

1.00

1.00

0.55

0.55

0.55

0.55

1.00

1.00

0.55

Page 58: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.55

1.00

1.00

0.55

0.55

0.55

0.55

0.55

1.00

0.55

0.55

1.00

Page 59: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 60: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 61: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 62: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 63: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 64: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 65: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 66: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

X

O

0.9

0.65

0.45

0.87

0.96

0.73

0.23

0.63

0.44

0.89

0.94

0.53

Page 67: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 68: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 69: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 70: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Right  answer Actual  answer ErrorX 1O

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 71: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Right  answer Actual  answer ErrorX 1 0.92O

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 72: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Right  answer Actual  answer ErrorX 1 0.92 0.08O

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 73: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Right  answer Actual  answer ErrorX 1 0.92 0.08O 0 0.51 0.49

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Page 74: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 -­‐1 1 -­‐1 1 -­‐1 -­‐1 -­‐1-­‐1 -­‐1 1 -­‐1 -­‐1 -­‐1 1 -­‐1 -­‐1-­‐1 1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 1 -­‐1-­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1 -­‐1

XO

Right  answer Actual  answer ErrorX 1 0.92 0.08O 0 0.51 0.49

Total 0.57

Page 75: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

weighterror

Page 76: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

weighterror

Page 77: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 78: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 79: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 80: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 81: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 82: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 83: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 84: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 85: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Slide: Stanford CS231n

Page 86: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Slide: Stanford CS231n

Page 87: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Slide: Stanford CS231n

Page 88: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations
Page 89: Convolutional*Deep*Belief*Networks*for*Scalable ...swadhin/reading_group/... · Convolutional*Deep*Belief*Networks*for*Scalable*Unsupervised*Learning*of*Hierarchical*Representations

Thanks!