ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · probability density...

174
! " #$$ % &’ &

Upload: buihanh

Post on 31-Aug-2018

224 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �

����� ���������� ���������������������

����������������������������������� ��!�������

"#$$���%���&'&

Page 2: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �

����� ���������� ���������������������

������������

������������� ���� ��� ������������ �� �

��������������

Page 3: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������ ���������� ���������������������

��(�� �)')�)���

� ���������

� �� !"�"!���"��#���$#"�"���%��&"�#�$&%�

� �&���!'!���"���#����&��#�

� �!����!���""�

� �&���!'!���"���#����&��#�

� Jurgen Symanzik� Organizing the conference

� Wendy Martinez� Help organizing the short course

Page 4: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *����� ���������� ���������������������

������)

� ��"&��$#"!���"��� �� ���������($"�"!�����"�"!%"!#%�!��� �� �

� � �� ��)&�(�!#%

� �!���%!����!"*����$#"!���!��� �� �

� ���%!"*��%"!��"!���!��� �� �

� �����+,�%���#�$%"�&!���!��� �� �

� �-��(��%

Page 5: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +����� ���������� ���������������������

!� �'����'),��)�������������������������-

� "�"!%"!#���.!%$��!'�"!��

� �!���%!����!"*����$#"!��

� &�,�,!�!"*����%!"*��%"!��"!��

� ��$%"�&� ���*%!%

� �$��&!#�����"���%�����*(�"��%!%���%"!��

� ���"%"&�(

� ��&�� ����!����"���%

� (�"!���"�"!%"!#�����"���%

� �&��+,�%�����"���%

� ���%"!�����������!��

� ����!���&����&�%%!�����"���%

Page 6: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .����� ���������� ���������������������

!������������-

� � �� ��!%����!�"��&�"���#��($"!����� !&�����"���&��$��&!#�#��($"�"!������� !%$��!'�"!���

� �"�!�"��&�"�%��$��&!#�������*%!%/���"&!-�#��($"�"!��/�%!�����(&�#�%%!��������&�(�!#%�

� � �� ��!%����!�"�&�#"! ��%*%"���0��%��,�%!#���"��������"�!%�����"&!-�

� ��%!��%�#��������"&!-��(�&�"!��%/�!"�����&%�(&��&���!������"$&�%�%!�!��&�"��"��%������"��&�#��($"�&�����$���%1�����/��$�#"!��%/�!��%"�"����"%�

� � �� �������&%��!��+�� ����&�(�!#%��$�#"!��%�"�� !%$��!'����"��

Page 7: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /����� ���������� ���������������������

������������-

� ����� �� ���������)&�(�!#%��$�#"!��%��! ��$%�&%�"����,!�!"*�"�����!($��"���&�(�!#%�!�����*�0�*%�

� � �� ��(&� !��%�)���"���%�%��"���$%�&�#����� ���(��((�!#�"!��%�

� ���&���� ��,�������*� �&%!��%/�!���/�&����%�%/����� �� ��� �&�"���*��&%��������%"�#$&&��"�!%�&����%��23��$,%�4$��"� &����%�%� �� �� !�#&��%�� � �� �5%#�(�,!�!"!�%��������"$&�%/������� ��%$,%"��"!���*�#������� "��� $%�&5%� !�"�&��#��� ��0� �&/� "����$������"��%��� ��&���!����,�%!#���*�"���%��������"���%����"�#��!#���(�!��%�(�*���%�,������!�"�!����

Page 8: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0����� ���������� ���������������������

��������1�����,�2��

� ����� �� ���� ���(���"��� !&�����"�!%�� �!��,�����&�"��������0!����(�&�"!���%*%"��%

� �!#&�%��"�+ �!���0%

� ��#!�"�%�

� ���6�7��!�$-

Page 9: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3����� ���������� ���������������������

������4)�

� !�����&�#�%%!�������,�-

� ����$�!#�"!��%�����,�-

� ���"&���*%"�������,�-

� *%"�������"!�!#�"!�������,�-

� �("!�!'�"!�������,�-

� ��$&�����"0�&������,�-

� (�!������,�-

� ��,$%"+���"&�������,�-

� "�"!%"!#%�����,�-

� *�,��!#�����,�-

� ������&�#�%%!�������,�-

� 8$''*����!#

� 8!���#!��

� ��%

Page 10: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�!�2'���2�5�������4)�

� ���&���&���$��&�$%�!��! !�$��%�"��"�����&�"�!&��(�&"*�"���,�-�%�!��� �� �

� ���%��#���,����$����"�"���� �� ��0�,(���

�""(977000���"�0�&�%�#��

Page 11: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

2��������� ���(���"��� !&�����"

��#�7#8#����# ��# 89� �# ����������#����� # ���������#���:��

��#��������$� �� �;��##�:��9�9#�����;�� 7� �#9�������7���

$9������#9����9#�&��� :��$���#�#����� # �����8#�

<9��������#9� �#9$�#��������#�����%#���#9���#�#��#9&�������$

��#�#��9#��#��=�#���9��<����#��������7#�%���&

:��������"����"!#���8$�#"!����!,&�&*

�������� �� ����8�������#�� ��������� �����<�9���������

# �����������#�$� �� ���%#�� #;���� #;�#�&;�����#�����

��������#7�$� �� ��$�9����9>��������� �� 7��� ������ ;

���������� ��:��;�� 7��< ����9�#�� <

Page 12: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

3������� �� ������$���

�����#��#�9���$�������������<�?�#8#���9�<9��� <��� <��<#����

��#����9>�������$� 7��# ����# ��:&��������#��������9�<9��� <

$#���9#���������$���?� �9��;� ���?������;�

� 7��=@#�?�9# �#7�$#���9#���9#��8���=�#&���#��� <��<#�����

$�#>=�#��������� �=#���#7��������#$$�9��#���:�$�9�A�%

�������� �;��9�������9#�$�9����:�$�9�����#>�

�9�<9��� <����%�� ��7 <���#�����9���#�1���=��#7

������� �&

Page 13: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

;���������)&�(�!#%

�����#��#�9���$������B� <9���������=��#�������#�

�$����?�#8#������ 7��������$$#9�$����� �9����8#9����

���#����$���#�8����� �#9$�#&�������<���<�?�#8#������ 7���9#�

�8���=�#�$�9����?7�# �� ���� 7���9##?7�# �� ���8����C��� ;

��<#��9�#�� <;�� 7�� ���� ;�!� 7�#�19������������#�9�����$

��������� 7����8���=�#���9��<����#���������� <��<#�$�9�������

�9�<9���#9�����=��7���������#9� �#9$�#��� 7�������� �&

Page 14: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*����� ���������� ���������������������

�!)�,�6)���2����,�������

<�� ((�!#�"!���&��&�����"�&��#�

������� ��7#�����=9�9:��$�$� �� �������������:�����

�9�#��9�<9������� �#9�������������&� ������

�=9�9:;�:��9���� 7�,�9�9� ��9�<9����� ��#��

�������$� �� �;�#����������7����$�#�;�� 7����

�������������������� ���# < #&

Page 15: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+����� ���������� ���������������������

�����*�$���$,��+#�!#�����"���� �� ��!#��/�*�$�0!���%"�&"

"���� �� ����%�"�(���

� ���*�$��� ���-(�&!��#��0!"��(&� !�$%� �&%!��%/�*�$�0!���&�#���!'��"������������!���01���0� �&�0!"��&����%��23�� �� ��"���%��������0������0!"��"���!�"��&�"�����%�"�(�

� ���5"�0�&&*�!��*�$&���$�#�����0!���0�!%��!���&��"��&���"��"�%��0����&�1�!"���(���%����0��"����+��%*�$��� ��0!"��*�$&�� �� ��!�%"����"!���

1)����1����2�)'

• The MATLAB desktop contains GUIS for managing MATLAB files, var iables,And applications.

Page 16: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.����� ���������� ���������������������

��)2����1�����22�5����'����2��)�

�����"0���&&�*%��&���"&!#�%��� ��"���%�����!���%!��%/����!"!�������%$,"&�#"!����&���((�!���������"+,*+������"�

>> a = 1: 5

>> b = 2: 6

>> a+b

3 5 7 9 11

� #���&+�&&�*���"����"!#%�=���!"!��/�%$,"&�#"!��/��$�"!(�!#�"!��/��! !%!��>�0�&��

������"+0!%��

>> a* 2

2 4 6 8 10

Page 17: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/����� ���������� ���������������������

��)2�����������22�5����'����2��)�

� �$�:����� ��#�#�# �?=:?#�#�# ���99�:?�99�:���������� ;����#9�;��9�78�� ;���# �:�����8#������#�7$$#9# �� ����� D

� >�&E�:����#� ��������:�#�#�# �?=:?#�#�# �

� >�&��:�����#� ��787#�#�#�# �?=:?#�#�# �

� >�&F������#� ���A��9#�#���#�#�# ���$�>

� r eshape �#�G������� <#���#�����#��$�� ��99�:» a=1: 6

a =

1 2 3 4 5 6

» r eshape( a, 2, 3)ans =

1 3 5

2 4 6

Page 18: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �0����� ���������� ���������������������

��!)2��22�5���)2������

2#������9�9���8#��9�;�

� ��H��D+

� =�H��D.

��#��9� ����#���#9���9� ���������D�G

� )>D���G�����#����� �8#��9�����9��<��+

Page 19: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �3����� ���������� ���������������������

��!)2��22�5���)2������

� ����!���&�(&��$#" !%�#��#$��"���$%!��9» a* b'

ans =

70

� �����$"�&�(&��$#" !%�#��#$��"���$%!��9

» a' * b

ans =2 3 4 5 6

4 6 8 10 12

6 9 12 15 18

8 12 16 20 24

10 15 20 25 30

Page 20: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

������������������������4

� Probability distributions � Descriptive statistics � Cluster analysis � Linear models � Nonlinear models � Hypothesis tests � Multivariate statistics � Statistical plots � Statistical process control � Design of experiments

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

Page 21: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

'���2�������������!)������������������4

� The Statistics Toolbox supports 20 probability distributions. For each distribution there are five associated functions. They are:� Probability density function (pdf) � Cumulative distribution function (cdf) � Inverse of the cumulative distribution function � Random number generator � Mean and variance as a function of the parameters

� For data-driven distributions (beta, binomial, exponential, gamma, normal, Poisson, uniform, and Weibull), the Statistics Toolbox has functions for computing parameter estimates and confidence intervals.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

Page 22: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�����8�����8� ������8������ ������������6

� Linear Models

� In the area of linear models, the Statistics Toolbox supports one-way, two-way, and higher-way analysis of variance (ANOVA), analysis of covariance (ANOCOVA), multiple linear regression, stepwise regression, response surface prediction, ridge regression, and one-way multivariate analysis of variance (MANOVA). It supports nonparametric versions of one- and two-way ANOVA. It also supports multiple comparisons of the estimates produced by ANOVA and ANOCOVA functions.

� Nonlinear Models

� For nonlinear models, the Statistics Toolbox provides functions for parameter estimation, interactive prediction and visualization of multidimensional nonlinear fits, and confidence intervals for parameters and predicted values.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

Page 23: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

���)��,��!)�,)���2)���,��!)������������������4

� Hypothesis Tests

� The Statistics Toolbox also provides functions that do the most common tests of hypothesis - t-tests, Z-tests, nonparametric tests, and distribution tests.

� Multivariate Statistics

� The Statistics Toolbox supports methods in multivariate statistics, including principal components analysis, linear discriminant analysis, and one-way multivariate analysis of variance.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

Page 24: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*����� ���������� ���������������������

���)��,��!)�,)���2)���,��!)������������������4

� Statistical Plots

� The Statistics Toolbox adds box plots, normal probability plots, Weibull probability plots, control charts, and quantile-quantile plots to the arsenal of graphs in MATLAB. There is also extended support for polynomial curve fitting and prediction. There are functions to create scatter plots or matrices of scatter plots

Page 25: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� Computational Statistics Handbook with MATLABWendy L. Martinez & Angel R. Martinez

� Chapman & Hall/CRC, 2002Tel: 800-272-7737Fax: 800-374-3401

� Outside North America Tel: 407-994-0555Fax: 407-989-8732

� ISBN 1-58488-229-8

Page 26: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� Written for upper-level undergraduates and first-year graduate students, this book aims to make computational statistics techniques available to researchers in engineering, statistics, psychology, biostatics, data mining, and any other discipline that must deal with the analysis of raw data.

� The focus of this book is on the methods of computational statistics and how to implement them.

� MATLAB and the Statistics Toolbox are used to solve examples in probability, sampling, data analysis, Monte Carlo methods, nonparametric regression, statistical pattern recognition, and more.

� Appendices provide an introduction to MATLAB and the Statistics Toolbox.

Page 27: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� PREFACE� INTRODUTION� PROBABILITY CONCEPTS� SAMPLING CONCEPTS� GENERATING RANDOM VARIABLES� EXPLORATORY DATA ANALYSIS� MONTE CARLO METHODS FOR INFERENTIAL

STATISTICS� DATA PARTITIONING� PROBABILITY DENSITY ESTIMATION� STATISTICAL PATTERN RECOGNITION� NONPARAMETRIC REGRESSION� MARKOV CHAIN MONTE CARLO METHODS� SPATIAL STATISTICS� APPENDICES

Page 28: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �0����� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Applied Functional Data Analysis: Methods and Case StudiesJ.O. Ramsay & Bernard Silverman

� Springer-Verlag, 2002Tel: 212-460-1500Fax: 201-348-4505E-mail: [email protected]

� Outside North America Tel: +49-30-62214870E-mail: [email protected]

� ISBN 0-387-95414-7

Page 29: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �3����� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Written for graduate students and researchers, this book introduces and explores the theory of functional data analysis through case studies of various disciplines.

� Topics covered include modeling reaction-time distributions, functional models for test items, principal component analysis, and differential equations.

Page 30: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Introduction � Life Course Data in Cr iminology � The Nondurable Goods Index � Bone Shapes from a Paleopathology Study � Modeling Reaction Time Distr ibutions � Zooming in on Human Growth � Time Warping Handwr iting and Weather Records � How do Bone Shapes Indicate Arthr itis? � Functional Models for Test I tems � Predicting L ip Acceleration from Electromyography � The Dynamics of Handwr iting Pr inted Characters � A Differential Equation for Juggling

Page 31: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

2��97�)&���9����

� �""(977000�,!���""$���$7"&�$%%7��"��,7��"��,��"�

� .�&*��-"��%! ����"�&��"! ��"��"���%"����&����"�0�&�%�"�"!%"!#%�"���,�-

Page 32: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

���������������1��,��!)���)�!�2���,���������)�2����)� �2(���)4��� ��!��������,����)�

� Learning and Soft Computing: Support Vector Machines, Neural Networks, and Fuzzy Logic Models,Vojislav Kecman

� Netlab: Algorithms for Pattern RecognitionIan T. Nabney

� Neural Network Fundamentals with Graphs, Algorithms, and ApplicationsN. K. Bose & P. Liang

� Neural Networks: A Comprehensive Foundation, 2eSimon Haykin

� Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine IntelligenceJyh-Shing Roger Jang, Chuen-Tsai Sun & Eiji Mizutani

Page 33: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ������� ���������� ���������������������

)���� ��� ���� ������6������� �� �� ��8���

� Matrix Computations, 2eGene H. Golub & Charles F. Van Loan

� Modern Matrix AlgebraDavid R. Hill & Bernard Kolman

� Spectral Methods in MATLABLloyd N. Trefethen

Page 34: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*

����� ���������� ���������������������

12��!�������������

������������� ���� ��� ������������ �� �

Page 35: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+����� ���������� ���������������������

�?'������

• The basic 2-D plotting function is pl ot .

• I t produces a simple line plot of numer ic data.• You can give it several x and y pairs to plot, along with choices for

linestyle, marker and color .• See hel p on pl ot for a list of possibilities.

• Example:% pl ot s cur ve wi t h poi nt s

x = - 5: 0. 5: 4;

y = x. ^3;

pl ot ( x, y, ’ g- - ’ , x, y, ’ r * ’ )

Page 36: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.����� ���������� ���������������������

�?'������

-5 -4 -3 -2 -1 0 1 2 3 4-150

-100

-50

0

50

100

Page 37: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/����� ���������� ���������������������

�?'�������K ��!)2���),���,��������

• Add a title to your plot using: t i t l e( string)

• Add labels to your plot using:

xl abel ( string) , y l abel ( string)

• Add gr id lines to your plot using: gr i d

• Add multiple plots to same axes using: hol d

• Add a legend to your plot using: l egend

• Zoom in on your plot using:

zoom on, zoom of f

• You can select coordinate points from a plot using: gi nput

• Thi s act ual l y r et ur ns pl ot s f r om t he pl ot r egi on,

not t he dat a set

Page 38: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �0����� ���������� ���������������������

�?'�������K ��!)2���),���,��������

� ����axi s #�������#���,��$%���"��#������"����-�%��!�!"%�

L �"��&�$%��$��(��"%9

• semi l ogy( . . . ) , semi l ogx( . . . ) , l ogl og( . . . )

• st em

• st ai r s

• er r or bar

• pi e

• hi st

Page 39: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �3����� ���������� ���������������������

�����)2����

� ?�$�#���#��%"&$#"���%#�""�&(��"�$%!��9�scat t er ( X, Y, S, C)

� 6�����?��&�� �#"�&%�#��"�!�!���"�����"��

� ���� �#"�&��#��"�!�%�"����&�����&���#����&��&�

� ���� ��$�%�!�����! ��"���#���&�

� ����%�0!"��"���%"����&���!%"&!,$"!���

� ���"������(��!�����&���&��(�%%!,!�!"!�%�

Page 40: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *������ ���������� ���������������������

�����)2�����K )4����)

l oad seamount

%comes wi t h

%t he st andar d

%edi t i on

scat t er ( x, y, 5, z)

Page 41: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *������ ���������� ���������������������

�����)2��������2�4

� ?�$�#���#��%"&$#"���%#�""�&(��"���"&!-�$%!���"���,�%!#�� �� ��(�#�����

� ����,�%!#�%*�"�-�!%�pl ot mat r i x( X, Y)

� ������(���&���&��(�%%!,!�!"!�%

� �-��(��9

x = r andn( 50, 3) ;

y = x* [ - 1 2 1; 2 0 1; 1 - 2 3; ] ' ;

pl ot mat r i x( y)

Page 42: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *������ ���������� ���������������������

�����)2��������2�4

Page 43: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *������ ���������� ���������������������

�������9>�K ����!)2�)4����)

� ���0��$%��,�"���&�$���"%9

pl ot mat r i x( x, y)

� ��!%�(��"%�"���#��$���������� %��"���#��$������"����"��&�

Page 44: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� **����� ���������� ���������������������

��2)������)2�����

� ����"�"!%"!#%�����,�-���%�%!�!��&��$�#"!��%�0!"�����!"!�����#�(�,!�!"!�%�

� ���%�������(��"%�$%!����&�$(!��� �&!�,��%�

� �����&�$(%�#���,��!��!#�"���0!"����&��&����7�&�#���&�

� ���%���$�#"!��%��&��#������gscat t er ����gpl ot mat r i x

Page 45: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *+����� ���������� ���������������������

��2)������)2�����

l oad di scr i m

gscat t er ( r at i ngs( : , 1) , r at i ngs( : , 2) , gr oup, ' br ' , ' xo' )

Page 46: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *.����� ���������� ���������������������

��2)������)2�����

gpl ot mat r i x( r at i ngs( : , 1: 3) , r at i ngs( : , 4: 7) , gr oup, … ' br ' , ' . o' , [ ] , ' on' , ' ' , cat egor i es( 1: 3, : ) , cat egor i es( 4: 7, : ) )

Page 47: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� */����� ���������� ���������������������

�?'������

• The pl ot 3 function works in the same way as pl ot .

pl ot 3( x, y, z, l i nest yl e)

• The mesh function provides a sur face plot of your matr ix.

• The general form of the function is mesh( x, y, z, C)

• The argument C represents the color . I f this is left out, then the color is

mapped to the height of the sur face.

• Other mesh-like functions:

meshz: draws a cur tainmeshc: draws a sur face and a contour plotwat er f al l : similar to mesh, except column lines are not drawn

Page 48: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *0����� ���������� ���������������������

�?'������

• Example:

[ x, y, z] = peaks;subpl ot ( 2, 2, 1) , mesh( x, y, z)C = del 2( z) ;subpl ot ( 2, 2, 2) , mesh( x, y, z, C)subpl ot ( 2, 2, 3) , meshc( x, y, z)subpl ot ( 2, 2, 4) , meshz( x, y, z)

Page 49: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� *3����� ���������� ���������������������

�?'������

Page 50: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +������ ���������� ���������������������

�?'������

• The sur f function is similar to mesh.

• I t plots colored quadr ilaterals with black mesh lines.

• The general form of the function is

sur f ( x, y, z, C)

• Other related sur face functions:

sur f l : creates a sur face plot with specified lightingsur f c: draws a sur face and a contour plot

• You can have other shading using the commands:shadi ng f l at , shadi ng i nt er p, shadi ng f acet ed

Page 51: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +������ ���������� ���������������������

�?'������

• Example:

[ X, Y] =meshgr i d( - 3: . 2: 3, - 2: . 2: 4) ;Z=exp( - ( X. ^2+Y. ^2) / 3) ;subpl ot ( 1, 1, 1)sur f ( X, Y, Z)% pl ot l i nes wi t h col or of quadr i l at er alshadi ng f l at% i nt er pol at e shadi ng acr oss quadr i l at er al sshadi ng i nt er p% r et ur n t o or i gi nal shadi ngshadi ng f acet ed

Page 52: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +������ ���������� ���������������������

�?'������

Page 53: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +������ ���������� ���������������������

�?'�������K ��!)2���),���,��������

� �����,��%/�"!"��%/�#�������-�%��%�0!"��:+��(��"%

� ����������"�#��"�$&%����"���%$&��#��$%!���cont our �$�#"!���

� ?�$�#���&�"�"��"���%$&��#��(��"�$%!���"���"���,�&�,$""����&�r ot at e3d

Page 54: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +*����� ���������� ���������������������

6������J��1�6����)

L .!%$��!'!��� ��$���!%�"���&�(&�%��"�"!��������"��"��"��&��

���!�������3+���&!�%9���=-/*/'>

L .��$�����"��%�"%��� ���$�"!�!���%!������&&�*%����%#���&�

�&� �#"�&���"�����!���������""!#��%"&$#"$&�%�

L ���0!�����������*��"�%#���&���"��

L �-��(������%#���&���"���!��"�,���!&�(&�%%$&���&�

"��(�&�"$&���"���(�!�"%�!��%(�#��

Page 55: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ++����� ���������� ���������������������

L ����9�8����#�7������=#���8#�#7���������9$�#�;�

��#���� #�;�� 7�� ���9���#�&

L 5���� �8#����#�7��9=��� ��$�7������� ���8����#�=:�

���� <�8���#��������9���� <���#���� #�&

L �� ���9���#���9#�� ���9�������79�� ������#$�

��97 ��#��� 7��#��:����##���#9#� ������ #���#�7����

8���#���9#���#����#&

L �����9$�#� �9#���9$�#��9#��#7�=:��� <��� ����$�#A����

8���#����8#9�#���$�������=@#��&

6������J��1�6����)

Page 56: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +.����� ���������� ���������������������

� ���9��#

l oad mr i

%r emove empt y

%di mensi on

D = squeeze( D) ;

x=xl i m;

y=yl i m;

cont our sl i ce( D, [ ] , [ ] , 8)

axi s i j , x l i m( x) , y l i m( y)

daspect ( [ 1 1 1] )

Page 57: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +/����� ���������� ���������������������

�����2,��)�

• Use i sosur f ace to display overall structure of a volume.

• You can combine it with i socap.

• This technique can reveal information about data on the inter iorof the i sosur f ace.

• The following will create and process some volume data and create i sosur f ace and i socap.

• To add some other effects, lights will be added.

• i socap indicate values above (default) or below the value of the

i sosur f ace

Page 58: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +0����� ���������� ���������������������

�����2,��)�

• Try this example, generating uniform random numbers:

dat a = r and( 12, 12, 12) ;dat a = smoot h3( dat a, ' box ' , 5) ;i soval = 0. 5;H=pat ch( i sosur f ace( dat a, i soval ) , . . .

' FaceCol or ' , ' bl ue' , ' Edgecol or ' , ' none' , . . .' Ambi ent St r engt h' , . 2, ' Specul ar St r engt h' , 0. 7, . . .

' Di f f useSt r engt h' , . 4) ;i sonor mal s( dat a, H) %pr oduces smoot her l i ght i ngpat ch( i socaps( dat a, i soval ) , . . .

' FaceCol or ' , ' i nt er p' , ' Edgecol or ' , ' none' ) ;col or map hsvdaspect ( [ 1 1 1] ) , ax i s t i ght , v i ew( 3)caml i ght r i ght , caml i ght l ef t , l i ght i ng phong

Page 59: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� +3����� ���������� ���������������������

�����2,��)�

Page 60: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .������ ���������� ���������������������

�����2,��)�� �������

Page 61: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .������ ���������� ���������������������

����)�

� sl i ce �!%(��*%��&"��������%�!#��(����%�"�&�$��� ��$��"&!#���"���

� ����&�!��!#�"�%�"���%#���&� ��$��

� �-��(��9

[ x, y, z] = meshgr i d( - 10: 10, - 10: 2: 10, - 10: 1. 5: 10) ;

v = sqr t ( x. ^2 + y. ^2 + z. ^2) ;

% sl i ce t hr ough t he 0 pl anes

sl i ce( x, y, z, v, 0, 0, 0)

col or bar

Page 62: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .������ ���������� ���������������������

����)�

Page 63: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .������ ���������� ���������������������

���5���!)2�12��!�����2)��6������)

� ��-"$&����((!���"����%$&��#�

� �����%

� �!��"!���@ �� !�%

� �!��"!���@ ��+"��+��*

� �!��"!��

� ����&���&�(�!#%

Page 64: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .*

����� ���������� ���������������������

'��)���������5�2)'��������

����������������������������������� ��!�������

Page 65: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .+����� ���������� ���������������������

!5�'�� )���2)-

� �$&%������!���%!����!"*

� ��$%"�&�%"&$#"$&����*�,���,�$%#�"���!���!��+�!���%!�����%(�#�

� �!%#&!�!���"�����*%!%�#���,����&���!��!#$�"�!���!���&��!���%!�����%(�#�%

� �!%#� �&*����$���&�*!����"!����*�!%���(�����"�$(���&��� ��������!%�

Page 66: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ..

����� ���������� ���������������������

�2��������������)�������5���

Page 67: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ./����� ���������� ���������������������

• The mean satisfies

�2�������������)�������5������

� $((�%��"��"�0���� ����%�"�������+�!���%!������,%�& �"!��%�����0��0!%��"��&�(&�%��"�"��%���,%�& �"!��%�,*���%!������+�!���%!������$�,�&

• The d-dimensional mean of the hyperdimensional point cloud

( )2

1000 �

=

−=n

kkxxxJ

• This is the best 0-dimensional transformation

• What is the best one-dimensional transformation?

Page 68: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .0����� ���������� ���������������������

�2��������������)�������5����?��

� ���%!��&�"���%#�""�&���"&!-

� ���$ 7���#�=#���� #�7�# �� ����9�@#�� �M ���#��# �#��$�����$��A��9#7�#99�9N��#��9�@#����#�7����� ������ #���9��<����#��#� � ���#�79#�� ��$���#�#<# 8#��9��$���#�����#9����9>�������#���9<#���#<# 8���#

� 2#�����������#�#<# 8���#�#<# 8#��9�#A���� ���<8# �=:

�#�H�λ#

( )( )tk

n

kk mxmxS −−=�

=1

Page 69: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� .3����� ���������� ���������������������

�2��������������)�������5����? ����

� !�#��"���%#�""�&���"&!-�!%�&��������%*���"&!#�!"������0%�"��"�"����!��� �#"�&%���&�����&"��������,�%!%�����$&��&!�!����%�"�����,%�& �"!��%

� ������&����*�#���%�%���(&�A�#"!���,�%������"����5�B�����&��%"��!��� ��$�%

e1e2

Page 70: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /������ ���������� ���������������������

�2��������������)����������)2����6)����2���!

� �"�&��"! ��*�"���#��#$��"!���#���,�������,*���%!��$��&� ��$����#��(�%!"!������"���=#��"�&�������%#����>���"����"&!-�

� ��!%�!%�"����((&��#��$%���!��� �� ���"����%%�#!�"����$�#"!���!%�pr i ncomp 0�!#��!%�(&� !����0!"��"���%"�"!%"!#%�"���,�-

Page 71: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /������ ���������� ���������������������

�7���#7�$9���www.acm.caltech.edu/~emmanuel/stat/ Handouts/spike_sorting.pdf [V, pcscores, pcvar] = princomp(Xc);

�A9�M�8�9N

pcscores= Xc*V

shape1 = Xm + 150*V(:,1)’ ;shape2 = Xm - 170*V(:,1)’ + 100*V(:,2)’ ;shape3 = Xm - 170*V(:,1)’ - 100*V(:,2)’ ;

Page 72: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /������ ���������� ���������������������

�!)�12��'����2

� ��"����"��(&�A�#"��&���� "����

� �"�#���,���-(��&���%*%"���"!#���*/�&������*/��&���#��,!��"!������"���"0�

� ��(�����"���!��))���/��-(��&��/�������%����*(�&�&�(�!#%

� ��������������� �� ��!�(�����"���!��� �� ���� �&%!������"����&����"�$&�$%!���%(�#���!��!���#$& �%

Page 73: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /������ ���������� ���������������������

�2�")��������2����

� ��!%���"�����""��("%�"���!���(&�A�#"!��%�0�!#��%�"!%�*�%����%�&"�����("!���!"*�#&!"�&!�

� ����$&�#�%��"����("!���!"*�#&!"�&!��!%���"���!�"�&�%"!���#�$%"�&�%"&$#"$&���&��� !�"!��%��&�����&���!"*

� ���� �&%!������"��������&!"�����%�,����!�(�����"���!����&"!��'�������&"!��'

Page 74: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /*����� ���������� ���������������������

�����?'��)��������������1�D��!)��2���)�� ��0�#���0��� ��$�"��"���&�%$�"%����#�$%"�&!����!��+�!���%!������,%�& �"!��%C

� �����!%%!�!��&!"*����%$&��"��"�0��$%�����*���"�,������"&!#�

� ���#��5"��&�0���(!#"$&�����"���#�$%"�&!���!��"����!��+�!���%!�����%(�#��

� ����0��(&�A�#"�"������0�&��!���%!�����%(�#��0�!���(&�%�& !���"����!%"��#��&���"!��%�!(%�������"����,%�& �"!��%�

� ��!%�!%�"�����#$%�����$�"!�!���%!�����%#��!���=��>

Page 75: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /+����� ���������� ���������������������

�!)��)���

� -2/�-:/�D/-� �&��"����&!�!�����+�!���%!������,%�& �"!��%�0!"���%%�#!�"����!%"��#�%�δδδδ!A

� *! !%�"�����0�&��!���%!�����&�(&�%��"�"!������-!����"����!%"��#��,�"0����*! ����*A !%��! ���,*��!A

� ���0!%��"���!�����#���!�$&�"!������"���*! %$#��"��"�"���δδδδ!A �&���%�#��%���%�(�%%!,���"��"����!A

� �������&���0��#��5"��$�&��"����4$��!"*

Page 76: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /.����� ���������� ���������������������

�'���2��)2���,��������

( )�

�<

<−

=ji ij

ji ijij

ee

dJ

2

2

δδ

2

�<

��

��

� −=

ji ij

ijijff

dJ

δδ

( )�

� <<

−=

ji ij

ijij

ji ijef

dJ

δδ

δ

21

• All criteria are invariant to rigid body motions of the points

•Invariant to dilations of the points

•Jee emphasizes errors regardless of the size of the δij

•Jff emphasizes large fraction errors regardless of whether |δij -dij| is large or small

•Jef is a compromise

Page 77: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� //����� ���������� ���������������������

�'���2��)'�2)

� ����%���&!"�&!�

� ����%�����!�!"!���#���!�$&�"!������"���*!5%

� �������*

� ��%������"��������#��&�!��"�%�0!"��"�����&��%"� �&!��#�

� �� ��"���(�!�"%�!��"����!&�#"!������"����&��"�%"���#&��%��!��"���#&!"�&!���$�#"!��

Page 78: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /0����� ���������� ���������������������

)�����������,��!)�12�'�)���

( )�� ≠

<

−−=∇

kj kj

jkkjkj

jiij

eey d

yydJ

δ 2

2

kj

jk

kj kj

kjkjffffy d

yydJJ

k

−−==∇ �

≠2

δ

kj

jk

kj kj

kjkj

ji ijefy d

yydJ

k

−−=∇ �� ≠<

δδ

δ2

Page 79: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� /3����� ���������� ���������������������

�� �2'�������12�'�)���')��)��

� $((�%��0��0!%��"��%�� ���"*! E�F

� ""�#��"���(&�,����,*����!�!�����#&!"�&!���$�#"!����=�>�"��"�!%��!�!�!'���!����!%���%��$"!��� �#"�&

���&!"���2��=��%!#�)&��!��"���%#��">

2� ���!��!�!"!��!'���/�"�&�%�����θθθθ/�ηηηη=�>/�GF:� ����G�H2

3�

;� ��"!��

<� ��"$&���

I� ���

( ) ( )aJkaa ∇−← η( ) ( ) θη <∇ aJk

Page 80: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0������ ���������� ���������������������

�'�����������

� ��&� "�* �&%J������"&!#�$�"!�!���%!�����#��!�����&��"��,

� �""(977000�&%��%��!��!���$7(�&%����7�A���%7��"��,��"�

� Matlab Statistics Toolbox (Classical MDS)

� Y = cmdscale(D) takes an n-by-n distance matrix D, and returns an n-by-p configuration matrix Y. Rows of Y are the coordinates of n points in p-dimensional space for some p < n. When D is a Euclidean distance matrix, the distances between those points are given by D. p is the dimension of the smallest space in which the n points whose interpoint distances are given by D can be embedded.

Page 81: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0������ ���������� ���������������������

1������,�(�!��)���)�,��21���J��1�����

� �����%�"���%��������%��%���

� �����������&��,�"��#��($"�"!�����*�!�"��%! �

Page 82: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0������ ���������� ���������������������

�������K���� ������� �� �L

� )! �����%�4$��#�����ΦΦΦΦ5%�=(�!�"%�!��"���"���%�$&#��%(�#�>�#��%"&$#"�����((!�����&���Φ Φ Φ Φ "��*�%$#��"��"�(�!�"%���!��,�&!���!��"���%�$&#��%(�#���&����((���"��(�!�"%���!��,�&!���!��"���"�&��"�%(�#��

� ���%����"�����&��"�!%���((!��

� 8$��*�#����#"���"0�+��*�&���$&�����"0�&��0!"��"0��!�($"%�=!��"�!%��-��(��>���������&����$�,�&�����$"($"%�

� �������(�""�&��φφφφ !%�(&�%��"�����#�������!��"���"�&��"�%(�#��#��($"�%�!"%��#"! �"!��

��"� G�φφφφ50�

Page 83: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0������ ���������� ���������������������

����? �!)�O�)�����'��!)������(�

� ����)���"�"�����%"��#"! �"��������,��#������*M

� �(��"��"���0�!��"%�"��"�!%����������!"%�!����!�"����!��,�&%�$%!��

0�!="H2>�G0�!=">�Hηηηη=">ΛΛΛΛ=N*+*MN>φφφφ!

ηηηη=">�!%������&�!���&�"�ΛΛΛΛ=N*+*MN>�!%�#������"���0!���0!����$�#"!��

� ����&���!'��0������������ηηηη=">

Page 84: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0*����� ���������� ���������������������

���)2�2)��������,��!)� )�1!����'��)�)O������

� ����0!��!���$�!"�!��"���"�&��"�%(�#��!%���A$%"���%��"��"�!"�!%���&���!���"���(�&"!#$��&�(�""�&�

� �!�"%�!��"�����!��,�&��������*M��&����A$%"���%��"��"�"��&��%"&$#"$&����%����"#��%�"��"����"���(�&"!#$��&�(�""�&����"��$�����"�4$!"���%��$#�

Page 85: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0+����� ���������� ���������������������

���������������)�)�������

� �""(977000�#!%��$"��!7(&�A�#"%7%��"���,�-7

� The " SOM Toolbox" project was initialized back in 1997 because there was no such thing as a proper SOM-library for theMatlab. Matlab is a magnificent computing environment, but the tools in its neural networks toolbox for SOM were not really up to the state-of-the-ar t. On the other hand the freeware SOM program package SOM_PAK is all well and good, but it's not near ly as flexible as theMatlab environment. So the plan was to offer a simple, well documented Matlabfunction package which is easy to use and modify in the diverse needs that different people unavoidably have.

Page 86: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0.

����� ���������� ���������������������

�� � #�9�'�# �� ���:�2#7��� � �������

Page 87: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 0/����� ���������� ���������������������

'������)��)���2)���������,��'�

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 88: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 00����� ���������� ���������������������

�!)����������1�2��!�

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 89: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 03����� ���������� ���������������������

��������2�")�������,��!)�,��)��'���

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 90: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3������ ���������� ���������������������

��� ������8���� ������������ �� �� �)������

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 91: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3������ ���������� ���������������������

���������2��1!�����)����)2��������

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 92: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3������ ���������� ���������������������

�2��,���������)�'�����)�

�3�$=#9��>�����8#�# <����>�.�������#��� $$�H�2��0�

Page 93: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3������ ���������� ���������������������

�2��,���������)�������������

� )&�$��0�"�&����"��!���"���"�#"!��

� �&!#���&��"�*����

� ��� #

� !#>� #

� ����9�$�9�

� ���#�� �,�#�

� �-(��%! ����"�#"!��

� ����!#��� ���"���"�#"!��

� (�!����L�"#�$(���"�#"!��

Page 94: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3*����� ���������� ���������������������

�2��,���������)��������2)�����

����9�$�9��� 7��)�� 7����9�$9������#9��������#9 ��#� �9 ��7�# ��

Page 95: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3+����� ���������� ���������������������

�)�()����1)�)�)4�2)������'�����)�

� ��$���*�O2:P�����%

� O:�(�"!��"%

� ����� ��������� ��� ����������

� ������

� ������

� �������������������� ������������

Page 96: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3.����� ���������� ���������������������

���������������2)�����

���#���%��$�������� �??P�� $�9�� �9 ��7�# �� ���:&

Page 97: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 3/����� ���������� ���������������������

��������1��!)����������,� �2)

� �""(977!%���(�%"����&����$7

“ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

Page 98: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 30����� ���������� ���������������������

���������)�2�)��)''��1

�7���#7�$9���Q�� � #�9�'�# �� ���:�2#7��� �=:������� #�9)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

Page 99: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� 33����� ���������� ���������������������

��)����������!)��

�7���#7�$9��;R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

Page 100: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

��)���'�,����������)2��

�7���#7�$9��;R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

Page 101: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

��������1��!)���)���,� �2)

������9� #=��<#�����D�����&�&��9� ��&#7��S9��#��

���7#� #=��<#�����D�����&�&��9� ��&#7��S9��#����#�

R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;R�Sam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

Page 102: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

�2���)�����������)'� ��!�����? �

� ������%���"����!��������%!"*�������!��"�����"��%(�#�

� ����"&�!�!�������&!"������%���"��("!�!'������,A�#"! ���$�#"!���!����#"�!"���%�,����(&� ���"��"�%$#������,A�#"! ���$�#"!������%���"��-!%"

� ���&��!%��������&����$�&��"���"���"&�!�!�������&!"���#�� �&��%�

Page 103: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

�2���)����������)'� ��!�����? ��

� ���&��!%����"���&�"!#����&���0�&�����0�!#��"����((&�(&!�"�� ��$�%����"���"&�!�!���(�&���"�&%���*�,��#��%���

� �"�!%���"�#���&���0�"��#��(�&���������������"�����"��&����������

� ������((!����&���"���"�(��&�(�!#�%(�#��"��"�����"��%(�#��!��"����&!�!�������!%����*����!��%��"�"�����#�"!������"�������%�

Page 104: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��*����� ���������� ���������������������

1)�)2���6)�����12��!�������

� ���*�#���,��$%�����&����%!"*������!������� !%$��!'�"!��

� ���*�����&�"����#��%"&�!�����!-"$&�����)�$%%!��%�!��"�����"��%(�#�

� �����&���!""����!""���"��"�����"��0!"�������!�!��� �&%!������"����������&!"��

� Q �Q&�%(��%!,!�!"*�,$,,��5���%�"���%��������#"��%�"��������!��,�&������$�#"!��

� ����#��"�&%����"����!-"$&���&��#���!����"������0+�!���%!��������!�������,������!��"�����"��%(�#�

Page 105: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��+����� ���������� ���������������������

�!)����!)��������,�1��� ? �

'#$ #��� � ?� #�9����� <�$9������# �����#�;�>;����7�������#;��D

�E�H�:M>T N�H�φM>N �#9#�φ�����#���$�$>#7�=����$� �� �;�� 7� �����'�>������9>'#$ #��� ��?7�# �� ����� $��7� �7�������#&�'�����$���9�#�7�#�� ����8#�#>���:�� ���#��� $��7�����77�1����� � ��#�����8�9� # ��β

Introduce latent space density function p(x); in the spirit of SOM use:

��

���

� −−∝ tWxyWxtp );(2

exp),,|(ββ

( )�=

−=K

iixx

Kxp

1

1)( δ

Page 106: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��.����� ���������� ���������������������

�!)����!)��������,�1����? ��

� �����%����%��(���(�!�"%�,�#����"���#��"�&%����)�$%%!�����&���%

Page 107: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��/����� ���������� ���������������������

�2�����1��!)�1��

� ���������&!"���#���,����&! ����&���"��������

� ��%(��%!,!�!"*������#��#��"�&�#��($"����%���&���

� ��-!�!'�"!���$%�%�%!�!��&���&�$�����&� �&!��#�%/�����(%�$��+!� �&%����&���"0�&��0�!��"%�=0�!#��*!���%�"�����&����#��"�&%>�

� ���� �%����*��$!%��#��(�&���"�&%

� ����#���$%��0�!��"���#�*�"��!�#&��%��%���"���%%����"�����((!���

Page 108: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��0����� ���������� ���������������������

1���,�2�6������J�����

� ����#���&���!�*�$���&%"������0�)�����*�,��$%�����&����%!"*��%"!��"!��

� ��"5%��%%$���"��"�"�����"��"�%(�#����%�"0���!���%!��%

� �����,�&�"����)������!��%�(="N-/�/ββββ>� �%����*�%�"���&���"��#��($"��(=-MN"M/��/�ββββ>��&����! ���(�!�"�"M�!��"�����"��%(�#��

� ��!%�&� �&%�%�"�����(��&�����"��"�%(�#��"����"��%(�#��

� ��!%�*!���%���#��(��"���!%"&!,$"!���!����"��"�%(�#����������#���"����(��"�%���"�!����!�����%$���&*�%"�"!%"!#���&���#��(�!�"�!��"���%(�#��

Page 109: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��3����� ���������� ���������������������

1������������

Page 110: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

1)�)2���6)�����12��!���������1���')

� �""(977000��#&���%"����#�$�7)��7

Page 111: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ���

����� ���������� ���������������������

��4��2)?���)'�')����5�)���������

������������� ���� ��� ������������ �� �

Page 112: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

,����)���4��2)���')��

�( ) ( , )

( , ) ( , )

f x f x

f x N

i ii

g

i i i

= �

==

π θ

θ µ1

Σ

Page 113: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

)4�)����������4���J������M)�N�

��1�2��!�

� ���(%"�&��!&�������$,!��=2POO>

� )! ������!�!"!����$�%%��"�"����$�,�&����#��(����"%�!��"����!-"$&������"��!&�%"�&"!��� ��$�%�"�!%�"�#��!4$���""��("%�"����-!�!'��"����!���!��������"���������!����"0��%"�(�(&�#�%%

Page 114: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��*����� ���������� ���������������������

��)2���6)�)��)O�������D�)?��#�

�( ; )

( ; )

τπ θ

π θij

i i j

t tt

g

f x

f x

=�=1

Page 115: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��+����� ���������� ���������������������

���� ��.������K� ����9��+��

��

��

� �( �)( �) / �'

πτ

µτ

π

τ µ µ π

iij

j

n

iij j

ij

n

i ij j i j ij

ni

n

x

n

x x n

= �

= �

= − −�

=

=

=

1

1

Page 116: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��.����� ���������� ���������������������

�2���)��� ��!��!)�)����1�2��!�� ������&����*�����%�"�����%"&�!��"���ΣΣΣΣ!5% "��&� ��"�(!�!��

� ��� �&���#����*����.�&*���0

Page 117: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��/����� ���������� ���������������������

!� �'�� )���������J)��!)���2��)�)2�� �������"�&"%

� ���(%�(&� ��"���� �&���#��"����#�����-!���!��"����!���!�����$&��#�

� �$������"�& ��"!��

� ��!"!����&"!"!��!��

� �"�"���!�!"!���(�%"�&!�&%�"��F��&�2��##�&�!���"����(&!�&�#�$%"�&!���%#�����

Page 118: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��0����� ���������� ���������������������

!� �'�� )��!���)�<-

� �$������"�& ��"!��

� �! !�����"�& ��"!��

� �!���!�������"!����%"�"�"!%"!#

� �����% ��"���

� ���"%"&�(

� ��/���/����

� ��("! ���!-"$&�%���%�����"���%

� &$�!���=������"�� �/�"�"!%"!#%��������($"!��/�2PPR>

� ��

� ��������%�����$%"�&!��

Page 119: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��3����� ���������� ���������������������

���

� ��=�>�G�+:�=�>�H��=�>�0��&���=�>�!%�"����$�,�&�����&���(�&���"�&%�!��"������������%!'����

� �������%��������&��&�"���!�!�!'��"��� �������!"!��

� ��!%��&!"�&!���!%�$,A�#"�"��"����������$��&!"*�����!"!��%��%�+:���λλλλ

Page 120: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

,����)���4��2)�����������

� ����

� �!��,���$(������!��&�4$�%"

� ��&"!��'�������&"!��'

� �!��,����%�(�&"����"���,���5%��##��(��*!���%��"0�&�

� �""(977000��("��$0#��� *��!�7�%�7

� 8!�!"���!-"$&�%������!�������&�� ������%

Page 121: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

� ��.����6����������?����� ����= ���>

� &!�,���� ��&#��""�2PP:

� &!�,�2PP<

� �*,&!�����L�&�����%"!��"�&������!-"$&�������

� �$�,�&������&�%��&! ���,*�"�����"��

� �2����%!%"��"

Page 122: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

��')���1�2��!�

2�+ )! �������0��,%�& �"!��

:�+ �(��"���-!%"!����������%!���"�����#$&%! ����

�&

3�+ �������0���&��"��S�-(��!�T���!%���"���!�"

Page 123: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

2)��2��6)�)��)O��������? �

�� ( ;�)

� ( ;�)

� � (� � )

( )( ) ( )

( )

( ) ( ) ( ) ( )

τ π θ

π θ

π π τ π

ni n

i in n

nt t

n nt

g

ni

ni

ni

ni

f x

f x

n

++

+=

+ +

=�

= + −

11

11

1 11

Page 124: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��*����� ���������� ���������������������

2)��2��6)�)��)O��������? �

� ��

[( � ) � ]( ) ( )( )

( )( ) ( )µ µ τ

πµn

ini n

i

ni n n

ini

nx A+

++= + − −1

11

� Σ

A xn ni T= −+( � )( )�

1 µ

Page 125: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��+����� ���������� ���������������������

�2)��)�2��)

� ��%"�"��������&���#$&&��"���"��(�!�"�"����#���!-"$&��"�&��!��"����-!%"!��������

� ���!������0�"�&��0����"�!%��!%"��#���-#���%���#�&"�!��S#&��"��"�&�%����T

� ��#�"!����! ���,*�#$&&��"���"��(�!�"

� �� �&!��#���! ���,*�0�!��"���� �&�������"����-!%"!��#� �&!��#�%

� �!-!���#����!#!��"�%�"�"��27�

Page 126: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��.����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

Page 127: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��/����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

Page 128: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��0����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

Page 129: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��3����� ���������� ���������������������

�'����6)���4��2)�����������

� ����

� �!��,���$(������!��&�4$�%"

� ��&"!��'�������&"!��'

� �!��,����%�(�&"����"���,���5%��##��(��*!���%��"0�&�

Page 130: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ���

����� ���������� ���������������������

�����)2��1

������������� ���� ��� ������������ �� �

Page 131: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

!�����������)2��1-

� �-(��&�"�&*�!����"$&�

� $&(�%��!%�"���&�$(��,%�& �"!��%�%$#��"��"�"��%��#�$%"�&���!��"���%�����&�$(��&����!��������&���!%"!�#"��&���"��%��!���"��&��&�$(%

� �$�,�&����#�$%"�&%�!%�$����0�

� �%�����0���%�%�����"�"!����&�"�-����*�����*%!%

Page 132: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

��"�2��5�)���,������)2��1

� �+����%������"��&���� �&%

� �!�&�&#�!#��9�

� �! !%! �

� �������&�"! �

� ���%!"*�,�%��9�

� �!�!"���!-"$&�%

� �����+,�%���#�$%"�&!��

Page 133: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �������� ���������� ���������������������

%?�)���������)2��1

� �&"!"!��%�"�����"��%�"�!�"���#�$%"�&%

� �$%"��! ��"�������&!"����� ��$����&��

� � �&�������&!"��%��-!%"���&���!���"�!%

� .�&!��"%�#���!�#�$����"��&�%$���&*����%$&�%�����&�$(���#�"!���%$#���%����!��%��&�����%

� ��%!"! ��"��%"�&"!���(�%!"!��

� ��"��$�&��"����"��#�� �&���"�����,���%��$"!��

Page 134: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��*����� ���������� ���������������������

%?�)���������)2��1�K��������1�2��!�

2� "�&"�0!"��� !�!"!���(�%!"!��%�@ !�!"!���#�$%"�&�#��"�&%

� �������*�#��%����&���%$((�&"

� �������*�#��%����&�����"��%�"

:� %%!�����#���,%�& �"!���"��"���#��%�%"�#�$%"�&�#��"�&

3� ��#��#$��"��"���#�$%"�&�#��"�&�@ "�������

;� ��(��"��&���%"�(�:�$�"!��#�� �&���#��@#�$%"�&%������"�#�����

Page 135: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��+����� ���������� ���������������������

%?�)�������������

� ��0�!��"�"!%"!#%�����,�-/�.�;

� ��%!#�%*�"�-9

[ i dx, c l oc] =kmeans( X, k ) ;

� i dx #��"�!�%�#�$%"�&�!��!#�%���&���#��(�!�"

� cl oc #��"�!�%�"���#�$%"�&���#�"!��%

� X !%�����+,*+(��"&!-

Page 136: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��.����� ���������� ���������������������

%?�)�������������

� �("!�����!�($"��&�$���"%�!�#�$��9

� ‘ di st ance’ "��"�%(�#!�!�%�"����!%"��#�����%$&��"��"�!%��!�!�!'���0&"

� �%��#��"&��%�"���"*(�����#��"&�!�9�����/����!��

� ‘ r epl i cat es 59��$�,�&����&�(�"!"!��%����!�!"!���%"�&"!���(�!�"%

� ‘ s t ar t 59�(�#!�!�%���"�������!�!"!��!'�"!��

� ‘ maxi t er 59���-!�$���$�,�&����!"�&�"!��%�$�"!��#�� �&���#�

� ‘ empt yact i on59� #"!���"��"����!����#�$%"�&���%�%�!"%����,�&%

Page 137: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��/����� ���������� ���������������������

%?�)�������������

� ��"��,$%�%���:�(��%��!"�&�"! ������&!"��

� ��%��2�!%�"���%�����%���%#&!,���(&� !�$%�*

� ��%��:�#��#�%���&�$(��"�%�0��&��(�!�"%��&��!��! !�$���*�&��%%!�����!��"��"�(&��$#�%���,�""�&�%��$"!���@ ����(�%%�"�&�$�����"�

Page 138: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��0����� ���������� ���������������������

%?�)��������������')���? ��')

% Exampl e f r om t he document at i on f or Mat l ab –

% St at i st i cs Tool box, V4

l oad kmeansdat a

% Get t he i ndi ces f or k- means cl ust er i ng

i dx3 = kmeans( X, 3, ' di st ance' , ' c i t y ' ) ;

% Do a si l houet t e pl ot

[ s i l h3, h] = s i l houet t e( X, i dx3, ' c i t y ' ) ;

x l abel ( ' Si l houet t e Val ue' ) , y l abel ( ' Cl ust er ' )

% Tr y 4 c l ust er s and pl ot

i dx4 = kmeans( X, 4, ' di st ance' , ' c i t y ' ) ;

[ s i l h4, h] = s i l houet t e( X, i dx4, ' c i t y ' ) ;

x l abel ( ' Si l houet t e Val ue' ) , y l abel ( ' Cl ust er ' )

Page 139: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� ��3����� ���������� ���������������������

%?�)��������������')��

� !#9#���������#9��������9>��$���#�7�����#�&

� #��##��������#9#��9#�*�����#9�&

� #�� ���#��������#��#���������� ��:C#���#�9#�����&

Page 140: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*������ ���������� ���������������������

%?�)��������������')��

� ��0�������&��"���#�$%"�&%C

� ����$%����%!���$�""��(��"�=L�$�����U���$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF>

� �!%(��*%���0�#��%����#��(�!�"�!������#�$%"�&�!%�"��(�!�"%�!���"��&�#�$%"�&%

� �����%��&���+2�"��H2�� H29� �&*��!%"��"��&����"��&�#�$%"�&%� F9�(�!�"%���"��!%"!�#"�*�!������#�$%"�&� +29�(�!�"%��&��(&�,�,�*�!��0&����#�$%"�&

� ����&�(��"��+����%�����&!"�����&��!���&��"� ��$�%����� ����������"�"���&�%$�"%

Page 141: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*������ ���������� ���������������������

%?�)��������������')��

� 2%" #�$%"�&�%���%�"��,��%�(�&�"����&����"��&%�=�!��� ��$�%>

� �!�"%�!��:�� �&����"�"���,��/�,$"�%��������"! �� ��$�%�

� 3&� #�$%"�&���%�%� �&�����0� ��$�%�@ ��"�0���+%�(�&�"���

Page 142: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*������ ���������� ���������������������

%?�)��������������')��

� �"�&�%� �&���"&!�%�0!"��;�#�$%"�&%/�0����"�"�!%�&�%$�"�

� ��"��"��"��!���&��"�&�%$�"%��&���,"�!����,�#�$%��"���%"�&"!���(�!�"%���&�"���#�$%"�&%��&��&������*�#��%���

Page 143: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*������ ���������� ���������������������

!�)2�2�!������)�!�'�

� ���&���&��"0����!��"*(�%9

� ������&�"! �

� �! !%! ���&�(�&"!"!��!��

� ������&�"! �

� ��#���,%�& �"!���!%���#�$%"�&�@ ��&�$(%� �0��#��%�%"�#�$%"�&%��&����&�����"���#��%"�(�$�"!��2��&�$(�&���!�%

� �! !%! �

� �(�&�"���,%�& �"!��%�!�"��"0���&�$(%��"���#��%"�(

� ��"!����&�$(%�&���!�

Page 144: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �**����� ���������� ���������������������

'�6���6)��)�!�'�

� ��"�#������*�$%��/�,$"�%������"���%��-!"%�

� ���� L�$�����U��$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF

� � �&!""/������$��������%�/���$%"�&� ���*%!%/�;"����/�:FF2

� ��"�!�(�����"���!��� �� ��"�"!%"!#%�����,�-

Page 145: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*+����� ���������� ���������������������

�11���)2���6)������)2��1

� ��4$!&�%�%� �&���"�!��%�

� �*(������!%"��#��"��,��$%��

� ����"��&�0�&�%/�"���!�"�&(�!�"��!%"��#�%

� �*(������!�����

� ��!%���"�&�!��%���0�"����!%"��#��,�"0����"0���&�$(%�!%���"�&�!����

� ��(���!������"����!%"��#�������!�����/�����#�����"� �&*��!���&��"�&�%$�"%�

Page 146: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*.����� ���������� ���������������������

'������)��K �6������)���������������������4;�6*

� J�$#�!����J�

� J%�$#�!����J��+"����&�!'����$#�!������!%"��#�

� J#!"*,��#�J���+ �!"*����#���!%"��#�

� J��������,!%J+��������,!% �!%"��#�

� J�!���0%�!J

� J#�%!��J��+ 2��!�$%�#�%!�������,%�& �"!��%����

� J#�&&���"!��J�@ 2��!�$%�#�&&���"!���,�"0���� ��$�%

� J����!��Q�@ (�&#��"�������#��&�!��"�%�"��"��!���&

� QA�##�&�Q�@ (�&#��"�������#����%�"��"��!���&

Page 147: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*/����� ���������� ���������������������

�5�)���,����(�1)��6������)�K�����������������4;�6*

� J%!����J���+++ ���&�%"��!%"��#�

� J#��(��"�J�+++ �$&"��%"��!%"��#�

� J� �&���J��+++ � �&�����!%"��#�

� J#��"&�!�J+++ #��"�&������%%��!%"��#��="����$"($"�!%�����!���$������������������������*�!��$%!����$#�!������!%"��#�%>

� J0�&�J�����+++ !���&�%4$�&����!%"��#�

Page 148: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*0����� ���������� ���������������������

��2)�������(�1)

� !������!�����9�

� ��� ���&�%"���!��,�&

� ��,����#��/�%"&����*�#�$%"�&%

� ���(��"���!�����9

� ����$&"��%"���!��,�&

� 8!��%�#��(�#"�#�$%"�&%

� �&���

� ����%�"��A�!��#�$%"�&%�07�%����� �&!��#�%

� ��&�5%��!�����

� ����%�"���!���%����%!'�/�%(��&!#���#�$%"�&%

Page 149: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �*3����� ���������� ���������������������

���������')�,�2�!�)2�2�!����������)2��1

� ����!����!%"��#�%/�$%�9

Y = pdi st ( X, ' met r i c ' )

� �����"�"���#�$%"�&�%"&$#"$&�/�$%�

Z = l i nkage( Y, ' met hod' )

� �����"�"���(�&"!"!��/�$%�

T = cl ust er ( Z, ' cut of f ' , c)

� ����������3��"���#�/�$%�

T = cl ust er dat a( X, cut of f )

� 8�&�"�����%"����/�*�$������"��� ��"����,!�!"*�"��!�(�����"�"����"��&���"���%�

Page 150: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+������ ���������� ���������������������

���������')�?')�'2�12��

� ��� !%$��!'��"���&�%$�"%/�*�$�#���$%��������&��&���

� ��!%�!%���%�4$��#������+%��(����!��%�"��"�%��0�"�����&��%�

� �����"���*+�-!%�!%�"��� ��$�����"����!%"��#��,�"0����#�$%"�&%�=�-#�("���&���&�5%��!�����>�

Page 151: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+������ ���������� ���������������������

� �� �������+ ������)� �

� ����,�%!#�%*�"�-�!%

T = dendr ogr am( Z)

� ���&��V�!%�"����$"($"��&����!������

� ��������$�"�!%�"��(��"�3F��,%�& �"!��%����"���,�""���

� �,%�& �"!����$�,�&%�%��0���!��"�#�&&�%(����"����&��"��������(�!�"�

� ����!����������"����,%�& �"!��%��"������������/�$%��

f i nd( T=k)

Page 152: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+������ ���������� ���������������������

�������')��

% Get t he di st ances

Y = pdi st ( X) ; % def aul t i s Eucl i dean

% Get t he l i nkage

Zs = l i nkage( Y) ; % def aul t i s s i ngl e l i nkage

Zc = l i nkage( Y, ' compl et e' ) ;

% Vi sual i ze r esul t s

dendr ogr am( Zs) ;

t i t l e( ' Si ngl e Li nkage' )

dendr ogr am( Zc) ;

t i t l e( ' Compl et e Li nkage' )

Page 153: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+������ ���������� ���������������������

')�'2�12���K ���1�)����(�1)

Page 154: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+*����� ���������� ���������������������

')�'2�12���K �����)�)����(�1)

Page 155: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �++����� ���������� ���������������������

��')�?���)'������)2��1

� ��!%�"�#��!4$��"���%������%!"*��$�#"!����((&��#��

� �%�%��!�!"���!-"$&�����%!"!�%��%������%���&�#�$%"�&�����*%!%�

� ��#��#��(����"����%!"*�#��&�#"�&!'�%���#�$%"�&�

Page 156: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+.����� ���������� ���������������������

8��������6�����+ ��.���

� ��7#����#�7# ��:�����������$� �#<��#7�7# ��#�

� )>�#���� ?��>�C��� ��#���7���#7����#�����#���9��#�#9�

� ����������#�7��9=��� �$�9����� # ���? ������:� �9����7��9=���

� )������� # ����9��#9C#��������#9

1

( ; ) ( ; )c

k kk

f x p g x=

=�

Page 157: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+/����� ���������� ���������������������

�6��� ����+� 6���V �����=��>�������

� �#���7�$�9�=��7 <��9�#����� <���#���7#�

� ������ ��$��%#����7�$� �� ��9#A�9#���#9��8#��9�#7�9#

� )���#��? )>�#���� D

� , 7��9�=�=��:�������=�#98��� ��=#�� <����#������� # ��7# ��:�? ��#�����#9�9�

� ����#��? ��>�C��� D

� ��7��#�������9��#�#9��=��#7�� �����#9�9�

Page 158: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+0����� ���������� ���������������������

�6��� ����+� 6���V �����=��>�������

� ����#�D

� ��#9��8#��#���7

� �� �� 8#9<#�����������������

� �� �78#9<#

� 2#A�9#�� ����<�#��������#���9��#�#9���$���#����� # ��7# ��#�

� 2#A�9#�� ����<�#��������#��#<����M�9��9�9�N

� �##7�� �#�����#��$���#� ��=#9��$����� # ��

� 2#A�9#��� ������#7�7��9=��� �$�9���#����� # ��7# ��#�

� ��7#�?=��#7�����#9 <��779#��#����#�#����#�

Page 159: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �+3����� ���������� ���������������������

�����+� �����������)=����!��� U����"�&*/�2PP3>

� �8#9������7#�D

� �������, �#��>��9#�

� '# ��:����������$����� # ������8�9��#� �9����

� ��7#���#9�� ������ ��9� ���� ���#��8�9� #���$���#����� # ��

� )����<�9��������#7����#�����#����� # ����9��#�#9�&

� �<<���#9��8#���7#�?=��#7�����#9 <�����#7���� ���C#�)�

1

( ; ) ( ; , )c

k k kk

f p φ=

=�x x

Page 160: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.������ ���������� ���������������������

))����� ��.�����

� 2#<���9��<<���#9��8#�����#9 <D

� )����� ���� �������#9

� �������#�������#9���9#��#9<#7����#�����#�

� ����# #�����7#�#9� #7�=:�7��� #�� 7�� %�<#

� �<<���#9��8#���7#�?=��#7�����#9 <D

� ���#�����#�;���������#9���9#��#9<#7������������#��%#����7�$�9���#�<8# ���7#������>�C#7&�

Page 161: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.������ ���������� ���������������������

�������������� ���!"#$

� ����������������� ��� ������������ �� ������� ������� ���

������������������

��������������

� ����������������������%����&�����%������'����

� ��������� ����

� ��������� � ���

� !������� ���

� !������� � ����� �� ���� ����

ˆ2 ( , ) log( )M MBIC L m n≡ −x

2K σ= I

2K Kσ= I

K =K K=

Page 162: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.������ ���������� ���������������������

�������������� ���!"#$

"��������#��$���%������������ �

� ��&��� �����!$�'(�� ��� ��)����������� � ��*(�� ���#�������������������

!$�"������

���

+ ��,�����- !��������$����'(�.��)����������� � ��*(������$�����$'%$/0(�1�����������������

&��&%��%��

����

�������&��

(������"�

Page 163: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.������ ���������� ���������������������

��')�?���)'������)2��1��)��

2� ((�*�"���$�#��%"&�!�����������&�"! ������(&�#��$&�

:� ����%���$�,�&����#�$%"�&%7���%!"!�%/�#�

3� ����%�������9��2�@ �;

;� 8!���"���(�&"!"!����! ���,*�%"�(�2���&�"���%(�#!�!���#

<� �%!���"�!%�(�&"!"!��/��!���"���0�!��"%/�����%�����#� �&!��#�% ��&���#��"�&�/�,�%������"���������!��%"�(�3

I� �%!���"���#��%���#�=%"�(�:>�����"���!�!"!��� ��$�%�=%"�(�<>/��((�*�"����������&!"��

O� ���#$��"��"���������&�"�!%� ��$�����#������

R� )��"��%"�(�3�"��#���%�����"��&� ��$�����������&�(��"

P� )��"��%�(�:�����#���%�����"��&�������#�����&�(��"

Page 164: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.*����� ���������� ���������������������

��')�?���)'������)2��1���,� �2)

� (�$% #����#���,����0�������9

000�%"�"�0�%�!��"�����$7�#�$%"

� ��#$���"�"!��������"��&�"�#��!#���&�(�&"%�#���,����0�������9�""(977000�%"�"�0�%�!��"�����$7�&���*7�#�$%"7&�(%�%

�"��

� ��������,�-�!��� �� �

� �&!""���,*� �����U�����*���&"!��'

� ����"��,��� �!��,������"����#�$%" (��������"�"�!,

Page 165: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.+����� ���������� ���������������������

�������')��

� )�����&�����&�"!���&������%��(����&������!�!"���!-"$&��@ ;�,�%!#������%

� ������&�"! �������+��%�����$%"�&!��

� �����+��%�����$%"�&!��

� .!%$��!'�"!������&�%$�"%

� ����&��&��

� ���0!���$%����"����&���*�����&�"���

Page 166: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �..����� ���������� ���������������������

��')����)'����1)�)2��)�'���

� ��!��"%9��F�:/��F�:/��F�2/��F�<

� �!���%!����!"*9����;

� �G�<F

� ����%9����

W:/�:/�:/�:X/�W+:/�+:/�+:/�+:X/�W+:/�:/�+:/�:X/�W:/�+:/�:/�+:X

� �� �&!��#�%9��2�<�/��/��O<�/��

Page 167: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �./����� ���������� ���������������������

�������')��genmi x

% Load up dat a al r eady gener at ed

l oad dat a

pl ot mat r i x( dat a)

% Do t he aggl omer at i ve MBC st ep

Z = agmbcl ust ( dat a) ;

dendr ogr am( Z) ;

% Do t he ent i r e MBC pr ocedur e

[ bi cs, best model , al l model s, Z, cl abs] =mbcl ust ( dat a, 10) ;

% Pl ot t he BI C val ues

pl ot bi c( bi cs, ' Gener at ed Dat a' )

Page 168: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.0����� ���������� ���������������������

1������1)�)2��)�'���

� ����)���genmi x #���,��$%���"������&�"��&������ �&!�,��%��##�&�!���"���������"�����$&�,�%!#��!-"$&�������%�

� �$%"������0�"���%(�#!�!���%"�(%�

� ����%� ��"�����"��"��"���0�&�%(�#���&�!����"�-"��!���

� ���������%#�""�&(��"���"&!-�"��#��#��

� ���0!���$%����"��%�"���&���*�����&�"���

Page 169: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �.3����� ���������� ���������������������

Page 170: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/������ ���������� ���������������������

�����)2��������2�4��,�'�����)���)'�����!)�')��

Page 171: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/������ ���������� ���������������������

�11���)2���6)����')�'2�12��

Page 172: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/������ ���������� ���������������������

������,��!)�����6���)�

Page 173: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/������ ���������� ���������������������

2),)2)��)�� ������������� ���� ���� ���"�&*/�S�����+,�%���)�$%%!����������+)�$%%!�����$%"�&!��/T��!���"&!#%/�.����;P/�����3/�((��RF3+R:2/��("��2PP3�

� ���(%"�&/� ���/���!&�/������/������$,!�/�������=2POO>/�S��-!�$���!���!������&���!�#��(��"����"�� !��"����������&!"���=0!"���!%#$%%!��>/T�������"�"!%"���#����3P/�((��2+3R�

� L�$�����U��$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF�

� )���� �#��#����/�����L���� ��%��&�/��!-"$&�������%/���&#�������&/�2PRR�

� ����� &!�,�/���������� ��&#��""�/T ��("! ��!-"$&�����%!"*��%"!��"!��/T��""�&����#���!"!��/�.����:I/�����</�OO2+OR</�2PP3�

� &!�,�/������/�S ��("! ���!-"$&�%/T�� / ��RP/�����;:O/�((��OPI+RFI�

L ����� ��0�!% ������0&��#��L���$�/�S����!���&��!���%!����!"*����$#"!���,*���#����!���&���,���!��/T/�#!��#�:FFF/�((��:3:3+:3:I�

� ����������/��������%"��/���������� ������/�S �.!%$��!'�"!�����#��!4$����&�"$�*!���"����"�&�"! ���%"!��"!�������!-"$&�����%!"!�%/T���$&����������($"�"!���������)&�(�!#���"�"!%"!#%/�;=3>/�((�2RF+2PO/=2PP<>�

Page 174: ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density function (pdf) ... Learning and Soft Computing: Support Vector Machines, Neural Networks, and

��������� �/*����� ���������� ���������������������

2),)2)��)�

� ����/������/ ������/������/ &!�,�/������/��%"��/�������/�����&%/�)����/�S ���"����"����"�&�!���"���%"&$#"$&������� $���0��!-"$&��$%!���"�� ��!�������&��"!����&!"�&!�������"���,��"%"&�(/T��"�"!%"!#%��������($"!��/�)�*�+�,--�,))������,..)/�

� ��&�$%� ��%Y�S)��9�����)���&�"! ����(��&�(�!#���((!��/T���������%!%/�T�""(977000��#&���%"����#�$�7)��7"��%!%��"��/�2PPR�

• Joshua B. Tenenbaum, Vin de Silva, John C. Langford “ A Global Geometr ic Framework for Nonlinear Dimensionality Reduction,” , Science, 2000 December 22; 290: 2319-2323

� �� �!""�&!��"��/� ��8������!"�/������ ���� /�"�"!%"!#��� ���*%!%����8!�!"���!-"$&���!%"&!,$"!��%/��!��*��&!�%�!��&�,�,!�!"*�������"����"!#���"�"!%"!#%/�2PR<��