3d rep and recognition by alignmentstockman/papers/3d.freeform.foils.pdf3d rep and recognition by...

16
3D Rep and Recognition by Alignment

Upload: trankhue

Post on 19-Jul-2019

214 views

Category:

Documents


0 download

TRANSCRIPT

3D Rep and Recognition by Alignment

� ��������� ���� ���� ������ �� �� ����� ����� ��� ���"! �#�$�%� &'�(� ����) * � � � &'����� �+� ���

�,��� -�./���� � � ���0 �� 1 �2-3���4�� ���56 � �� � ����� ���7�� 8'� ��9 ���;: � �<

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj klg

USE OF MODELS

� ��������� ����������������� � ������ "!$#$%&������� � '��)(*

� + �,��� -.�/���� ��������� �����0� � ���1�2 "!3#

� 465879;:<�=��>?�A@ ��B/CD��E ������ "!3#

� F ��G�H>I���J���K�&��� 'L�M(* N)�8O CPO/ ;��#QCR#TS�%9(* UB� ;VKN)WX�Y�1�� Z!3#[(

� F ��G�H>I���J���K�&��� 'L�M(* N)�8O CPO/ ;��#QCR#TS�%<@ N)��S ������ "!3#\(

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k^]

GENERAL ALIGNMENT PARADIGM

� � � V N�( ( � @ '�#*CR����(� ���1�2 "!3#[( N;V V CREXCPOH%,��V �; �N8V W S ( �� ���1�2 "!3#[( VJ �N�( ����N)�GW S ��L# V�N0!3#� ZO �[V ��@ ��N�!;�"E�V � � �;O

� � � � � F � ���� � � � 4 4�� ��� �� �=�����X�����J��� ��� 79>H������ � � � � ��� � CDV 3( � (*!�NMWR 3(��9%��B� ;V W N)'G' CD�;E !#"$ % N�($') "!$#[(

� + F �&� ��4 �(' � � � !3����#[� � V (�% �L� � �;O�N8V S �CD��#2 ;V ��N)W

� �)� � � * �)� �ICD��B)N8V C NM��#\( �$� !$����#\� � V6'LN8V #\(� � ���+ � � � � 4 �-,)CDW W�!;W CD@ �)CD�;E ��� 'L�M(* 'LN8V�NM@ 3#2 ;V (

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k ^

WIRES AND SCALES MODEL

� ��� �<�Y� � � �I��������5 ��H�=���G� ( #\��V :� ����Y�������� ������������

� � �K79-.� � �,�=���G�( #[� VJ ������� ��

� � 58��79��� ��H�=�I� � ( #\��V �������� ��

� � 7 5;: ��H�=�I� � ( #\��V �������� ��

S

M

C+

C-

B

Erasethis

segment

r y

r x

store (x,y,z, r ,r )x yLimb point

Mark pointstore (x,y,z)

Crease pointstore (x,y,z)

blade pointstore (x,y,z)

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k j

MAKING A MODEL FROM 5 IMAGES

� � OG ;W��Q@ N)�;CD�;E B/C N � N�( V C�NM�;O � W W @ N)� ! � V B)N�# � VJ @ $#�,�� O

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k��

Some Alignment Results

������������ ������

��������� ��! #"�$&%(')"�*�+-,.%0/�1�2&3 425'7698:/(;<%0"

= �5>?>?@�>A��@�B�CD��EGF H�CJILKNMPORQSBUTWVYX[Z\O]MPE^QS>_Z\E^MU@)`YTaF HbI�Idc=�e]fhgjiJkml nkoiqp rRsutSv l nvGtwp IRxyH s

i{z�|Gl nz}|:iqp ~�s�i{z��Al nz}�hiqp ~Rs Z�`q� i���l n��iqp IRxPIRH�C�c�AT_MU`N����MUBU�N@��NQ�E?E^Q�Z�`����(`hE^QS>?`�Z�B5���R��QST

�G�R� QW�}E �A��>?M�Z�BUT � = �5>?>?@�>w� ��E�c � i{� l n��iN� e�f��QS`q��MUB�����Z�>?K4Q�`NQS> ~ I ~ I ~ I���d�YM�>?>?Q�B ~�  I ~)r�¡ ~)r�r�5BUBUMUKNT_@�M��oH ~�  I ~)r�¢ ~�  I�5BUBUMUKNT_@�M�� ~ ~�  I ~)r�£ ~�  I@�����BU���RQb�¤�R�d��Z�T_� ~�  I ~�  I ~ H ¢@�����BU���RQb�¤�R�d�NMU>?>?QSB ~�  I ~)rd¥ ~)~�¢

¦ ¢ K4@�T_QGKqZ�>_Z�§�Q�E^Q�>?T gDr >?@�E�Z\E^MU@�` sN~ E^>_Z�`NT_B�Z\E^MU@�` s H�T��SZ�BUQ

¦ MU`NMPE^M�Z�B�MU¨bZ©E^MU@�`¤Z\E ~�  IL�RMPª«QS>?QS`hE¬K4@�MU`hE^T®­9M¯E^�YM�`¤Z�T^K4QW�}E

¦ >?@�BUBoK�Z�>_Z�§°Q�E^QS>�Z�T^T_�N§�QW�]��BU@�T_QjE^@°IL�NQ�>?Qw±

¦ �NQ��N>?MUT²E^M��³T��NT^QW��E^@-E^@�B�Q�>_Z\E^Q�@��S�³B��YT_MU@�`

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k�´

INDEXING to Model Aspects

� ������� ��� � ����������� ������ � ��������� ������ ��� �!��

� �"����� �#�����%$����� � �& � ���'���( � ������� )+*��,�(-

� �/.����� �( �#�����%$����� � &0����� ����������� �1� � �����2�!��

� ��� �/� �3� �! *4�2�� � &0�� � �#��/���1��� � ����� )� ���'� �5��

� �#����� �� � )%�%����� �6�� �1� ����7��� �& �(*��,�7�6��� �

� � �#��/���1��� ���2�!�� 8��%� ),� � �7�����6.��1� �#�� ����),):9�������69����6� )%�

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k<;

Invariant attributes of contour parts

������������ ������

� � �������3�������

� � ��� ��� �(���� ���

� � � ���%����� � ��� �����

� ��� � $��

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k�

Parts Evidence Survives Occlusion

������������ ������

� ��� � $�� � � � � ���

� � � � & � � � � � � �

���RK4@�E^�NQ�T_Q�T®��Q�`NQS>_Z\E^QW��� @�>�@��S�³B��q�RQW�]@ ��� Qb��E^T g�= Zdc�� = �qc®Z�>?Q�KqZ�>E^TQ�O�E^>_Z��}E^QW��� >?@�§ T^M�BU�N@��NQ�E?E^QGMU§ Z���QST�@��uT_MU`N��BUQ � QbZ�> s QSBUQSKN�qZ�`hE s �RQSQ�> s Z�`��§�@�@)T^Q s >?QST^K4Qb��E^MdQSB�oV = Q\c�� = �«c®�A�NM�����Q�>�BUM�`YQST�MU`��RM���Z©E^QGKqZ�>E^TA�NT^QW� � @�>��QS`NQ�>_Z\E^M�`Y�����RK4@�E^�NQST^QST�� @�> � QbZ�> s QSBUQ�KN��Z�`hE s �RQSQ�> s Z�`��]§�@�@)T^Q s>?QST^K4Qb��E^MdQSB�hC

=?>A@ABDC�EGFIHKJML N�COHQPMRSBUTIV�@OEXW TGLYESTGZ\[K@�] ^`_ba�TGP�cedf_2TSE�gihGhXj k h

GENERAL ALIGNMENT PARADIGM

� � ��� � �����7� ����%�����

� ��$��!���(�� � ��� ���%��%� 9 �� ����� ��) 8 ���� ��$��!���(�� ���6�2�����7� $�) 8 �/.����� �(���� & �����$3� ��������������

� � � � � � �� � � � � � � � � �������� ��� � � �!���#"%$� & � � ')(+*-,/.0,21 *-34, 576+8:9+;�*-./3< = > ? ?/@ ?BA C D '+EGF7HI,/.2J 1 *LK�MG3< ?/N & C O ?/N P '!*QKSR:8:;�*L8GKSJ 3T6�;�UV8W.0,

(X;�EG(Y,0;ZJ4*-,/3\[�;�,0]L8%J4*-E^K�3< _ ` ?�P N C N @ '!a�*-]b] ./]-*Lc FX*QK7M E^K

(YES34, (!8W;d8Gc ,2J4,/;�3

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� ���z�

Components of Wings

� � 67;�UV8:./, � ��(Y,���������� �������������������

���� "!���#�$%���� &��%'(��)(�+*(�,�-�$*.�/#�.�0��#�$%�%�� 21�34����)5�+*(�+�(�,6(��7-�

$98:#�$%���� 14;��<��)(�+*(�,=(�+�<�+6(��7-��">�� �/8�?+@ $%���.!

� A E^KSJ4E^6�; � ��(Y,�4#�"!����� B��� CED%F4�G H

$�#�"$�D������� B1�1 I $984J.!�) $�.!��4�9!� K�����.�L��8��4#�$M N��7 $98:$%��JO! $�.!��/�%!� P

�/#QF4�G H�H

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� ���p�

All 38 Full WINGS

������������ ������������������������������������������ ��������� ������������� ��������� ������������� �������������������� � ��������� ������������� � ��������� ������������� � ��������������������� ���������� ������������� ����!����� �������������� "���!���������������� � ��������� ������������� � ���!����� ������������� � ���!����������������� ���� #��� ������������� ����$#��� �������������� "���$#��������������������� #��� ��������������%���$#��� �������������������$#�����&��������� ���!����� �&��������'� ���!����� �&����������� ���!������&��������� � ���!����� �&��������'� � ���!����� �&����������� � ���!������&���������� '���$#��� �&��������'�$ ����$#��� �&������������ '���$#����&��������� � ���$#��� �&��������'� � ���$#��� �&����������� � ���$#����&�!�������� ���$#��� �&�!������'� ���$#���� �&�!�������� ��� #����&�!��������������$#��� �&�!������'�(�(���$#���� �&�!�������������� #���

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� ���*)

Fitting WINGS in Range Imagery

������������ �

��������������� ���"!#�%$'&'������()�*$,+.-/��&102� ��������3��/������(4�"����!5���"(4�63��/�7�6�8!.� �����9:���;&,+�3�(���+=<?> �A@.�B�B�C� 3��:&�3�(4DE$F��D��G�%!4���:&,�*� ��H1I �KJ I � � � �

� � � � - �

L1M NPOQLKR7STR�S8NVU�W'X7Y[Z]\_^a`7bL c7d7e�c7^a`7b"fEgihKf�j�NBLk^a`7b�OmlnSpoq\7r7s4h�S�RutnSpo�v R4h�r�fVw Spo f:hxv?fQM7yEz7{nMpo|s�j|}�~E��Mpo�v�f�N

L�}�NPOQLKR7STR�S8NVU�W'X7Y[Z \�^�`7b6��d�b��� Lk^a`7b8c�d7e�c�d�b7�.f'��hx��j�NBLk^a`7b�OmlnSpoq\qf'�6h%�qsutnSpo�v R4h�R�fVw Spo f:hKfER�M7yEz7{nMpo|s7s�}�~E��Mpo|r�s8N

L�d�b7��O]MTo f:hkgqfG}.o.\qf�h%�qS��To \�v7v6h�R7S N

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� ���z�

Wing Recognition Experiment

���������/�� � �� � �����������

���������������������������! "�#��$&%��'���(��)��+*,���.-�/�)�01�2*3�.45�,�(*367 �988 ;:+8 �x��<>=K ���E���&?A@�B �DC+EGFIHJC9@�K �

EJ88�ML� ����,�3N��9OP<RQP:S?�TVU>U1UEJ8 �WL� ��6�'��X��>OZY[N\:]:9<,�^X_Q a`WXn ��N��9OP<RQ�?�b1U

cd8 �x��<>=K Ve+fJYgQZh i_8:% a`=1�1Y =jhkQ :lX_m X_QZY =K�>Y =Sh[Q :+X_m X_QZY

n\oqp2rtsvu w>b1U w1x x1x1y zab>{ x>yR| {kT }[TVb wqzqT~ ��� w7�b1x U��b>U {7�z�{ w��{1b w��T1T U7�y[T {��TVU w7�ykT� �������a�q�9���R��� y1b7�z�y {��x>U x7�w>b b��{kT y1}7�U1U {7�x>y | �w1w b7�|_T

U��U[T �I�9ujs � � w1x }>U1w { T�b | }1b1b U |qU����� u��S��oRu\u � r���p z��xq� |8�w �

n\oqp2rtsvu {>{kT z�y1x }1}1{ x1wqz x>w1} y1b1b }a|qy {>b z~ ��� zpZTRz {��w>b T�U��U>} x��x1w {��U1} |8�b>} z��}R| {7�x z� �������a�q�9���R��� ykT�ZT�{ w��|db |8�U>U b��{1b y1}7ZTVU {7�w[T | �{ z b7�|qw

U��U>w �I�9ujs �,� yqza{ y>b1w T xqz |dw zaU1{ U }1{����� u��S��oRu\u � r���p {>U��x � TV{7�{q�

¡�¢ £+¤G¥�¦¨§!©3¤«ª;¬®­]¬¯[¬°§_¯[¬D­²±G¦[£+¤G¥´³>µ�¶·�¸º¹»·#¼]¯»½(¾]¿;À�¯[½G¬�¦k¬�¦

¡ÂÁ�à Ä+£+Å.ª²ª;À�±G¤Æ­G©3Ç1¾�§À�¤G¦q¯[Çk©�£+¤(¯»£+¦È¦[£+¥�¤G£�¼É§�©�¤(¯

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� ��� �

CRITIQUE of Alignment to Intensity Images

� � 9 R:8GKSJ�8:MG,/3< 3d,2R ,0;d8W] (X;d8:.BJ4*-. 8:] 8W(+(+]-*-. 8%J4*-E^K73< MSE E 9 (YEWJ4, KGJ4*L8:] U�EG; ]b, 8:;dK�*LK�M c E 9+,/]b3< . 8GK 6734, A � � c E 9+,/]b3 , 8:34*-]+�< U 8:*-;�],� 3d(!8:;�3d, c E 9+,0] ;�,/( �V1 *b;�,/3 �

3d. 8:]-,03��< 8W.0576�*-;�, E^K�]+� 1 a+8%J���3 K�,/,/9+,09

� � *b3T8:97RW8GKGJ�8WMG,03< 9X*� . 6�]�J 8G6 J4E^c 8%J4*-. ,�7J4;d8:.2J4*-E^K U�;�E c

F 8:. � MG;�E^6+K�9< 1 *-;�,/3 � 3d. 8:]-,03 c E 9+,/]b3 8:;�, *LK�./E^c (+]-,BJ4,< U 6�]-] R�*-,B1 3d(!a�,/;�, ;�,09!6XK�9!8GKSJ 8GK79

R^,0;�FYEG3d,< 9X*b3 J4EG;ZJ4,/9 (+;�EWHI,0.2J4*-E^K�3 U�;�E^c J�a�, 3d, 8Gc 3

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� �����

Future Research

� *Lc (+;�E R�*LK�M c E 9+,0] � F!6�*-]-9+*�K�M� *LK�./EG;�(YEG;d8%J4*LK�M J4, 7J�6�;�, 8GK�9 ./EG]-EG;� 6�3d*LK�M 3Ta+8:9+*LK�M#[ 3�J4,/;�,/E *LK 34, K�3d*LK�M� 9+,2R ,/]-EG( 3Ta+8:(Y, ]-*-F+;d8:;�*-,03 8GK79 *LK�9+,

egfihijlknmporqIsut vLkwqdxuyzj|{r}-hwm�~ {pt�mz{p���Ih�� ���G�-{px��Q����{zm����p��� �����