elser/ai_papers/creating advice-taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000...

32

Upload: others

Post on 06-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � ��� � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � " ! � # � � � � $ � � " � � � � � � % � � & � " � � � � � � � � #

' ( ) * + , - . / 0 1 , 2 ) 3 4 * 5 , - . 6 ) , - 7 8 ( 2 ) 9 ) - + : ) * ( - ) ( ;

< = > ? @ < A B @ > C = D @ D A E F A G H I J ? @ K C = L � � � � � � M � � # � � � � # � � � � � � � � � N � � O M � � # � � � � # � � �P Q R S T U V W X Y Z V [ Y V \ ] V S U ^ _ ` [ Z a V W \ Z U b Q c d Z \ Y Q [ \ Z [ _ e f e g d ^ ] h b U Q [ X U ^ _ i h j Z \ Q [ _ d k l m n g o

p q r s t u v � � � � � � � � � O � � � � � � � �

w x y s u z { s | � � � � � � � $ � ! � � � � � $ ! � � � � � � " � � � � } � ! � � � � � � } } � ! � � � $ ! � � � � � " � � � � " � � � � � � " � � � " � #~ ! � � N � � � � � � $ ! � � � � � � " � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! $ " � � � � � � � } � � ! � � � # � � } � � � � � "� � � � N � � � � " � � � � � � � " � � " � � � � � � � � � " � � � � � ! � " � ! � � � � � � � � ! � � � � � ! � � � � " � ! � � � " � � � � � � � � � " ! � � �� � } " � � N � � � � N � � � " � � � " � � � � � � � � � � � " � � � � � � � � � � � � � � � � " � � � � � ! � � � � N � � # � � ! � � � } } � ! � � � " � � � � N � � � � � N � � � � " � � � � " � � � � � � � � � � � � ! � � � � � ! � � � � � � � O � � � � � � " � ! � � � � } � � � � � � � � � � � " � � � �" � ! � � � � � � � � } � � � � } � � � " � N � } � ! � � � � � � � � � � � � # � � � � ! � " � � � � � � � � � $ � ! � O � ! � � � � � � � � � � �� � � � � � � � " � ! � O � � � � � � � � " " � � � � } � ! � � � � � � � � � " � � � � " ! " � � � � � " � � � " � � � " � $ � � � " � ! � # � � � � � � � � � "� � � � $ ! � � � � � � " � � � � � � � $ � � " � � � � � " � � � " � � � � � � � � � � � " � � � � N � � � # � � } � � � � � " � � } � � � � � � � N � � � � � �" � � " � � N � � " � � " � � � � N � � � � � � } � � " � ! $ ! � � � } } � ! � � � � � � � � ! � " � � " � N � � ! ! � � � N � � � � � � � � � � �� � � � � � � � N � � " � " � � " � � � � � � � � � � � � � � " � � � � � � � � } � � " � � � � � � � � # � � � � ! � � � � } � � � � � � " � � ! � � " � � "� � N � � � � � } � ! N � � " � � � � } � � " � � � � � � � � � � � � � � � � � ! $ " � � � " � � ! $ " � � � � � � � " � � � � � � " � � � N � � � � � � �� � ! " � � � � " � � � � � � ! � � " � � " � � " � � " � � � � � � � � � " � � N � � � � � � � � � � � " � � $ � � " � � � � � � � � � � � � � � � # � � � � � � � � � } � � � � � " � � } � � � � � � " � � � � � � � " � " � � " � � � � � � " � ! � � � � " � ! � � � � ! � � } ! � � � $ � � " � � � � � � � N � " � � � � � � � �$ ! � � � O � � � � � ! $ � � N � � � #

� � � � t u q y v � � � � $ ! � � � � � � " � � � � � � � � � N � � � � � N � � � � � � � � � � " � ! � O � � � � � � � � � � � � � � � � � $ � ! �� � � " � � � " � ! � " � � ! � � � � � � � � � � " O � ! � � � � � � � � � � � � � � � � � � � " � ! � O � � � � } " � N � � � � " �

� � � � � � � � � � � � � �

� � � � � � � � � �   ¡ ¢ £ ¤ ¢ � ¥ � ¡ � ¤ ¢ ¦   § ¨ © ¨ �   ¡ ¥ ª � « ¬ © £ � © ¥ � ¥ � ¡ « ¤ ¢ ¦ ¤ ¢ « �     ¤ ¦ � ¢ « ¡ ¦ � ¢ « � ¤ � « ©¬ ¡ ­ � « ¬ � ª   � ¡ ¥ ¢ � ¥ © ª ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � ® ¯ ¡ ¥ « © ° ± � « « © ¢ ° ² ³ ¡ « ´ ¤ ¢ � ° µ ¶ ¶ · ¸ ¹ ¤ ¢ ° µ ¶ ¶ º ¸» ¡ ¬ ¡ £ � ­ ¡ ¢ ² ¼ © ¢ ¢ �     ° µ ¶ ¶ º ¸ ½ � � ¡ � ¥ © ° µ ¶ ¶ º ¸ ³ ¡ « ´ ¤ ¢ � ° µ ¶ ¾ ¶ ¿ À Á ©  � ­ � ¥ ° « ¬ � � � ¡ ¨ è ¥ © ¡ � ¬ � � � � Ä � ¥ � ¥ © ª « ¬ � ¤ ¥ ¢ � � £ � © ¥   ¡ ¥ ¦ � ¢ � ª Å � ¥ � © � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � ¨ ¤ � © £ � � À ± � ­ � ¥ ¡  ª � « ¬ © £ � � © ¥ � ¨ � � £ ¤ ¢ ¦ � ¨ ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ¬ ¡ ­ � Å � � ¢ ¨ ¥ © ¨ © � � £ ¸ © ¢ � ¨ ¥ © ª ¤ � ä ¢ ¦ ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ � « © £ � � ¤ ¦ ¢ ¡   � ¡ ¥ ¢ � ¥ « ¬ ¡ « � ¡ ¢ ¡   � © ¡ � � � ¨ « Æ Ç È É Ê Ë � ¥ © ª ¡ ¢ � Ì « � ¥ ¢ ¡  © Å � � ¥ ­ � ¥ ® ¼   © � � � ² Í « ¦ © Ä ° µ ¶ ¶ º ¸ Î © ¥ £ © ¢ ² ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ ° µ ¶ ¶ Ï ¸ ¹ ¤ ¢ ° µ ¶ ¶ º ¸ » ¡ �   ¤ ¢² ± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ Ï ¿ À Ð ¤ ¦ � ¥ � µ � ¬ ©  � « ¬ � ¦ � ¢ � ¥ ¡   � « ¥ � � « � ¥ � © � ¡ ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ � ¥ °¡ � ¦ ª � ¢ « � £ ® ¤ ¢ Å ©   £ ¿  ¤ « ¬ ¡ ¢ © Å � � ¥ ­ � ¥ « ¬ ¡ « ¨ ¥ © ­ ¤ £ � � ¡ £ ­ ¤ � � À ³ � ¨ ¥ � � � ¢ « ¡ ¢ £ � ­ ¡   � ¡ « �¡ � © ¢ ¢ � � « ¤ © ¢ ¤ � « ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ ¢  ¬ ¤ � ¬ ¡ ¦ � ¢ « �   � ¡ ¥ ¢ � ¥ © ª Å © « ¬ � Ì ¨ � ¥ ¤ � ¢ � � ¡ ¢ £ ¤ ¢ � « ¥ � � ë ¤ © ¢ À Ñ � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ¨ ¥ © £ � � � � ¡ ¦ � ¢ « � « ¬ ¡ « � ¤ ¦ ¢ ¤ Ò � ¡ ¢ «   § © � « ¨ � ¥ � © ¥ ª ¡ ¦ � ¢ « � « ¬ ¡ « © ¢   §  � ¡ ¥ ¢ � ¥ © ª ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � À

½ © ¤     � � « ¥ ¡ « � « ¬ � ¦ � ¢ � ¥ ¡   ¤ £ � ¡ © � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ ° ¤ ª ¡ ¦ ¤ ¢ � « ¬ ¡ « § © � ¡ ¥ �  ¡ « � ¬ ¤ ¢ ¦ ¡ ¢¡ ¦ � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ « © ¨   ¡ § � © ª � ­ ¤ £ � © ¦ ¡ ª � À � � � � ª � § © � ¢ © « ¤ � � « ¬ ¡ « � ¥ � Ó � � ¢ «   § « ¬ �¡ ¦ � ¢ «   © � � � Å � � ¡ � � � ¤ « ¦ © � � ¤ ¢ « © ¡ Ô Å © Ì � ¡ ¢ § © ¢ Õ ¤ ¢ � � ¡ ¥ � ¬ © � � © © £ ¡ ¢ £ « ¬ � ¢ ¦ � « �« ¥ ¡ ¨ ¨ � £ Å § ¤ « � © ¨ ¨ © ¢ � ¢ « � À Ñ ¢ �  © �   £   ¤ ´ � « © ¦ ¤ ­ � « ¬ �   � ¡ ¥ ¢ � ¥ Å ¥ © ¡ £ ¡ £ ­ ¤ � � � � � ¬¡ � Ô £ © ¢ © « ¦ © ¤ ¢ « © Å © Ì � ¡ ¢ § © ¢ �  ¬ � ¢ © ¨ ¨ © ¢ � ¢ « � ¡ ¥ � ¤ ¢ � ¤ ¦ ¬ « À Õ ½ ¬ ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ �ª © ¥ � ¡ ¨ ¨ � ¡   ¤ ¢ ¦ « ¬ ¡ ¢ « ¬ � � � ¥ ¥ � ¢ « ¡   « � ¥ ¢ ¡ « ¤ ­ � Ö ¥ � ¨ � ¡ « � £   § ¨   ¡ � � « ¬ �   � ¡ ¥ ¢ � ¥ ¤ ¢ � ¤ ª ¤   ¡ ¥

Page 2: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

advice behavior

reinforcement

action

state

Learner Environment

Observer

� Z � T W V e ^ � � � � � � � � � � � $ ! � � � � � � " � � � � � � � " � � � � � � � � � � � � � � N � � � � � � � � � } " � ! � ! $ " � � � � � � � � " � � N � �� ! � � � � " � " � � � " � " � � � � � � � " � � � � � " � ! � " ! � � ! ! � � � � � � � � � � N � � � � � � � $ ! � � � � � � " � � � � ! � � � � � � � � �! $ � � � � � " � � " � � " � � " � ! � # � � � � � � � " " � � � � � " � � } � ! � � � � " � � " � � � ! � � � � ! � � � � N � � " ! � � " � � " � �� � � � � � � � � � � � � � " � � N � � � � � � � � ! � " � � � � � � � � � � � � � � � N � ! � #

� ¤ ¥ � � ª � « ¡ ¢ � � � ¡ ¢ £ � Ì ¨ � � « ¤ « « ©   � ¡ ¥ ¢ « ¬ ¤ � ¡ £ ­ ¤ � � � ¥ © ª £ ¤ ¥ � � « � Ì ¨ � ¥ ¤ � ¢ � � °  ¬ ¤   � ¢ © «� © ¥ ¦ � « « ¤ ¢ ¦  ¬ ¡ « ¤ « ¨ ¥ � ­ ¤ © � �   §   � ¡ ¥ ¢ � £ À

� � � © ¦ ¢ ¤ « ¤ © ¢ © � « ¬ � ­ ¡   � � © � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ ¬ ¡ � ¡   © ¢ ¦ ¬ ¤ � « © ¥ § ¤ ¢ � � À ½ ¬ � ¦ � ¢ � ¥ ¡   ¤ £ � ¡© � ¡ ¨ ¥ © ¦ ¥ ¡ ª ¡ � � � ¨ « ¤ ¢ ¦ ¡ £ ­ ¤ � �  ¡ � Ò ¥ � « ¨ ¥ © ¨ © � � £ ¢ � ¡ ¥   § Ï · § � ¡ ¥ � ¡ ¦ © Å § » � ¼ ¡ ¥ « ¬ §® µ ¶ � ¾ ¿ À Ñ ­ � ¥ ¡ £ � � ¡ £ � ¡ ¦ © ° » © � « ©  ® µ ¶ ¾ º ¿ £ � ­ �   © ¨ � £ ¡ ¨ ¥ © ¦ ¥ ¡ ª « ¬ ¡ « ¡ � � � ¨ « � £ ¡ ¢ £Ô © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � £ Õ ¬ ¤ ¦ ¬ à   � ­ �   ¡ £ ­ ¤ � � ¡ Å © � « ¬ ©  « © Å � « « � ¥ ¨   ¡ § « ¬ � � ¡ ¥ £ ¦ ¡ ª � Á � ¡ ¥ « � À� � � � ¢ «   § ° ¡ � « � ¥ ¡ £ � � ¡ £ � à   © ¢ ¦   �     ° « ¬ � ¥ � ¬ ¡ � Å � � ¢ ¡ ¦ ¥ ©  ¤ ¢ ¦ ¡ ª © � ¢ « © � ¥ � � � ¡ ¥ � ¬ © ¢¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ ® Î © ¥ £ © ¢ ² ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ ° µ ¶ ¶ Ï ¸ Á � Ä ª ¡ ¢ ² ¹ ¡ ¤ ¥ £ ° µ ¶ ¶ � ¸ » ¡ �   ¤ ¢ ²± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ Ï ¸ � © �     � ² ¼ © « « ¥ �     ° µ ¶ ¶ Ï ¿ À Ð © ¥ � Ì ¡ ª ¨   � ° Î © ¥ £ © ¢ ¡ ¢ £ ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢® µ ¶ ¶ Ï ¿ � ¥ � ¡ « � £ ¡ � § � « � ª « ¬ ¡ « £ � £ � � « ¤ ­ �   § � © ª ¨ ¤   � � ¬ ¤ ¦ ¬ à   � ­ �   ¡ £ ­ ¤ � � ¤ ¢ « © � © ¢ � ¥ � « �¡ � « ¤ © ¢ � °  ¬ ¤ � ¬ ¡ ¥ � « ¬ � ¢ ¥ � Ò ¢ � £ � � ¤ ¢ ¦ ¦ � ¢ � « ¤ � ¡   ¦ © ¥ ¤ « ¬ ª � À

± � ­ � ¥ ¡   � ¬ ¡ ¥ ¡ � « � ¥ ¤ � « ¤ � � © � © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ « © ¨ ¥ © ­ ¤ £ ¤ ¢ ¦ ¡ £ ­ ¤ � � ¡ ¥ � ¨ ¡ ¥ « ¤ � �   ¡ ¥   § ¤ ¢ « � ¥ Ã� � « ¤ ¢ ¦ À Ñ ¢ � °  � ¡     ©  « ¬ � ¡ £ ­ ¤ � © ¥ « © ¨ ¥ © ­ ¤ £ � ¤ ¢ � « ¥ � � « ¤ © ¢ ¤ ¢ ¡ Ó � ¡ � ¤ à ¢ ¡ « � ¥ ¡     ¡ ¢ ¦ � ¡ ¦ �� � ¤ ¢ ¦ « � ¥ ª � ¡ Å © � « « ¬ � � ¨ � � ¤ Ò � « ¡ � ´ £ © ª ¡ ¤ ¢ ¸ « ¬ � ¡ £ ­ ¤ � © ¥ £ © � � ¢ © « ¬ ¡ ­ � « © Å � ¡  ¡ ¥ � © �« ¬ � ¤ ¢ « � ¥ ¢ ¡   ¥ � ¨ ¥ � � � ¢ « ¡ « ¤ © ¢ � ¡ ¢ £ ¡   ¦ © ¥ ¤ « ¬ ª � � � � £ Å § « ¬ �   � ¡ ¥ ¢ � ¥ ¤ ¢ © ¥ £ � ¥ « © ¨ ¥ © ­ ¤ £ �� � � � �   ¡ £ ­ ¤ � � À ½  © ° « ¬ � ¡ £ ­ ¤ � � ¢ � � £ ¢ © « Å � ¨ ¥ � � ¤ � �   § � ¨ � � ¤ Ò � £ ¸ ­ ¡ ¦ � � « � ¥ ª � � � � ¬¡ � Ô Å ¤ ¦ ° Õ Ô ¢ � ¡ ¥ ° Õ ¡ ¢ £ Ô ©   £ Õ ¡ ¥ � ¡ � � � ¨ « ¡ Å   � À ½ ¬ ¥ � � ° « ¬ �   � ¡ ¥ ¢ � ¥ £ © � � ¢ © « � ©     ©  « ¬ �¡ £ ­ ¤ � � Å   ¤ ¢ £   § ¸ ¥ ¡ « ¬ � ¥ ° « ¬ �   � ¡ ¥ ¢ � ¥ � � £ ¦ � � « ¬ � � � � � �   ¢ � � � © � « ¬ � ¡ £ ­ ¤ � � ¡ ¢ £ ¤ � � ¡ ¨ ¡ Å   �© � ¡   « � ¥ ¤ ¢ ¦ « ¬ � ¡ £ ­ ¤ � � Å ¡ � � £ © ¢ � � Å � � Ó � � ¢ « � Ì ¨ � ¥ ¤ � ¢ � � À

� ¢ ± � � « ¤ © ¢ º  � ¨ ¥ � � � ¢ « ¡ � ¥ ¡ ª �  © ¥ ´ � © ¥ � � ¤ ¢ ¦ ¡ £ ­ ¤ � �  ¤ « ¬ ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ � ¥ � °¡ ¢ £ ¤ ¢ ± � � « ¤ © ¢ �  � © � «   ¤ ¢ � ¡ ¢ ¤ ª ¨   � ª � ¢ « � £ � § � « � ª « ¬ ¡ « ¤ ¢ � « ¡ ¢ « ¤ ¡ « � � « ¬ ¤ � � ¥ ¡ ª �  © ¥ ´ À½ ¬ � � © � ¥ « ¬ � � � « ¤ © ¢ £ � � � ¥ ¤ Å � � � Ì ¨ � ¥ ¤ ª � ¢ « � « ¬ ¡ « ¤ ¢ ­ � � « ¤ ¦ ¡ « � « ¬ � ­ ¡   � � © � © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ÀÐ ¤ ¢ ¡     § °  � £ ¤ � � � � � ¨ © � � ¤ Å   � � Ì « � ¢ � ¤ © ¢ � « © © � ¥ ¥ � � � ¡ ¥ � ¬ ° ¥ �   ¡ « � © � ¥  © ¥ ´ « © © « ¬ � ¥¥ � � � ¡ ¥ � ¬ ° ¡ ¢ £ ¨ ¥ � � � ¢ « � © ª � � © ¢ �   � � ¤ © ¢ � À

� � � � � � � � � � � � ! � " � � # $ � � � � % � � � & ' � # � � (

� ¢ « ¬ ¤ � � � � « ¤ © ¢  � ¨ ¥ � � � ¢ « © � ¥ £ � � ¤ ¦ ¢ � © ¥ ¡ ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ® � ¹ ¿ ¡ £ ­ ¤ � � ë ¡ ´ � ¥ ° � ©     ©  ¤ ¢ ¦ « ¬ � Ò ­ � à � « � ¨ � ¥ ¡ ª �  © ¥ ´ � © ¥ ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ £ � ­ �   © ¨ � £ Å § Á ¡ § � � à � © « ¬ °)   ¡ ¬ ¥ ° ¡ ¢ £ » © � « ©  ® µ ¶ ¾ µ ¿ À � ¢ ± � � « ¤ © ¢ �  � ¨ ¥ � � � ¢ « � ¨ � � ¤ Ò � £ � « ¡ ¤   � © � © � ¥ ¤ ª ¨   � ê � ¢ « � £ � § � « � ª ° ¢ ¡ ª � £ * + , - . °  ¬ ¤ � ¬ � © ¢ � ¥ � « ¤ � � � « ¬ � £ � � ¤ ¦ ¢ £ � � � ¥ ¤ Å � £ Å �   ©  À

Page 3: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � % � � � � � % � � � � ½ © Å � ¦ ¤ ¢ « ¬ � ¨ ¥ © � � � � © � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ °¡ £ � � ¤ � ¤ © ¢ ª � � « Å � ª ¡ £ � « ¬ ¡ « ¡ £ ­ ¤ � � ¤ � ¢ � � £ � £ À Ñ � « � ¢ ° ¡ ¨ ¨ ¥ © ¡ � ¬ � � « © ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦� © � � � © ¢ ¬ ¡ ­ ¤ ¢ ¦ « ¬ �   � ¡ ¥ ¢ � ¥ ¡ � ´ � © ¥ ¡ £ ­ ¤ � �  ¬ � ¢ ¤ « ¢ � � £ � ¬ �   ¨ ® ¼   © � � � ² Í « ¦ © Ä °µ ¶ ¶ º ¸ ³ ¬ ¤ « � ¬ � ¡ £ ° µ ¶ ¶ µ ¿ À � ¡ « ¬ � ¥ « ¬ ¡ ¢ ¬ ¡ ­ ¤ ¢ ¦ « ¬ �   � ¡ ¥ ¢ � ¥ ¥ � Ó � � � « ¡ £ ­ ¤ � � °  � ¡     © « ¬ � � Ì « � ¥ ¢ ¡   © Å � � ¥ ­ � ¥ « © ¨ ¥ © ­ ¤ £ � ¡ £ ­ ¤ � �  ¬ � ¢ � ­ � ¥ « ¬ � © Å � � ¥ ­ � ¥ � � �   � ¤ « ¤ � ¡ ¨ ¨ ¥ © ¨ ¥ ¤ ¡ « � À½ ¬ � ¥ � ¡ ¥ � «  © ¥ � ¡ � © ¢ � « © ¡     ©  « ¬ � © Å � � ¥ ­ � ¥ « © £ � « � ¥ ª ¤ ¢ �  ¬ � ¢ ¡ £ ­ ¤ � � ¤ � ¢ � � £ � £ Ö® ¤ ¿ ¤ « ¨   ¡ � � �   � � � © � ¡ Å � ¥ £ � ¢ © ¢ « ¬ � © Å � � ¥ ­ � ¥ ¸ ¡ ¢ £ ® ¤ ¤ ¿ ¤ « ¤ � ¡ ¢ © ¨ � ¢ Ó � � � « ¤ © ¢ ¬ ©  « ©� ¥ � ¡ « � « ¬ � Å � � « ª � � ¬ ¡ ¢ ¤ � ª � © ¥ ¬ ¡ ­ ¤ ¢ ¦ ¡ ¢ ¡ ¦ � ¢ « ¥ � � © ¦ ¢ ¤ � � ® ¡ ¢ £ � Ì ¨ ¥ � � � ¿ ¤ « � ¢ � � £ � © ¥¦ � ¢ � ¥ ¡   ¡ £ ­ ¤ � � À Ñ « ¬ � ¥ � ¹ ª � « ¬ © £ � ® ¼   © � � � ² Í « ¦ © Ä ° µ ¶ ¶ º ¸ ³ ¬ ¤ « � ¬ � ¡ £ ° µ ¶ ¶ µ ¿ � © � � �© ¢ ¬ ¡ ­ ¤ ¢ ¦ « ¬ � © Å � � ¥ ­ � ¥ ¨ ¥ © ­ ¤ £ � ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ ¡ Å © � « « ¬ � ¡ � « ¤ © ¢ « © « ¡ ´ � ¤ ¢ ¡ � ¨ � � ¤ Ò �� « ¡ « � À Á ©  � ­ � ¥ ° « ¬ ¤ � � ¡ ¢ ¥ � Ó � ¤ ¥ � ¡   © « © � ¤ ¢ « � ¥ ¡ � « ¤ © ¢ Å � «  � � ¢ « ¬ � ¬ � ª ¡ ¢ ¡ £ ­ ¤ � © ¥¡ ¢ £ � © ª ¨ � « � ¥   � ¡ ¥ ¢ � ¥ ° ¡ ¢ £ ¡   � © ª � ¡ ¢ � « ¬ ¡ « « ¬ �   � ¡ ¥ ¢ � ¥ ª � � « ¤ ¢ £ � � � « ¬ � ¦ � ¢ � ¥ ¡   ¤ « §© � « ¬ � ¡ £ ­ ¤ � � À

� � � � � � � � � % � � � � � � � % � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � Ñ ¢ � � « ¬ �© Å � � ¥ ­ � ¥ ¬ ¡ � � ¥ � ¡ « � £ ¡ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ° « ¬ � ¡ ¦ � ¢ « ª � � « « ¥ § « © � ¢ £ � ¥ � « ¡ ¢ £ « ¬ � ¡ £ ­ ¤ � � À� � � « © « ¬ � � © ª ¨   � Ì ¤ « ¤ � � © � ¢ ¡ « � ¥ ¡     ¡ ¢ ¦ � ¡ ¦ � ¨ ¥ © � � � � ¤ ¢ ¦ °  � ¥ � Ó � ¤ ¥ � « ¬ ¡ « « ¬ � � Ì « � ¥ ¢ ¡  © Å � � ¥ ­ � ¥ � Ì ¨ ¥ � � � ¤ « � ¡ £ ­ ¤ � � � � ¤ ¢ ¦ ¡ � ¤ ª ¨   � ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ¡ ¢ £ ¡   ¤ � « © �« ¡ � ´ à � ¨ � � ¤ Ò � « � ¥ ª � À ³ � « ¬ � ¢ ¨ ¡ ¥ � � « ¬ � ¡ £ ­ ¤ � � ° � � ¤ ¢ ¦ « ¥ ¡ £ ¤ « ¤ © ¢ ¡   ª � « ¬ © £ � � ¥ © ª « ¬ �¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦ à   ¡ ¢ ¦ � ¡ ¦ � �   ¤ « � ¥ ¡ « � ¥ � ® ¹ � ­ ¤ ¢ � ° » ¡ � © ¢ ° ² ¯ ¥ ©  ¢ ° µ ¶ ¶ º ¿ À

½ ¡ Å   � µ � ¬ ©  � � © ª � � ¡ ª ¨   � ¡ £ ­ ¤ � � « ¬ ¡ « « ¬ � © Å � � ¥ ­ � ¥ � © �   £ ¨ ¥ © ­ ¤ £ � « © ¡ ¢ ¡ ¦ � ¢ «  � ¡ ¥ ¢ ¤ ¢ ¦ « © ¨   ¡ § ¡ ­ ¤ £ � © ¦ ¡ ª � À ½ ¬ �   � � « � ©   � ª ¢ � © ¢ « ¡ ¤ ¢ � « ¬ � ¡ £ ­ ¤ � � ¡ � � Ì ¨ ¥ � � � � £ ¤ ¢© � ¥ ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ° « ¬ � � � ¢ « � ¥ � ©   � ª ¢ � ¬ ©  � « ¬ � ¡ £ ­ ¤ � � ¤ ¢ � ¢ ¦   ¤ � ¬ ° ¡ ¢ £ « ¬ �¥ ¤ ¦ ¬ « � ©   � ª ¢ ¤     � � « ¥ ¡ « � � « ¬ � ¡ £ ­ ¤ � � À ® � ¢ ± � � « ¤ © ¢ �  � � � � « ¬ � � � � ¡ ª ¨   � � « © ¤     � � « ¥ ¡ « �© � ¥ ¡   ¦ © ¥ ¤ « ¬ ª � © ¥ ¤ ¢ « � ¦ ¥ ¡ « ¤ ¢ ¦ ¡ £ ­ ¤ � � À ¿

� � � � � � � � � % � � � � � � � % � � � � � � � � � � � � � � $ � � ! � � � « � ¥ « ¬ � ¡ £ ­ ¤ � � ¬ ¡ � Å � � ¢¨ ¡ ¥ � � £ ° « ¬ � � § � « � ª « ¥ ¡ ¢ � � © ¥ ª � « ¬ � ¦ � ¢ � ¥ ¡   ¡ £ ­ ¤ � � ¤ ¢ « © « � ¥ ª � « ¬ ¡ « ¤ « � ¡ ¢ £ ¤ ¥ � � «   § � ¢ ã � ¥ � « ¡ ¢ £ À Í � ¤ ¢ ¦ « � � ¬ ¢ ¤ Ó � � � � ¥ © ª � � � � � Ë Ç � Ë Ê � � � É � Æ � É � � ® � ¤ � « « � ¥ ¤ � ¬ ° µ ¶ ¶ µ ¿ ° ¡   � ¡ ¥ ¢ � ¥� ¡ ¢ � © ¢ ­ � ¥ « ® Ô © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � Õ ¿ ¬ ¤ ¦ ¬ à   � ­ �   ¡ £ ­ ¤ � � ¤ ¢ « © ¡ ® � � � ¡     §   ¡ ¥ ¦ � ¥ ¿ � ©     � � « ¤ © ¢© � £ ¤ ¥ � � «   § ¤ ¢ « � ¥ ¨ ¥ � « ¡ Å   � � « ¡ « � ª � ¢ « � ® Î © ¥ £ © ¢ ² ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ ° µ ¶ ¶ Ï ¸ ) ¡ �   Å   ¤ ¢ ¦ ²� © � � ¢ � � ¬ � ¤ ¢ ° µ ¶ ¶ · ¸ � ¤   � � © ¢ ° µ ¶ ¶ Ï ¿ À ³ � © ¢   § ¡ £ £ ¥ � � � ¡   ¤ ª ¤ « � £ � © ¥ ª © � © ¨ � ¥ ¡ « ¤ © ¢ ¡   ä � ¡ « ¤ © ¢ ° ¢ ¡ ª �   § « ¬ � � © ¢ � ¥ � « ¤ � ¡ « ¤ © ¢ © � ¤ ª ¨ ¥ � � ¤ � � « � ¥ ª � � � � ¬ ¡ � Ô ¢ � ¡ ¥ Õ ¡ ¢ £ Ô ª ¡ ¢ § À Õ½ � ¥ ª � � � � ¬ ¡ � « ¬ � � � ¡     ©  « ¬ � ¡ £ ­ ¤ � � à ¦ ¤ ­ � ¥ « © ¨ ¥ © ­ ¤ £ � ¢ ¡ « � ¥ ¡   ° § � « ¨ ¡ ¥ « ¤ ¡     § ­ ¡ ¦ � � °¤ ¢ � « ¥ � � « ¤ © ¢ � ° ¡ ¢ £ �   ¤ ª ¤ ¢ ¡ « � « ¬ � ¢ � � £ � © ¥ « ¬ � ¡ £ ­ ¤ � © ¥ « © � �     § � ¢ £ � ¥ � « ¡ ¢ £ « ¬ �   � ¡ ¥ ¢ � ¥ � �� � ¢ � © ¥ � À

� � � � � � � � � � ( � � � � � � � � $ � � ! � � � � � � � � % � � � � � � � � � � ( � � � � � # � � " � � � ( �� � � � � � ¢ « ¬ ¤ �  © ¥ ´  � � ª ¨   © § ¡ � © ¢ ¢ � � « ¤ © ¢ ¤ � « ¡ ¨ ¨ ¥ © ¡ � ¬ « © � ¹ ® � ¢ £ � ¥ � © ¢ ° µ ¶ ¾ � ¸¯ ¡ ¥ « © ° ± � « « © ¢ ° ² � ¢ £ � ¥ � © ¢ ° µ ¶ ¾ � ¸ ¹ ¤ ¢ ° µ ¶ ¶ º ¿ À Á � ¢ � � ° « © ¤ ¢ � © ¥ ¨ © ¥ ¡ « � « ¬ � © Å � � ¥ ­ � ¥ � �¡ £ ­ ¤ � � ° « ¬ � ¡ ¦ � ¢ « � � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ ª � � « Å � � ¨ £ ¡ « � £ À ³ � � � � ¤ £ � ¡ � � ¥ © ª � � � � � Ë Ç � Ë ! Æ " Ë Ç � Ë # $ Æ � � Ë � � � $ � " ® Ð � ° µ ¶ ¾ ¶ ¸ Ñ ª   ¤ ¢ ² Î ¤   � � ° µ ¶ ¶ º ¸ ± ¬ ¡ ­   ¤ ´ ² ½ ©  �     ° µ ¶ ¾ ¶ ¿« © £ ¤ ¥ � � «   § ¤ ¢ � « ¡     « ¬ � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ � ¡ ¦ � ¢ « À � ¢ © ¢ � ¡ ¨ ¨ ¥ © ¡ � ¬ « © ´ ¢ ©    � £ ¦ � à Š¡ � � £¢ � � ¥ ¡   ¢ � «  © ¥ ´ � ° % & + ' ' ® ½ ©  �     ° ± ¬ ¡ ­   ¤ ´ ° ² � © © ¥ £ �  ¤ � ¥ ° µ ¶ ¶ · ¸ ½ ©  �     ² ± ¬ ¡ ­   ¤ ´ °µ ¶ ¶ Ï ¿ ° ¡ � � « © � ¨ ¥ © ¨ © � ¤ « ¤ © ¢ ¡   ¥ �   � � ¤ � ¥ � à ¥ � ¨ ¥ � � � ¢ « � £ ¡ � ¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ À ( & + ' '� © ¢ ­ � ¥ « � ¡ ¥ �   � � � « ¤ ¢ « © ¡ ¢ � «  © ¥ ´ Å § ª ¡ ¨ ¨ ¤ ¢ ¦ « ¬ � Ô « ¡ ¥ ¦ � « � © ¢ � � ¨ « � Õ © � « ¬ � ¥ �   � � � « « ©© � « ¨ � « � ¢ ¤ « � ¡ ¢ £ � ¥ � ¡ « ¤ ¢ ¦ ¬ ¤ £ £ � ¢ � ¢ ¤ « � « ¬ ¡ « ¥ � ¨ ¥ � � � ¢ « « ¬ � ¤ ¢ « � ¥ ª � £ ¤ ¡ « � � © ¢ �   � � ¤ © ¢ �

Page 4: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� h � � V e ^ � � � } � � � ! $ � � N � � � � � ! � � � � N � � � � � � � � � � � � $ " � ! � � � � � #� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � �� � ! � � � � � � � � � � � � � � � � �

" # $ %& ' ( " � ) * " � + %

, � � � � �, � � � � � � �

$ % -$ % - .

/ 0 � � � � � � � � � � � � �1 � � � � � � � � ! � � � � � � � � � � � � � � � � � 2 � � � ! � � � � � � � ! � � � � 3

4 # $ % 5 6 � � � 6 � � � � 7 � � � 6 � � � � � �� � � � � � � � � �

8 $ 9 $ ) "& ' ( " � ) * " � + %

� 6 � � � � �, � � � � �

$ % -' % " � ( : 7 � � � 6 � � � � � ;

: 5 6 � � � 6 � � �$ % - .

� � � � � � � � � � � � 6 � <� � 6 � � � 2 = 6 � � � � � � � �� � = � � � � ! 2 � � � � � � < � � � � � � � 2 � � � > == 6 � � � � � � � � � � � � � � � ! � � � � � 6 � � 0 � � 1 � � �� � � � � � � � � � � � 6 � � � � � � � � � � � � � � � � � � � � = 6 � � � � � � � � � � � �� � � � � � � 6 � � � 6 � � � 3

� � � � � � � � � � � � � � � � � �" # $ %

- + % + " , � � � � �$ % - .

? � � � � � � � � � 1 � � � �� � � ! � � � � 3

® � © ¥ £ � « ¡ ¤   � ° � � � ± � � « ¤ © ¢ � ¿ À ³ � � Ì « � ¢ £ « ¬ � % & + ' ' ª � « ¬ © £ « © ¡ � � © ª ª © £ ¡ « � © � ¥¡ £ ­ ¤ � � à ¦ ¤ ­ ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � À

Ð ¤ ¦ � ¥ � º ¤     � � « ¥ ¡ « � � © � ¥ Å ¡ � ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬ � © ¥ ¡ £ £ ¤ ¢ ¦ ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «  � ¡ ¥ ¢ � ¥ � � ¡ � « ¤ © ¢ à � ¬ © © � ¤ ¢ ¦ ¢ � «  © ¥ ´ À ½ ¬ ¤ � ¢ � «  © ¥ ´ � © ª ¨ � « � � ¡ � � ¢ � « ¤ © ¢ � ¥ © ª � � ¢ � ¡ ë ¤ © ¢ � « © « ¬ � � « ¤   ¤ « § © � ¡ � « ¤ © ¢ � À � ¢ � © ¥ ¨ © ¥ ¡ « ¤ ¢ ¦ ¡ £ ­ ¤ � � ¤ ¢ ­ ©   ­ � � ¡ £ £ ¤ ¢ ¦ « © « ¬ � � Ì ¤ � « ¤ ¢ ¦¢ � � ¥ ¡   ¢ � «  © ¥ ´ ¢ �  ¬ ¤ £ £ � ¢ � ¢ ¤ « � « ¬ ¡ « ¥ � ¨ ¥ � � � ¢ « « ¬ � ¡ £ ­ ¤ � � À

� � � � @ � A � � ( � � � % � � � � � $ � � � � % � � � � ½ ¬ � Ò ¢ ¡   � « � ¨ © � « ¬ � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦¨ ¥ © � � � � ¤ � « © � ­ ¡   � ¡ « � « ¬ � ¡ £ ­ ¤ � � À ³ � ­ ¤ �  « ¬ ¤ � ¨ ¥ © � � � � � ¥ © ª «  © ¨ � ¥ � ¨ � � « ¤ ­ � � Ö® ¤ ¿ « ¬ �   � ¡ ¥ ¢ � ¥ � � °  ¬ © ª � � « £ � � ¤ £ � ¤ � « ¬ � ¡ £ ­ ¤ � � ¤ � � � � � �   ¸ ¡ ¢ £ ® ¤ ¤ ¿ « ¬ � ¡ £ ­ ¤ � © ¥ � � °  ¬ ©ª � � « £ � � ¤ £ � ¤ � « ¬ � ¡ £ ­ ¤ � � ¬ ¡ £ « ¬ � £ � � ¤ ¥ � £ � Ä � � « © ¢ « ¬ � Å � ¬ ¡ ­ ¤ © ¥ © � « ¬ �   � ¡ ¥ ¢ � ¥ À Ñ � ¥  � ¡ ¥ ¢ � ¥ � ­ ¡   � ¡ « � � ¡ £ ­ ¤ � � Å § � © ¢ « ¤ ¢ � � £ © ¨ � ¥ ¡ « ¤ © ¢ ¤ ¢ ¤ « � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « ¸ « ¬ � � � � £ Å ¡ � ´¨ ¥ © ­ ¤ £ � £ Å § « ¬ � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « © Ä � ¥ � ¡ � ¥ � £ � ª � ¡ � � ¥ � © � « ¬ � ¡ £ ­ ¤ � � � � Ó � ¡   ¤ « § À ® Ñ ¢ �� ¡ ¢ ¡   � © � ¢ ­ ¤ � ¤ © ¢ « ¬ ¡ « ¤ ¢ � © ª � � ¤ ¥ � � ª � « ¡ ¢ � � � B � � � ¬ ¡ � ¡ ¦ ¡ ª � à   � ¡ ¥ ¢ � ¥ « ¬ ¡ « � ¡ ¢

Page 5: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

Actions

Sensor Inputs

Hidden Units

Current Hidden Units

for AdviceHidden Units

� Z � T W V f ^ � � � � � � � N � � � " ! " � � � � � � � " � � � � � � � � � � " � ! � O � � � � � � " � � � � � � � � � � � � � � " � " � � "� � } � � � � � " " � � � � N � � � # % � � " � � � O � � � O � ! � " � � � � � " � � } " � � � " � � � � � � � " � � � ! $ " � � � � N � � � # % � �� � � � � " � � � � � � O � � � � " � � � � � � � N � � � � � � � � � ! � � � � " � � � � � � � � � � � � � � � " � � � O } � ! } � � " � ! � " � � � � � � " � �� � � � " � � � ! $ " � � � � � � � � " � � � � � � � � � " � � � � � � � � � � � � " � � ! � � � � � � � � N � � � # � � " � � � � � � � � � � � � � } � �� } } � � � � � � � � " � ! � � #

ParserLanguage

InterfaceAdvice

MapperRule−to−Network

Advice ReformulatedAdvice

Observer Agent

Behavior

Environment

Action

Operationalizer

� Z � T W V m ^ � � " � � � � " � ! � ! $ " � � ! � � � � N � � � � � " � � � ! � � � � N � � � � " � O � � � � � " � � # % � � } � ! � � � � � � � � � � � � �" � � ! � � � � N � � � � " � � � � " � � � � � " � � � � � � N � ! � " ! � � " � � � � � � � � � " � � N � � � " ! � N � " � � � � N � � � � " � O � � � � � " � � } � ! � � � � � � " � � � � N � � � � � � � � � � � " � � " � � " ! " � � � � � " � � � � � � � � � � � " � � � � � " � � � � � � N � ! � " � � � } ! � � � � � � � � � � � � " � � ! � � � � N � � " ! } � ! N � � � � ! � � � � N � � � # % � � � � � " ! } � � � " � � � � � � ! � � � � � �� � � � � � � � � � " � � � � � ! " } � � � � � " � � � � " � � � N � � � #

¨   ¡ § ¡ ¦ ¡ ¤ ¢ � « ¤ « � �   � ® ½ � � ¡ � ¥ © ° µ ¶ ¶ º ¿ © ¥  ¬ � ¢ ¡ ¢ ¡ ¦ � ¢ « Å � ¤   £ � ¡ ¢ ¤ ¢ « � ¥ ¢ ¡    © ¥   £ ª © £ �  ® ± � « « © ¢ ° µ ¶ ¶ µ ¿ B ¤ «  © �   £ Å � ¨ © � � ¤ Å   � « © Ó � ¤ � ´   § � � « ¤ ª ¡ « �  ¬ � « ¬ � ¥ « ¬ � ¡ £ ­ ¤ � � ¤ ª è ¥ © ­ � � ¨ � ¥ � © ¥ ª ¡ ¢ � � À ¿ ½ ¬ � ¡ £ ­ ¤ � © ¥ � � £ ¦ � � « ¬ � ­ ¡   � � © � ¬ ¤ � © ¥ ¬ � ¥ ¡ £ ­ ¤ � � � ¤ ª ¤   ¡ ¥   §® ¤ À � À ° Å §  ¡ « � ¬ ¤ ¢ ¦ « ¬ �   � ¡ ¥ ¢ � ¥ � � ¨ © � « à ¡ £ ­ ¤ � � Å � ¬ ¡ ­ ¤ © ¥ ¿ À ½ ¬ ¤ � ª ¡ §   � ¡ £ « © « ¬ � ¡ £ ­ ¤ � © ¥¦ ¤ ­ ¤ ¢ ¦ � � ¥ « ¬ � ¥ ¡ £ ­ ¤ � � B « ¬ � ¥ � Å § ¥ � � « ¡ ¥ « ¤ ¢ ¦ « ¬ � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ ¨ ¥ © � � � � À

� � ' � � ' � � � � � � � !

Ð ¤ ¦ � ¥ � � � � ª ª ¡ ¥ ¤ � � � « ¬ � ¡ ¨ ¨ ¥ © ¡ � ¬  � £ ¤ � � � � � � £ ¤ ¢ « ¬ � ¨ ¥ � ­ ¤ © � � � � � « ¤ © ¢ À ³ � ¤ ª è   � ª � ¢ « � £ « ¬ � * + , - . ® � ¤ ¢ � © ¥ � � ª � ¢ « ¡ ¢ £ � £ ­ ¤ � � à ' ¡ ´ ¤ ¢ ¦ � � ¡ ¥ ¢ ¤ ¢ ¦ � ¢ ­ ¤ ¥ © ¢ ª � ¢ « ¿

Page 6: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� § � « � ª ¡ � ¡ ª � � ¬ ¡ ¢ ¤ � ª � © ¥ � ­ ¡   � ¡ « ¤ ¢ ¦ « ¬ ¤ � � ¥ ¡ ª �  © ¥ ´ À � ¢ © ¥ £ � ¥ « © � Ì ¨   ¡ ¤ ¢ * + , - . °Â � Ò ¥ � « ¥ � ­ ¤ �  � © ¢ ¢ � � « ¤ © ¢ ¤ � « � à   � ¡ ¥ ¢ ¤ ¢ ¦ ® ± � « « © ¢ ° µ ¶ ¾ ¾ ¸ ³ ¡ « ´ ¤ ¢ � ° µ ¶ ¾ ¶ ¿ ° « ¬ � � © ¥ ª © �¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ « ¬ ¡ «  � � � � ¤ ¢ © � ¥ ¤ ª ¨   � ª � ¢ « ¡ « ¤ © ¢ ° ¡ ¢ £ « ¬ � ¢ % & + ' ' ® ½ ©  �    ² ± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ Ï ¿ ° ¡ « � � ¬ ¢ ¤ Ó � � � © ¥ ¤ ¢ � © ¥ ¨ © ¥ ¡ « ¤ ¢ ¦ ´ ¢ ©    � £ ¦ � ¤ ¢ « ¬ � � © ¥ ª © � ¥ �   � � ¤ ¢ « ©¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ À ³ � « ¬ � ¢ £ ¤ � � � � � © � ¥ � Ì « � ¢ � ¤ © ¢ � « © « ¬ � � � « � � ¬ ¢ ¤ Ó � � � Å § � ¬ ©  ¤ ¢ ¦¬ ©   � ¤ ª ¨   � ª � ¢ « � ¡ � ¬ © � « ¬ � Ò ­ � � « � ¨ � £ � � � ¥ ¤ Å � £ ¤ ¢ « ¬ � ¨ ¥ � ­ ¤ © � � � � � « ¤ © ¢ À

� Æ Ê � � $ � # � Ç � � � � � Ë Ê � É � � É " � � � Ë Æ $ � É � �

� ¢ � « ¡ ¢ £ ¡ ¥ £ � ¹ ° « ¬ �   � ¡ ¥ ¢ � ¥ � � ¢ � � � « ¬ � � � ¥ ¥ � ¢ «  © ¥   £ � « ¡ « � ° � ¬ © © � � � ¡ ¢ ¡ � « ¤ © ¢ « © � Ì � Ã� � « � ° ¡ ¢ £ © � � ¡ � ¤ © ¢ ¡     § ¥ � � � ¤ ­ � � ¥ �  ¡ ¥ £ � ¡ ¢ £ ¨ � ¢ ¤ � ¬ ª � ¢ « � À ¯ ¡ � � £ © ¢ « ¬ � � � ¥ � ¤ ¢ � © ¥ � � ê � ¢ « � � ¥ © ª « ¬ � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « ° « ¬ � « ¡ � ´ © � « ¬ �   � ¡ ¥ ¢ � ¥ ¤ � « © ¤ ª ¨ ¥ © ­ � ¤ « � ¡ � « ¤ © ¢ à � ¬ © © � ¤ ¢ ¦ª © £ �   � � � � ¬ « ¬ ¡ « ¤ « ¤ ¢ � ¥ � ¡ � � � « ¬ � « © « ¡   ¡ ª © � ¢ « © � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « ¤ « ¥ � � � ¤ ­ � � À � ¢ © � ¥¡ � ¦ ª � ¢ « ¡ « ¤ © ¢ ° ¡ ¢ © Å � � ¥ ­ � ¥  ¡ « � ¬ � � « ¬ �   � ¡ ¥ ¢ � ¥ ¡ ¢ £ ¨ � ¥ ¤ © £ ¤ � ¡     § ¨ ¥ © ­ ¤ £ � � ¡ £ ­ ¤ � � °Â ¬ ¤ � ¬ * + , - . ¤ ¢ � © ¥ ¨ © ¥ ¡ « � � ¤ ¢ « © « ¬ � ¡ � « ¤ © ¢ à � ¬ © © � ¤ ¢ ¦ ª © £ �   � © � « ¬ � � ¹ ¡ ¦ � ¢ « À

� ¢ � à   � ¡ ¥ ¢ ¤ ¢ ¦ ® ³ ¡ « ´ ¤ ¢ � ° µ ¶ ¾ ¶ ¿ « ¬ � ¡ � « ¤ © ¢ à � ¬ © © � ¤ ¢ ¦ ª © £ �   � � � � � ¡ # � É � É � � � # � Ê � É � �« ¬ ¡ « ª ¡ ¨ � � « ¡ « � � ¡ ¢ £ ¡ � « ¤ © ¢ � « © ¡ ¢ � ª � ¥ ¤ � ­ ¡   � � ® « ¬ � � « ¤   ¤ « § ¿ À ½ ¬ � � « ¤   ¤ « § ­ ¡   � � © �¡ ¨ ¡ ¥ « ¤ � �   ¡ ¥ � « ¡ « � ¡ ¢ £ ¡ � « ¤ © ¢ ¤ � « ¬ � ¨ ¥ � £ ¤ � « � £ � � « � ¥ � ® £ ¤ � � © � ¢ « � £ ¿ ¥ �  ¡ ¥ £ « ¬ ¡ «  ¤    Å � ¡ � ¬ ¤ � ­ � £ ¤ � « ¬ ¡ « ¡ � « ¤ © ¢ ¤ � « ¡ ´ � ¢ Å § « ¬ � ¡ ¦ � ¢ « ¤ ¢ « ¬ ¡ « � « ¡ « � ¡ ¢ £ « ¬ � ¡ ¦ � ¢ « ¡ � « �© ¨ « ¤ ª ¡     § ¡ � « � ¥  ¡ ¥ £ � À � « ¤ � � ¡ � § « © � � � « ¬ ¡ « ¦ ¤ ­ � ¢ ¡ ¨ � ¥ � � � « ­ � ¥ � ¤ © ¢ © � « ¬ ¤ � � � ¢ � « ¤ © ¢ °« ¬ � © ¨ « ¤ ª ¡   ¨   ¡ ¢ ¤ � « © � ¤ ª ¨   § � ¬ © © � � ° ¤ ¢ � ¡ � ¬ � « ¡ « � « ¬ ¡ « ¤ � ¥ � ¡ � ¬ � £ ° « ¬ � ¡ � « ¤ © ¢  ¤ « ¬« ¬ �   ¡ ¥ ¦ � � « � « ¤   ¤ « § À

½ ©   � ¡ ¥ ¢ ¡ � « ¤   ¤ « § � � ¢ � « ¤ © ¢ ° ¡ � à   � ¡ ¥ ¢ � ¥ « § ¨ ¤ � ¡     § � « ¡ ¥ « � © � «  ¤ « ¬ ¡ ¥ ¡ ¢ £ © ª   § � ¬ © � � ¢� « ¤   ¤ « § � � ¢ � « ¤ © ¢ ¡ ¢ £ � « © � ¬ ¡ � « ¤ � ¡     § � Ì ¨   © ¥ � � ¤ « � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « À � � « ¬ � ¡ ¦ � ¢ « � Ì ¨   © ¥ � � °¤ « � © ¢ « ¤ ¢ � ¡     § ª ¡ ´ � � ¨ ¥ � £ ¤ � « ¤ © ¢ � ¡ Å © � « « ¬ � ¥ �  ¡ ¥ £ ¤ « � Ì ¨ � � « � ¡ ¢ £ « ¬ � ¢ � ¨ £ ¡ « � � ¤ « �� « ¤   ¤ « § � � ¢ � « ¤ © ¢ Å § � © ª ¨ ¡ ¥ ¤ ¢ ¦ « ¬ � ¥ �  ¡ ¥ £ ¤ « ¡ � « � ¡     § ¥ � � � ¤ ­ � � « © ¤ « � ¨ ¥ � £ ¤ � « ¤ © ¢ À � ¢Ê � � � Ë Ê � É � � É " � � à   � ¡ ¥ ¢ ¤ ¢ ¦ ° « ¬ � � « ¤   ¤ « § � � ¢ � « ¤ © ¢ ¤ � ¤ ª ¨   � ª � ¢ « � £ ¡ � ¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ °Â ¬ © � � ¤ ¢ ¨ � « � £ � � � ¥ ¤ Å � « ¬ � � � ¥ ¥ � ¢ « � « ¡ « � ¡ ¢ £  ¬ © � � © � « ¨ � « � ¡ ¥ � « ¬ � � « ¤   ¤ « § © � � ¡ � ¬¡ � « ¤ © ¢ À

½ ¬ � ª ¡ ¤ ¢ £ ¤ Ä � ¥ � ¢ � � Å � «  � � ¢ © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ¡ ¢ £ � « ¡ ¢ £ ¡ ¥ £ � © ¢ ¢ � � « ¤ © ¢ ¤ � « � à   � ¡ ¥ ¢ ¤ ¢ ¦¤ � « ¬ ¡ « © � ¥ ¡ ¦ � ¢ « � © ¢ « ¤ ¢ � ¡     § � ¬ � � ´ � � © ¥ ¨ � ¢ £ ¤ ¢ ¦ ¡ £ ­ ¤ � � ° ¡ ¢ £ ¤ � � © ° ¤ ¢ � © ¥ ¨ © ¥ ¡ « � � « ¬ ¡ «¡ £ ­ ¤ � � ¤ ¢ « © ¤ « � � « ¤   ¤ « § � � ¢ � « ¤ © ¢ À ½ ¡ Å   � º � ¬ ©  � « ¬ � ª ¡ ¤ ¢   © © ¨ © � ¡ ¢ ¡ ¦ � ¢ « � ª ¨   © § ¤ ¢ ¦� © ¢ ¢ � � « ¤ © ¢ ¤ � « � à   � ¡ ¥ ¢ ¤ ¢ ¦ ° ¡ � ¦ ª � ¢ « � £ ® ¤ ¢ ¤ « ¡   ¤ � � ¿ Å § © � ¥ ¨ ¥ © � � � � � © ¥ � � ¤ ¢ ¦ ¡ £ ­ ¤ � � À½ ¬ � ¥ � � �   « ¤ ¢ ¦ � © ª ¨ © � ¤ « � � § � « � ª  � ¥ � � � ¥ « © ¡ � * + , - . À

� Æ Ê � � $ � # � Ç � � � � � Ë Ç � Ë � Æ " Ë Ç Ë # $ Æ � Ë � � � $ � "

� ¢ © ¥ £ � ¥ � © ¥ � � « © ª ¡ ´ � � � � © � « ¬ � ¡ £ ­ ¤ � � ¨ ¥ © ­ ¤ £ � £ Å § « ¬ � © Å � � ¥ ­ � ¥ °  � ª � � « ¤ ¢ � © ¥ è © ¥ ¡ « � « ¬ ¤ � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ � ¡ ¦ � ¢ « � � ¢ � � ¥ ¡   à ¢ � «  © ¥ ´ � « ¤   ¤ « § � � ¢ � « ¤ © ¢ À ½ © £ © � © °  �� Ì « � ¢ £ « ¬ � % & + ' ' ¡   ¦ © ¥ ¤ « ¬ ª ® ½ ©  �     ² ± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ Ï ¿ À ( & + ' ' ¤ � ¡ ª � « ¬ © £ � © ¥¤ ¢ � © ¥ ¨ © ¥ ¡ « ¤ ¢ ¦ ´ ¢ ©    � £ ¦ � ° ¤ ¢ « ¬ � � © ¥ ª © � � ¤ ª ¨   � ¨ ¥ © ¨ © � ¤ « ¤ © ¢ ¡   ¥ �   � � ° ¤ ¢ « © ¡ ¢ � � ¥ ¡  ¢ � «  © ¥ ´ À � ¢ ¡ % & + ' ' ¢ � «  © ¥ ´ ° « ¬ � � ¢ ¤ « � © � « ¬ � ¢ � «  © ¥ ´ ¥ � ¨ ¥ � � � ¢ « ¯ © ©   � ¡ ¢ � © ¢ � � ¨ « � À� � © ¢ � � ¨ « ¤ � ¡ � � � ª � £ « © Å � « ¥ � � ¤ � « ¬ � � ¢ ¤ « ¥ � ¨ ¥ � � � ¢ « ¤ ¢ ¦ « ¬ � � © ¢ � � ¨ « ¤ � ¬ ¤ ¦ ¬   § ¡ � Ã

Page 7: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� h � � V f ^ � " � } � ! $ " � � � � � � � � � ! � � " � � # � � � � � � � " � ! � � " ! " � � � " � � � � � � � ! � � � � " � ! � � � " � � � � � � � � � � ! ! } � � � � " � } � � � � " � � � � � � ! � " � � � � � � ! � } ! � � " � � � N � � � � � � � � � ! � � � � � " � � � � � � # � � $ ! � � ! � � � � � � � � � � �� � " � ! � � � � � " � � $ ! � � � " � ! � � � � � � " � ! � � � � � � $ � � � " � ! � � } � � " � � � � " � } � � � � � � � # � � � � � � " � � � " � � " � � } � � $ ! � � � � � � ! $ � � � " � ! � O � � " � � " � � � � " � � � � " � ! � � � " � " � � � � � � � " � " � � � " � � � � � ! � � � � � � " � } �� � � � ! � } � � " � � � � � ! � � � � � " � } � #

� � � � � , � � � � � = � � � � � � � � � � � � � � �

� 3 � � � � � � � � � 3� 3 5 � � � � � � � � � � � � � � � � � � � � � � � � 2 1 � � � � = � � ! � ! � <

� � � � 0 � � � � � � � � � � � � � � � � = � � = � � � � � � � � � � � � � � 0� � � = � � � � � � 6 � � � � � � � 3 3 2 � � � � 6 � � � � � � � 6 � 3 � � � � �� � = � � � � � � 6 � � � � � � 0 � � � � � � � � � � � � 3

� 3 � � 0 � � � � � � � � � � � � � 3� 3 , � � 6 � � � � 0 � � � � � � 2 � 0 � � � 3� 3 � = � � � 6 � � � � � 0 6 � � � � � � 6 � � � � 6 � � � � � � � � 2 � �

� 6 � � � � � < 0 6 � � � � � � 2 � � � � � � � � 6 � � � � 0 � � � � � � � �� ! � � � � � � 1 � � � � � � � 0 � � ! = � � � 6 � � � � � . 6 � � � � � " � � � ! � 1 � � � � 1 � � � � � � � 0 6 � � � � � � � �� � = � � � � 6 � � � � � � � � � � � � � � � � � � � � � � = � � = � � � � � � � � 6 � � � � � 6 � � � � 1 � � > 3

# 3 � � � � � � � � � � � $ % � & ' � ( � ) ) � � � � � � � � � � � � � � � 3* 3 + � � � � 3

# � 3 , � � ' � � � � � � -# ! 3 . � � � � � � � � � ) � / � � � 0 & 1 / / 0

� � � 2 ' -# � 3 3 � � � ' ) � � � � � � � � � � � � � � � 4

5 � � 6 � 2 � � � � � � ' -# � 3 � � ' � � � � � � � ' ) � � � � � � � � � � � 4

� � � ) 0 � � � � 7 8 � $ � � � 9'� � 1 � � ) 4 � � � 5 � � 6 : � ' � � 1 � � ) 4� � 0 & 1 � � � � � -

# 3 7 � � 1 � � -

« ¤ ­ � ® ¢ � ¡ ¥ µ ¿ ¡ ¢ £ � ¡   � � ¤ � « ¬ � � ¢ ¤ « ¤ � ¤ ¢ ¡ � « ¤ ­ � ® ¢ � ¡ ¥ · ¿ À ½ © ¥ � ¨ ¥ � � � ¢ « « ¬ � ª � ¡ ¢ ¤ ¢ ¦© � ¡ � � « © � ¥ �   � � ° % & + ' ' � © ¢ ¢ � � « � � ¢ ¤ « �  ¤ « ¬ ¬ ¤ ¦ ¬   §  � ¤ ¦ ¬ « � £   ¤ ¢ ´ � ¡ ¢ £ � � « � � ¢ ¤ «Å ¤ ¡ � � � ® « ¬ ¥ � � ¬ ©   £ � ¿ ¤ ¢ � � � ¬ ¡ ª ¡ ¢ ¢ � ¥ « ¬ ¡ « « ¬ � ® ¢ © ¢ à ¤ ¢ ¨ � « ¿ � ¢ ¤ « � � ª �   ¡ « � + ' ; © ¥ < *¦ ¡ « � � ° ¡ � ¡ ¨ ¨ ¥ © ¨ ¥ ¤ ¡ « � À Ð ¤ ¦ � ¥ � Ï � ¬ ©  � ¡ ¢ � Ì ¡ ª ¨   � © � « ¬ ¤ � ¨ ¥ © � � � � � © ¥ ¡ � � « © � � ¤ ª ¨   �¨ ¥ © ¨ © � ¤ « ¤ © ¢ ¡   ¥ �   � � À

� ¢ * + , - . °  � � � � ¡ ¢ ¤ ª ¨ � ¥ ¡ « ¤ ­ � ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ° ¤ ¢ � « � ¡ £ © � ¨ ¥ © ¨ © � ¤ « ¤ © ¢ ¡  ¥ �   � � ° « © � ¨ � � ¤ � § ¡ £ ­ ¤ � � À � ¢ © ¥ £ � ¥ « © ª ¡ ¨ « ¬ ¤ � ª © ¥ � � © ª ¨   � Ì   ¡ ¢ ¦ � ¡ ¦ � °  � ª ¡ ´ � � � �© � ¬ ¤ £ £ � ¢ � ¢ ¤ « � « ¬ ¡ « ¥ � � © ¥ £ � « ¡ « � ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ À ½ ¬ � � � � ¢ ¤ « � ¡ ¥ � ¥ � � � ¥ ¥ � ¢ « ¡ ¢ £ ¥ � � © ¥ £« ¬ � ¡ � « ¤ ­ ¡ « ¤ © ¢ © � ¡ ¬ ¤ £ £ � ¢ � ¢ ¤ « � ¥ © ª « ¬ � ¨ ¥ � ­ ¤ © � � ¡ � « ¤ ­ ¡ « ¤ © ¢ © � « ¬ � ¢ � «  © ¥ ´ ® ¤ À � À °« ¬ � § Ô ¥ � ª � ª Å � ¥ Õ « ¬ � ¨ ¥ � ­ ¤ © � � ¡ � « ¤ ­ ¡ « ¤ © ¢ ­ ¡   � � ¿ À ³ � £ ¤ � � � � � ¬ ©  « ¬ � � � � ¢ ¤ « � ¡ ¥ �� � � £ Å �   ©  À

= � � � Ë � Ë � � É � � � > Ë ? É È Ë @ � Ë � ? $ Æ � Ë � � $ �

� ¢ « ¬ � ¥ � ª ¡ ¤ ¢ £ � ¥ © � « ¬ ¤ � � � � « ¤ © ¢  � £ � � � ¥ ¤ Å � ¬ ©   � ¤ ª ¨   � ª � ¢ « � £ « ¬ � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦� « ¥ ¡ « � ¦ § ¨ ¥ � � � ¢ « � £ ¤ ¢ « ¬ �   ¡ � « � � � « ¤ © ¢ À ± � ­ � ¥ ¡    © ¥ ´ � £ � Ì ¡ ª ¨   � � ¡ ¥ � ¤ ¢ �   � £ � £ À

� � � � � � � � � � � � � � � � � % � � � � � % � � � � ½ © ¦ ¤ ­ � ¡ £ ­ ¤ � � ° « ¬ � © Å � � ¥ ­ � ¥ � ¤ ª ¨   §¤ ¢ « � ¥ ¥ � ¨ « � « ¬ � ¡ ¦ � ¢ « � � � Ì � � � « ¤ © ¢ ¡ ¢ £ « § ¨ � � ¬ ¤ � © ¥ ¬ � ¥ ¡ £ ­ ¤ � � À � £ ­ ¤ � � ª � � « Å � � Ì Ã¨ ¥ � � � � £ ¤ ¢ « ¬ �   ¡ ¢ ¦ � ¡ ¦ � £ � Ò ¢ � £ Å § « ¬ � ¦ ¥ ¡ ª ª ¡ ¥ ¤ ¢ � ¨ ¨ � ¢ £ ¤ Ì ¯ À

� � � � � � � � � % � � � � � � � % � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ³ � Å � ¤   «* + , - . � � ¡ £ ­ ¤ � � ¨ ¡ ¥ � � ¥ � � ¤ ¢ ¦ « ¬ � � « ¡ ¢ £ ¡ ¥ £ Í ¢ ¤ Ì � © ª ¨ ¤   � ¥ « © ©   � � Ë A ¡ ¢ £ � Æ Ê Ê ® ¹ � ­ ¤ ¢ �� « ¡   À ° µ ¶ ¶ º ¿ À

Page 8: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

a

b c

d e f g h

a

b c

d e f h

a

b c

d e f g hg

(i) (ii)

(iii) (iv)

b :− d, e.

b :− e, not f.

c :− f, g.

:− b, c.a

� Z � T W V � ^ � � � } � � ! $ " � � � � � � � � � ! � � " � � � � � � � } � ! } ! � � " � ! � � � � � � � � � " � � � � ! � ! � ! " � " � ! � � � � � � " � �� � � � � N � � � � � � � � � � � � � � � � � } � � � � � � � � � } � � � � � � � � � � � } � ! } ! � � " � ! � � � � � } � � � � � " � � � � � � � � " � � � " � �� � � " � � � � � � � ! � � � � � " ! � � } � � � � � " � � � � � � � " � N � � � � � � " � ! � � � # # � � � � " � � � � � � � � " � � � � � � � � � � � � �� � " � ! " � � " " � � � � � } � � � � � " � � � ! � � � � " � � � # " � � � � � � " � � � � � � � � � � � � " " ! � � �� � � � � � � � " � � � � � ! � � � " ! � � " � � � � � � ! $ � � � � � ! � � � � � � � � � N � � ! � � � � � � " � � � � � O � � � � � � � � � � � " � � � �� � � � � � � � � � � � � � $ ! � $ � " � � � � � � � � � � � � # # � � � � " � � � � � � " � � � � � � � � � � " ! � � � � � � � � � � � � � � � � ! � �! $ " � � � � � � � � " � � #

Ñ � ¥ ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ¬ ¡ � «  © ª ¡ ¤ ¢ ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦ � © ¢ � « ¥ � � « � Ö � � � , � . ' ¥ �   � �¡ ¢ £   © © ¨ � ® Å © « ¬ � � � - . ¡ ¢ £ * . � . + , ¿ À ½ ¬ �   © © ¨ � © ¢ � « ¥ � � « � ¡   � © ¬ ¡ ­ � © ¨ « ¤ © ¢ ¡   � © ¥ ª �« ¬ ¡ « ¡     ©  « ¬ � « � ¡ � ¬ � ¥ « © � ¨ � � ¤ � § ª © ¥ � � © ª ¨   � Ì   © © ¨ � ® � À ¦ À ° « ¬ � * . � . + , ª ¡ § ¬ ¡ ­ �¡ ¢ � ¢ « ¥ § � © ¢ £ ¤ « ¤ © ¢ ¿ À � ¡ � ¬ © � « ¬ � � � � © ¢ � « ¥ � � « � ª ¡ § � ¨ � � ¤ � § � ¤ « ¬ � ¥ ¡ � ¤ ¢ ¦   � ¡ � « ¤ © ¢ © ¥ °­ ¤ ¡ « ¬ � � � - , � + � , � < ' � © ¢ � « ¥ � � « ° ¡ Ô ¨   ¡ ¢ Õ � © ¢ « ¡ ¤ ¢ ¤ ¢ ¦ ¡ � � Ó � � ¢ � � © � ¡ � « ¤ © ¢ � À ½ ¬ �© Å � � ¥ ­ � ¥ ª ¡ § ¡   � © � ¨ � � ¤ � § « ¬ ¡ « ¡ ¢ ¡ � « ¤ © ¢ � ¬ © �   £ � � � Å � « ¡ ´ � ¢ ¡ � ¡ � © ¢ � � Ó � � ¢ « ® ¡ �© ¨ ¨ © � � £ « © � ¨ � � ¤ � § ¤ ¢ ¦ ¡ ¢ ¡ � « ¤ © ¢ « © « ¡ ´ � ¿ À � Ì ¡ ª ¨   � � © � ¡ £ ­ ¤ � � ¤ ¢ © � ¥   ¡ ¢ ¦ � ¡ ¦ � ¡ ¨ ¨ � ¡ ¥¤ ¢ ½ ¡ Å   � µ ¡ ¢ £ ¤ ¢ � ¨ ¨ � ¢ £ ¤ Ì � À

½ ¬ � � � � , � . ' � © ¢ � « ¥ � � « � ¡ � « � ¡     § � � ¥ ­ � «  © ¨ � ¥ ¨ © � � � À � ¢ � � � , � . ' � ¡ ¢ Å � � � � £ « ©� ¨ � � ¤ � § « ¬ ¡ « ¡ ¨ ¡ ¥ « ¤ � �   ¡ ¥ ¡ � « ¤ © ¢ � ¬ © �   £ Å � « ¡ ´ � ¢ ¤ ¢ ¡ ¨ ¡ ¥ « ¤ � �   ¡ ¥ � ¤ « � ¡ « ¤ © ¢ À � « � ¡ ¢¡   � © Å � � � � £ « © � ¥ � ¡ « � ¡ ¢ �  ¤ ¢ « � ¥ ª � £ ¤ ¡ « � « � ¥ ª ¸ ¤ ¢ « ¬ ¤ � � ¡ � � ° « ¬ � � © ¢ �   � � ¤ © ¢ © � « ¬ �� � � , � . ' ¥ �   � ¤ � ¢ © « ¡ ¢ ¡ � « ¤ © ¢ ° Å � « ¤ ¢ � « � ¡ £ ¤ � « ¬ � ´ � §  © ¥ £ � ' � . * � ©     ©  � £ Å § « ¬ �¢ ¡ ª � © � « ¬ � ¢ �  ¤ ¢ « � ¥ ª � £ ¤ ¡ « � « � ¥ ª À ½ ¬ ¤ � ¡     ©  � « ¬ � © Å � � ¥ ­ � ¥ « © � ¥ � ¡ « � £ � � � ¥ ¤ ¨ « ¤ ­ �« � ¥ ª � Å ¡ � � £ © ¢ « ¬ � � � ¢ � � £ � � ¡ « � ¥ � � À Ð © ¥ � Ì ¡ ª ¨   � ° « ¬ � ¡ £ ­ ¤ � © ¥ ª ¡ §  ¡ ¢ « « © £ � Ò ¢ �¡ ¢ ¤ ¢ « � ¥ ª � £ ¤ ¡ « � « � ¥ ª � � � Æ $ � Ë « ¬ ¡ « ¤ � « ¥ � � ¤ � ¡ ¢ © Å � � � « ¤ � @ � Æ � � © ¥ � Ë Ç É # � ° ¡ ¢ £« ¬ � ¢ � � � « ¬ � £ � ¥ ¤ ­ � £ « � ¥ ª � � � Æ $ � Ë ¤ ¢ � � Å � � Ó � � ¢ « ¡ £ ­ ¤ � � À

� ¢ © ¥ £ � ¥ « © � ¨ � � ¤ � § « ¬ � ¨ ¥ � � © ¢ £ ¤ « ¤ © ¢ � © � « ¬ � � � � , � . ' ¡ ¢ £   © © ¨ ¤ ¢ ¦ � © ¢ � « ¥ � � « � ° « ¬ �¡ £ ­ ¤ � © ¥   ¤ � « �   © ¦ ¤ � ¡   � © ª Å ¤ ¢ ¡ « ¤ © ¢ � © � � © ¢ £ ¤ « ¤ © ¢ � ® Å ¡ � ¤ � Ô � � ¢ � © ¥ � Õ ¡ ¢ £ ¡ ¢ § £ � ¥ ¤ ­ � £� � ¡ « � ¥ � � ¿ À ½ © ª ¡ ´ � « ¬ �   ¡ ¢ ¦ � ¡ ¦ � � ¡ � ¤ � ¥ « © � � � °  � ¡   � © ¡     ©  « ¬ � © Å � � ¥ ­ � ¥ « © � « ¡ « �Ô � � � � § Õ � © ¢ £ ¤ « ¤ © ¢ � ® � ¡ £ � ¬ ° µ ¶ � � ¿ °  ¬ ¤ � ¬  � Å �   ¤ � ­ � ¨ ¥ © ­ ¤ £ � ¡ ¢ ¡ « � ¥ ¡    ¡ § « © ¡ ¥ « ¤ � Ã�   ¡ « � ¤ ª ¨ ¥ � � ¤ � � ¡ £ ­ ¤ � � À

� � � � � � � � � % � � � � � � � % � � � � � � � � � � � � � � $ � � ! � � � Â ¤     Å � � � � ¢ ¤ ¢ ± « � ¨ Ï °ª © � « © � « ¬ � � © ¢ � � ¨ « � � Ì ¨ ¥ � � � ¤ Å   � ¤ ¢ © � ¥ ¦ ¥ ¡ ª ª ¡ ¥ � ¡ ¢ Å � £ ¤ ¥ � � «   § « ¥ ¡ ¢ �   ¡ « � £ ¤ ¢ « © ¡¢ � � ¥ ¡   ¢ � « Â © ¥ ´ À ½ ¬ � � � � � § � © ¢ £ ¤ « ¤ © ¢ � ° ¬ © Â � ­ � ¥ ° ¥ � Ó � ¤ ¥ � � © ª � ¨ ¥ � Ã ¨ ¥ © � � � � ¤ ¢ ¦ À ³ �

Page 9: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

ª � � « Ò ¥ � « Ô © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � Õ « ¬ � ª Å § � � ¤ ¢ ¦ « ¬ � « ¥ ¡ £ ¤ « ¤ © ¢ ¡   ª � « ¬ © £ � © � � � � � §   © ¦ ¤ �« © � ¥ � ¡ « � ¡ ¢ � Ì ¨   ¤ � ¤ « ª ¡ « ¬ � ª ¡ « ¤ � ¡   � Ì ¨ ¥ � � � ¤ © ¢ « ¬ ¡ « £ � « � ¥ ª ¤ ¢ � � « ¬ � � � � � § Ô « ¥ � « ¬­ ¡   � � Õ © � « ¬ � � © ¢ £ ¤ « ¤ © ¢ ¡ � ¡ � � ¢ � « ¤ © ¢ © � « ¬ � � � ¢ � © ¥ ­ ¡   � � � À ³ � ¡ � � © ª ¨   ¤ � ¬ « ¬ ¤ � ¥ � Ã¥ � ¨ ¥ � � � ¢ « ¡ « ¤ © ¢ Å § ¡ ¨ ¨   § ¤ ¢ ¦ « ¬ � ª � « ¬ © £ © � ¯ � ¥ � ¢ � ¤ ¡ ¢ £ ) ¬ � £ ´ ¬ ¡ ¥ ® µ ¶ ¶ º ¿ ° ¡ £ ¡ ¨ « � £�   ¤ ¦ ¬ «   § ® » ¡ �   ¤ ¢ ° µ ¶ ¶ � ¿ « © Å � � © ¢ � ¤ � « � ¢ «  ¤ « ¬ % & + ' ' � � ª ¡ ¨ ¨ ¤ ¢ ¦ ¡   ¦ © ¥ ¤ « ¬ ª À

½ ¬ © � ¦ ¬ � � � � §   © ¦ ¤ � ¤ � ¡ ¨ ©  � ¥ � �   ª � « ¬ © £ « ¬ ¡ « ¡     ©  � ¬ � ª ¡ ¢ � « © � Ì ¨ ¥ � � � ¡ £ ­ ¤ � �� � ¤ ¢ ¦ ¤ ¢ « � ¤ « ¤ ­ � « � ¥ ª � ° ¤ « ¬ ¡ � « ¬ � £ ¤ � ¡ £ ­ ¡ ¢ « ¡ ¦ � « ¬ ¡ « � © ª � © ¢ � ª � � « � Ì ¨   ¤ � ¤ «   § £ � Ò ¢ �« ¬ � � � � � § « � ¥ ª � ¤ ¢ ¡ £ ­ ¡ ¢ � � À Á ©  � ­ � ¥ ° « ¬ � £ � Ò ¢ ¤ « ¤ © ¢ � ¢ � � £ ¢ © « Å � ¨ � ¥ � � � «   § � © ¥ ¥ � � « °� ¤ ¢ � �  � ¤ ¢ � � ¥ « © � ¥ � � � � § � © ¢ £ ¤ « ¤ © ¢ � ¤ ¢ « © « ¬ � ¡ ¦ � ¢ « � � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ ¡ ¢ £ ° « ¬ � � ° ¡     © « ¬ � ¤ ¥ £ � Ò ¢ ¤ « ¤ © ¢ � « © Å � ¡ £ � � � « � £ £ � ¥ ¤ ¢ ¦ � � Å � � Ó � � ¢ « « ¥ ¡ ¤ ¢ ¤ ¢ ¦ À

� « ¨ ¥ � � � ¢ « ° * + , - . © ¢   § ¡ � � � ¨ « � � � � � § « � ¥ ª � © � « ¬ � � © ¥ ª Ö

� # Æ � � É� Ë $ � ! � Ë Ê � � � � + * . Ç Ë " Ê $ É� � � $

 ¬ � ¥ � « ¬ � Ó � ¡ ¢ « ¤ Ò � ¥ ¤ � ¡ � � � � § « � ¥ ª � ¨ � � ¤ � § ¤ ¢ ¦ ¢ � ª Å � ¥ ® � À ¦ À ° � ° � © ° Ð �  ° » ¡ ¢ § ¿ °« ¬ � © Å � � � « ¤ � « ¬ � « § ¨ � © � © Å � � � « Å � ¤ ¢ ¦ � � ¢ � � £ ® � À ¦ À ° ¯   © � ´ � ° ½ ¥ � � � ° � ¢ � ª ¤ � � ¿ ¡ ¢ £ « ¬ �£ � � � ¥ ¤ ¨ « © ¥ ¤ � ¡ ¨ ¥ © ¨ � ¥ « § © � « ¬ � ¥ � � � ¥ � ¢ � � £ © Å � � � « � ® � À ¦ À ° � � ¡ ¥ ° ¯ ¤ ¦ ¿ À Ð © ¥ � Ì ¡ ª ¨   � ° ¡� � � � § � © ¢ £ ¤ « ¤ © ¢ � © �   £ Å � Ô » ¡ ¢ § ½ ¥ � � � � � � � � ¡ ¥ À Õ

¼ � ¥ ¥ � ¢ «   §  � � � � © ¢   § � ¤ ¦ ª © ¤ £ ¡   ª � ª Å � ¥ � ¬ ¤ ¨ � � ¢ � « ¤ © ¢ � À ½ © © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � ¡ � � � � §� © ¢ £ ¤ « ¤ © ¢ ° * + , - . £ � « � ¥ ª ¤ ¢ � � ¡ � � « © �  � ¤ ¦ ¬ « � ¡ ¢ £ ¡ « ¬ ¥ � � ¬ ©   £ « ¬ ¡ « ¤ ª ¨   � ª � ¢ « « ¬ �¦ ¤ ­ � ¢ � ¤ ¦ ª © ¤ £ ¡   ª � ª Å � ¥ � ¬ ¤ ¨ � � ¢ � « ¤ © ¢ ° ¡ � ¡ � � ¢ � « ¤ © ¢ © � « ¬ � � � ¥ ¥ � ¢ « � � ¢ � © ¥ ¥ � ¡ £ ¤ ¢ ¦ � À½ ¬ � � Ì ¡ � « £ � « ¡ ¤   � £ � ¨ � ¢ £ © ¢ « ¬ � � « ¥ � � « � ¥ � © � ¡ ¦ ¤ ­ � ¢ £ © ª ¡ ¤ ¢ � � � � ¢ � © ¥ � ® � � � » ¡ �   ¤ ¢ °µ ¶ ¶ � ° � © ¥ ¡ £ £ ¤ « ¤ © ¢ ¡   £ � « ¡ ¤   � ¿ ¡ ¢ £ ¬ ¡ ­ � ¢ © « Å � � ¢ ¡ ª ¡ � © ¥ � © � � � © � « ¬ ¤ � ¥ � � � ¡ ¥ � ¬ À ½ ¬ �¥ � � �   « © � « ¬ ¤ � ¨ ¥ © � � � � � � � � ¢ « ¤ ¡     § £ � Ò ¢ � � ¡ ¨ � ¥ � � ¨ « ¥ © ¢ ¸ ¬ � ¢ � � ° © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � £ � � � � §� © ¢ £ ¤ « ¤ © ¢ � � ¡ ¢ Å � £ ¤ ¥ � � «   § ¤ ¢ � � ¥ « � £ ¤ ¢ « © « ¬ � ¡ ¦ � ¢ « � � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ £ � ¥ ¤ ¢ ¦ ± « � ¨ Ï À

� � � � � � � � � � ( � � � � � � � � $ � � ! � � � � � � � � % � � � � � � � � � � ( � � � � � # � � " � � � ( �� � � � � � � « � ¥ * + , - . © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � � ¡ ¢ § � � � � § � © ¢ £ ¤ « ¤ © ¢ � ° ¤ « ¨ ¥ © � � � £ � « © ¤ ¢ � � ¥ « ¡     © �« ¬ � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ � ¡ ¦ � ¢ « � � � � ¥ ¥ � ¢ « ¢ � � ¥ ¡   à ¢ � «  © ¥ ´ � « ¤   ¤ « § � � ¢ � « ¤ © ¢ À ½ © £ © « ¬ ¤ � °  �ª ¡ £ � Ò ­ � � Ì « � ¢ � ¤ © ¢ � « © « ¬ � � « ¡ ¢ £ ¡ ¥ £ % & + ' ' ¡   ¦ © ¥ ¤ « ¬ ª Ö ® ¤ ¿ ¡ £ ­ ¤ � � � ¡ ¢ � © ¢ « ¡ ¤ ¢ ª �   « ¤ Ã� « � ¨ ¨   ¡ ¢ � ° ® ¤ ¤ ¿ ¤ « � ¡ ¢ � © ¢ « ¡ ¤ ¢   © © ¨ � ° ® ¤ ¤ ¤ ¿ ¤ « � ¡ ¢ ¥ � � � ¥ « © ¨ ¥ � ­ ¤ © � �   § £ � Ò ¢ � £ « � ¥ ª � °® ¤ ­ ¿ ¤ « ª ¡ § � � ¦ ¦ � � « ¡ � « ¤ © ¢ � « © � � � « ¡ ´ � ° ¡ ¢ £ ® ­ ¿ ¤ « � ¡ ¢ ¤ ¢ ­ ©   ­ � � � � � § � © ¢ £ ¤ « ¤ © ¢ �® £ ¤ � � � � � � £ ¡ Å © ­ � ¿ À ³ � ¡ � ¬ ¤ � ­ � � ¡ � ¬ © � « ¬ � � � � Ì « � ¢ � ¤ © ¢ � Å § � ©     ©  ¤ ¢ ¦ « ¬ � ¦ � ¢ � ¥ ¡  ¡ ¨ ¨ ¥ © ¡ � ¬ ¤     � � « ¥ ¡ « � £ � ¡ ¥   ¤ � ¥ ¤ ¢ Ð ¤ ¦ � ¥ � º À

¼ © ¢ � ¤ £ � ¥ ° ¡ � ¡ ¢ � Ì ¡ ª ¨   � © � ¡ ª �   « ¤ à � « � ¨ ¨   ¡ ¢ ° « ¬ � Ò ¥ � « � ¢ « ¥ § ¤ ¢ ½ ¡ Å   � µ À Ð ¤ ¦ � ¥ � �� ¬ ©  � « ¬ � ¢ � «  © ¥ ´ ¡ £ £ ¤ « ¤ © ¢ � « ¬ ¡ « ¥ � ¨ ¥ � � � ¢ « « ¬ ¤ � ¡ £ ­ ¤ � � À � + , - . Ò ¥ � « � ¥ � ¡ « � � ¡ ¬ ¤ £ £ � ¢� ¢ ¤ « ®   ¡ Å �   � £ � ¿ « ¬ ¡ « ¥ � ¨ ¥ � � � ¢ « � « ¬ � � © ¢ � � ¢ � « ¤ © ¢ © � ® ¤ ¿ ¡ ¢ � ¢ � ª § Å � ¤ ¢ ¦ ¢ � ¡ ¥ ¡ ¢ £Â � � « ¡ ¢ £ ® ¤ ¤ ¿ ¡ ¢ © Å � « ¡ �   � Å � ¤ ¢ ¦ ¢ � ¡ ¥ ¡ ¢ £ ¢ © ¥ « ¬ À � « « ¬ � ¢ � © ¢ ¢ � � « � « ¬ ¤ � � ¢ ¤ « « © « ¬ �¡ � « ¤ © ¢ � � � � � °  ¬ ¤ � ¬ ¤ � ¡ ¢ � Ì ¤ � « ¤ ¢ ¦ © � « ¨ � « � ¢ ¤ « ® ¥ � � ¡     « ¬ ¡ « « ¬ � ¡ ¦ � ¢ « � � � « ¤   ¤ « §� � ¢ � « ¤ © ¢ ª ¡ ¨ � � « ¡ « � � « © ­ ¡   � � � © � ¡ � « ¤ © ¢ � ¿ ¸ « ¬ ¤ � � © ¢ � « ¤ « � « � � « ¬ � Ò ¥ � « � « � ¨ © � « ¬ �«  © à � « � ¨ ¨   ¡ ¢ À � + , - . ¡   � © � © ¢ ¢ � � « � � ¢ ¤ « � « © ¡ ¢ �    § ¡ £ £ � £ ¬ ¤ £ £ � ¢ � ¢ ¤ « � ¡     � £� � � � µ « ¬ ¡ « ¥ � � © ¥ £ �  ¬ � ¢ � ¢ ¤ « �  ¡ � ¡ � « ¤ ­ � ¤ ¢ « ¬ � ¨ ¥ � ­ ¤ © � � � « ¡ « � À � « ¢ � Ì « � © ¢ ¢ � � « �� � � � µ « © ¡ ¢ �  ¤ ¢ ¨ � « � ¢ ¤ « � ¡     � £ � � � � µ � � À ½ ¬ ¤ � $ Ë Ê # $ $ Ë � � � ¢ ¤ « Å � � © ª � � ¡ � « ¤ ­ �® Ô « ¥ � � Õ ¿  ¬ � ¢ � � � � µ  ¡ � ¡ � « ¤ ­ � � © ¥ « ¬ � ¨ ¥ � ­ ¤ © � � ¤ ¢ ¨ � « ®  � ¢ � � £ ¥ � � � ¥ ¥ � ¢ « � ¢ ¤ « �« © ¤ ª ¨   � ª � ¢ « ª �   « ¤ à � « � ¨ ¨   ¡ ¢ � ¿ À Ð ¤ ¢ ¡     § ° ¤ « � © ¢ � « ¥ � � « � ¡ � ¢ ¤ « ®   ¡ Å �   � £ � ¿ « ¬ ¡ « ¤ �¡ � « ¤ ­ �  ¬ � ¢ � � � � µ � � ¤ � « ¥ � � ¡ ¢ £ « ¬ � ¨ ¥ � ­ ¤ © � � ¡ � « ¤ © ¢  ¡ � ¡ ¢ � ¡ � «  ¡ ¥ £ ª © ­ � ® « ¬ �

Page 10: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � & � � � � � � � " � �� � � � � " � � � � � � � & � � � � & ! � " � �

� � � �� � � � � � � � � �

� ! N � � � � "� ! N � & ! � " �

� � �� � � �

MoveNorthMoveEast

State1

EnemyNear,West

ObstacleNear,North

MoveEast−1

MoveNorth−1

State1−1

Other Inputs

A

B

Other Outputs

� Z � T W V l ^ � � " � � � � $ " � � " � � � � � " } � � � � ! $ � � N � � � $ � ! � % � � � � # � � " � � � � � " � � � � � � � � � " � � � � � � " � ! �! $ " � � � } � � � � ! $ � � N � � � # % � � � � � � � � � � � � } � � � � } � � � � � " � " � � ! � � � � � � � � � � � � � � � " � # � � � � � � ! � � � � " �� � � � � � � " � " � � " � � � � � " " ! � � } � � � � � " � � ! � � � � � " � ! � # � � � � � � � ! � � � � � � � ! � � � � � " � � � � � O � � � ! "� � ! � � � � � � � � � � � � � � � � � � � " � � � � " � � � � � � � � " � � � � ! " � � � } � � " � ! $ " � � � � � � � � " � � " � ! � O � " � � � �� � � O � � � } } ! � " � � � � � � � � � " � � � � � � � � " #

¢ � «  © ¥ ´ � � ¤ ¢ ¨ � « ­ � � « © ¥ ¥ � � © ¥ £ � « ¬ � ¨ ¥ � ­ ¤ © � � ¡ � « ¤ © ¢ « ¡ ´ � ¢ ¤ ¢ ¡ £ £ ¤ « ¤ © ¢ « © « ¬ � � � ¥ ¥ � ¢ «� � ¢ � © ¥ ­ ¡   � � � ¿ À ³ ¬ � ¢ ¡ � « ¤ ­ � ° � ¢ ¤ « � � � ¦ ¦ � � « � ª © ­ ¤ ¢ ¦ ¢ © ¥ « ¬ B « ¬ � � � � © ¢ £ � « � ¨ © �« ¬ � ¨   ¡ ¢ À ® � ¢ ¦ � ¢ � ¥ ¡   ° * + , - . ¥ � ¨ ¥ � � � ¢ « � ¨   ¡ ¢ � © �   � ¢ ¦ « ¬ � � � ¤ ¢ ¦ � � µ � « ¡ « � � ¢ ¤ « � À ¿

� + , - . ¡ � � ¤ ¦ ¢ � ¡ ¬ ¤ ¦ ¬  � ¤ ¦ ¬ « � « © « ¬ � ¡ ¥ � � � © ª ¤ ¢ ¦ © � « © � � ¢ ¤ « � � ¡ ¢ £ � À ½ ¬ ¤ � ª � ¡ ¢ �« ¬ ¡ «  ¬ � ¢ � ¤ « ¬ � ¥ � ¢ ¤ « ¤ � ¡ � « ¤ ­ � ° « ¬ � « © « ¡    � ¤ ¦ ¬ « � £ ¤ ¢ ¨ � « « © « ¬ � � © ¥ ¥ � � ¨ © ¢ £ ¤ ¢ ¦ © � « ¨ � «� ¢ ¤ «  ¤     Å � ¤ ¢ � ¥ � ¡ � � £ ° « ¬ � ¥ � Å § ¤ ¢ � ¥ � ¡ � ¤ ¢ ¦ « ¬ � � « ¤   ¤ « § ­ ¡   � � � © ¥ « ¬ ¡ « ¡ � « ¤ © ¢ À � © « � °¬ ©  � ­ � ¥ ° « ¬ ¡ « « ¬ ¤ � £ © � � ¢ © « ¦ � ¡ ¥ ¡ ¢ « � � « ¬ ¡ « « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢  ¤     Å � � ¬ © � � ¢  ¬ � ¢� ¢ ¤ « � � © ¥ � ¡ ¥ � ¡ � « ¤ ­ � À �   � © ° ¢ © « ¤ � � « ¬ ¡ « £ � ¥ ¤ ¢ ¦ � � Å � � Ó � � ¢ « « ¥ ¡ ¤ ¢ ¤ ¢ ¦ « ¬ �  � ¤ ¦ ¬ «® ¡ ¢ £ « ¬ � � « ¬ � £ � Ò ¢ ¤ « ¤ © ¢ ¿ © � ¡ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ª ¡ § Å � � � Å � « ¡ ¢ « ¤ ¡     § ¡   « � ¥ � £ À

½ ¬ � � � � © ¢ £ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ¤ ¢ ½ ¡ Å   � µ ¡   � © � © ¢ « ¡ ¤ ¢ � ¡ ª �   « ¤ à � « � ¨ ¨   ¡ ¢ ° Å � « « ¬ ¤ �« ¤ ª � ¤ « ¤ � � ª Å � £ £ � £ ¤ ¢ ¡ * . � . + , À Ð ¤ ¦ � ¥ � � � ¬ ©  � * + , - . � � ¡ £ £ ¤ « ¤ © ¢ � « © « ¬ � ¢ � «  © ¥ ´� © ¥ « ¬ ¤ � ¡ £ ­ ¤ � � À ½ ¬ � ´ � § « © « ¥ ¡ ¢ �   ¡ « ¤ ¢ ¦ « ¬ ¤ � � © ¢ � « ¥ � � « ¤ � « ¬ ¡ « « ¬ � ¥ � ¡ ¥ � «  ©  ¡ § � « ©¤ ¢ ­ © ´ � « ¬ � «  © à � « � ¨ ¨   ¡ ¢ À ½ ¬ � ¨   ¡ ¢ � Ì � � � « � � ¤ � « ¬ � � � . ' � © ¢ £ ¤ « ¤ © ¢ ¤ � « ¥ � � ® � ¢ ¤ « ¿¡ ¢ £ ¡   � © ¤ � « ¬ � ¨   ¡ ¢  ¡ � � � � « ¥ � ¢ ¡ ¢ £ « ¬ � � ' , � - � © ¢ £ ¤ « ¤ © ¢ ¤ � � ¡   � � À Í ¢ ¤ « � ¤ � ¡ � « ¤ ­ � ¬ � ¢ « ¬ � � ' , � - � © ¢ £ ¤ « ¤ © ¢ ¤ � ª � « °  ¬ ¤   � � ¢ ¤ « � ¤ � ¡ � « ¤ ­ � ¤ � « ¬ � � ' , � - ¤ � � ¢ � ¡ « ¤ � Ò � £¡ ¢ £ « ¬ � ¡ ¦ � ¢ « � � «  © ¨ ¥ � ­ ¤ © � � ¡ � « ¤ © ¢ �  � ¥ � ¨ � � ¬ ¤ ¢ ¦ ¡ ¢ £ « ¬ � ¢ ª © ­ ¤ ¢ ¦ � ¡ � « À

� « ¬ ¤ ¥ £ ¤ � � � � � © ¥ * + , - . ¤ � £ � ¡   ¤ ¢ ¦  ¤ « ¬ ¡ £ ­ ¤ � � « ¬ ¡ « ¤ ¢ ­ ©   ­ � � ¨ ¥ � ­ ¤ © � �   § £ � Ò ¢ � £« � ¥ ª � À ½ ¬ ¤ � � ¥ � Ó � � ¢ «   § © � � � ¥ � ° � ¤ ¢ � � ¡ £ ­ ¤ � � ¦ � ¢ � ¥ ¡     § ¤ ¢ £ ¤ � ¡ « � � ¢ �  � ¤ « � ¡ « ¤ © ¢ � ¤ ¢Â ¬ ¤ � ¬ « © ¨ � ¥ � © ¥ ª � Ì ¤ � « ¤ ¢ ¦ ¡ � « ¤ © ¢ � À ½ ¬ � ¥ � ¡ ¥ � «  © « § ¨ � � © � ¢ �  £ � Ò ¢ ¤ « ¤ © ¢ � Ö ® ¤ ¿ ¢ � ¨ ¥ � � © ¢ £ ¤ « ¤ © ¢ � © � ¡ � « ¤ © ¢ � ° ¡ ¢ £ ® ¤ ¤ ¿ ¢ �  £ � Ò ¢ ¤ « ¤ © ¢ � � © ¥ £ � ¥ ¤ ­ � £ � � ¡ « � ¥ � � À ³ � ¨ ¥ © � � � �« ¬ � «  © « § ¨ � � £ ¤ Ä � ¥ � ¢ «   § ° � ¤ ¢ � � « ¬ � � © ¥ ª � ¥ ¤ ¢ ­ ©   ­ � ¥ � ¡   à ­ ¡   � � £ © � « ¨ � « �  ¬ ¤   � « ¬ �  ¡ « « � ¥ ¡ ¥ � � � � � ¢ « ¤ ¡     § ¯ © ©   � ¡ ¢ à ­ ¡   � � £ À

Ð © ¥ ¢ �  ¨ ¥ � � © ¢ £ ¤ « ¤ © ¢ � © � Æ Ê � É � � " ° * + , - . ¡ £ £ � ¡ ¬ ¤ ¦ ¬   §  � ¤ ¦ ¬ « � £   ¤ ¢ ´ � ¥ © ª « ¬ �� ¢ ¤ « ¥ � ¨ ¥ � � � ¢ « ¤ ¢ ¦ « ¬ � £ � Ò ¢ ¤ « ¤ © ¢ « © « ¬ � © � « ¨ � « � ¢ ¤ « ¥ � ¨ ¥ � � � ¢ « ¤ ¢ ¦ « ¬ � ¡ � « ¤ © ¢ À ½ ¬ ¤ �¤ � £ © ¢ � � © « ¬ ¡ « ¤ ¢ « ¬ � � ¤ « � ¡ « ¤ © ¢ �  ¬ � ¥ � « ¬ � ¡ £ ­ ¤ � � ¤ � ¡ ¨ ¨   ¤ � ¡ Å   � ° « ¬ � � « ¤   ¤ « § © � « ¬ �¡ � « ¤ © ¢  ¤     « ¬ � ¢ Å � ¬ ¤ ¦ ¬ � ¥ « ¬ ¡ « ¤ «  © �   £ © « ¬ � ¥  ¤ � � Å � À ³ ¬ � ¢ « ¬ � ¡ £ ­ ¤ � © ¥ ¨ ¥ © ­ ¤ £ � �¡ ¢ �  £ � Ò ¢ ¤ « ¤ © ¢ © � ¡ £ � ¥ ¤ ­ � £ � � ¡ « � ¥ � ° * + , - . © ¨ � ¥ ¡ « � � ¡ � � ¬ ©  ¢ ¤ ¢ Ð ¤ ¦ � ¥ � � À � « Ò ¥ � «� ¥ � ¡ « � � ¡ ¢ �  ¬ ¤ £ £ � ¢ � ¢ ¤ « « ¬ ¡ « ¥ � ¨ ¥ � � � ¢ « � « ¬ � ¢ �  £ � Ò ¢ ¤ « ¤ © ¢ ° « ¬ � ¢ ª ¡ ´ � � ¡ ¢ < *

Page 11: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � ! � � � � � �� � " ! � � � � � � � " �� � � � � � � � � & � � �

� � � � � �� � � � � � � � � �

� � � � � � � "� ! N � � � � "

� � �� � � � � � � � " ! � � � � � � � " �

� � � � � ! � � � � �� � � �

Surrounded

MoveEastPushEast

OKtoPushEastEnemyNear

Other Inputs−1

PushEast−1

MoveEast

S1 S2

−1S2

−1S1

C D

E

� Z � T W V o ^ � � " � � � � $ " � � " � � � � � ! � � } � � � � ! $ � � N � � � $ � ! � % � � � � # � � " � � � � � " � � � � � � � � " � � � � � � " � ! �! $ � " # � ! " " � � � � � � � � � � � � � " � � � � " � N � � � � � " � # % � � � � � � � � � � " � � � � � � � � � " ! " � � � � � � " � � � � " � ! � O� � ! " � � ! � � � #

Old Definition

New DefinitionSurrounded

Surrounded

� Z � T W V n ^ � � � ! � } ! � � " � � " � � � � � � � " � ! � ! $ � " � � � " � � " � � � � � � � � � � � " � #

¢ © £ � « ¬ ¡ « � © ª Å ¤ ¢ � � « ¬ � ©   £ ¡ ¢ £ ¢ � Â £ � Ò ¢ ¤ « ¤ © ¢ � À ½ ¬ ¤ � ¨ ¥ © � � � � ¤ � ¡ ¢ ¡   © ¦ © � � « © ¬ © Â% & + ' ' ¨ ¥ © � � � � � � ª �   « ¤ ¨   � ¥ �   � � Â ¤ « ¬ « ¬ � � ¡ ª � � © ¢ � � Ó � � ¢ « À

� � © � ¥ « ¬ ¤ � � � � ¤ � ¬ ©  « © £ � ¡    ¤ « ¬ ¡ £ ­ ¤ � � « ¬ ¡ « � � ¦ ¦ � � « � � � � £ © ¤ ¢ ¦ ¡ ¢ ¡ � « ¤ © ¢ À ½ ¬ ¤ �¤ � � « ¥ ¡ ¤ ¦ ¬ « � © ¥  ¡ ¥ £ ¤ ¢ © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ° � ¤ ¢ � �  � � © ¢ ¢ � � « ¬ ¤ £ £ � ¢ � ¢ ¤ « � « © Ô ¡ � « ¤ © ¢ Õ � ¢ ¤ « � ¤ « ¬ ¡ ¬ ¤ ¦ ¬   §  � ¤ ¦ ¬ « � £   ¤ ¢ ´ À Ð © ¥ � Ì ¡ ª ¨   � ° � © ¥ « ¬ � « ¬ ¤ ¥ £ ¨ ¤ � � � © � ¡ £ ­ ¤ � � � ¬ ©  ¢ ¤ ¢½ ¡ Å   � µ ° * + , - .  © �   £ � ¥ � ¡ « � ¡ � ¢ ¤ « ¥ � ¨ ¥ � � � ¢ « ¤ ¢ ¦ « ¬ � � � � � § � © ¢ £ ¤ « ¤ © ¢ Ô � ¢ � ¢ � ª § � �® � � ¡ ¥ ¡ ¢ £ � ¡ � « ¿ Õ ¡ ¢ £ « ¬ � ¢ � © ¢ ¢ � � « « ¬ � ¥ � � �   « ¤ ¢ ¦ � ¢ ¤ « « © « ¬ � ¡ � « ¤ © ¢ » © ­ � � ¡ � «  ¤ « ¬ ¡¢ � ¦ ¡ « ¤ ­ �   §  � ¤ ¦ ¬ « � £   ¤ ¢ ´ À ½ ¬ ¤ �  © �   £ ¬ ¡ ­ � « ¬ � � Ä � � « © �   ©  � ¥ ¤ ¢ ¦ » © ­ � � ¡ � « � � � « ¤   ¤ « §Â ¬ � ¢ « ¬ � � © ¢ £ ¤ « ¤ © ¢ ¤ � � ¡ « ¤ � Ò � £ ®  ¬ ¤ � ¬ ¤ � « ¬ � � Ä � � «  � £ � � ¤ ¥ � ¿ À ½ ¬ ¤ � « � � ¬ ¢ ¤ Ó � � ¡ ­ © ¤ £ �« ¬ � Ó � � � « ¤ © ¢ © �  ¬ ¡ « « © £ ©  ¬ � ¢ © ¢ � ¨ ¤ � � � © � ¡ £ ­ ¤ � � � � ¦ ¦ � � « � ¡ ¢ ¡ � « ¤ © ¢ ¡ ¢ £ ¡ ¢ © « ¬ � ¥¨ ¥ © ¬ ¤ Å ¤ « � « ¬ ¡ « ¡ � « ¤ © ¢ À ¼ � ¥ ¥ � ¢ «   § « ¬ � � © ¢ � ¤ � « ¤ ¢ ¦ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � ® � ¢   � � � ¥ � Ò ¢ � £ ¿� ¡ ¢ � �   � ¡ � ¬ © « ¬ � ¥ ° Å � « « ¬ ¤ � � ¤ ª ¨   � ¡ ¨ ¨ ¥ © ¡ � ¬ ª ¡ § ¢ © « ¡    ¡ § � Å � � ¡ « ¤ � � ¡ � « © ¥ § À

» ¡ �   ¤ ¢ ® µ ¶ ¶ � ¿ � �     § £ � � � ¥ ¤ Å � � ¬ ©  � ¡ � ¬ © � « ¬ � � © ¢ � « ¥ � � « � ¤ ¢ * + , - . � � ¡ £ ­ ¤ � �   ¡ ¢ æ � ¡ ¦ � ¤ � ª ¡ ¨ ¨ � £ ¤ ¢ « © ¡ ¢ � � ¥ ¡   à ¢ � «  © ¥ ´ � ¥ ¡ ¦ ª � ¢ « À

Page 12: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� � � � � � � � ! � � � � � � � � � �

³ � ¢ � Ì « � ª ¨ ¤ ¥ ¤ � ¡     § � � £ ¦ � « ¬ � ­ ¡   � � © � � � ¤ ¢ ¦ * + , - . « © ¨ ¥ © ­ ¤ £ � ¡ £ ­ ¤ � � « © ¡ ¢ � ¹¡ ¦ � ¢ « À

� � � � ' � � � � � �

Ð ¤ ¦ � ¥ � ¾ ¡ ¤     � � « ¥ ¡ « � � « ¬ � � � ¢ ¦ © « ¡ � ´ À ³ � � ¬ © � � � � ¢ ¦ © Å � � ¡ � � � ¤ « ¬ ¡ � Å � � ¢ ¨ ¥ � ­ ¤ © � �   §� Ì ¨   © ¥ � £ ¤ ¢ « ¬ � � �   ¤ « � ¥ ¡ « � ¥ � ® � ¦ ¥ � ² ¼ ¬ ¡ ¨ ª ¡ ¢ ° µ ¶ ¾ � ¸ ¹ ¤ ¢ ° µ ¶ ¶ º ¿ À ½ ¬ � ¡ ¦ � ¢ « ¤ ¢� � ¢ ¦ © � ¡ ¢ ¨ � ¥ � © ¥ ª ¢ ¤ ¢ � ¡ � « ¤ © ¢ � Ö � � È É � � ¡ ¢ £ � # " > É � � ¤ ¢ � ¡ � ¬ © � « ¬ � £ ¤ ¥ � � « ¤ © ¢ � � ¡ � « °� © ¥ « ¬ ° ³ � � « ¡ ¢ £ ± © � « ¬ ¸ ¡ ¢ £ Ç � É � � � � � > É � � À � � � ¬ ¤ ¢ ¦ ª © ­ � � « ¬ � © Å � « ¡ �   � � ¤ ¢ « ¬ �� ¢ ­ ¤ ¥ © ¢ ª � ¢ « À � ª © ­ ¤ ¢ ¦ © Å � « ¡ �   �  ¤     £ � � « ¥ © § « ¬ � � © © £ ¡ ¢ £ � ¢ � ª ¤ � � ¤ « ¬ ¤ « � ° ¡ ¢ £Â ¤     � © ¢ « ¤ ¢ � � « © �   ¤ £ � � ¢ « ¤   ¤ « � ¢ � © � ¢ « � ¥ � ¡ ¢ © « ¬ � ¥ © Å � « ¡ �   � © ¥ « ¬ � � £ ¦ � © � « ¬ � Å © ¡ ¥ £ À³ ¬ � ¢ « ¬ � © Å � « ¡ �   � ¤ � � ¢ ¡ Å   � « © ª © ­ � ® Å � � ¡ � � � « ¬ � ¥ � ¤ � ¡ ¢ © Å � « ¡ �   � © ¥  ¡     Å � ¬ ¤ ¢ £

HiddenUnits

No Action MoveEast PushEast MoveNorth

Previous Action

Mo

veE

ast

No

Act

ion

Pu

shE

ast

(b)

(c)

(a)

Agent

Enemy

Obstacle

Empty

Key

Food

(d)

SENSOR INPUTS

ACTIONS

Sector 1,E

Wal

lE

mp

ty

Fo

od

En

emy

Ob

stac

le

Occ

lud

ed

Sector 1,NE

Wal

lE

mp

ty

Fo

od

En

emy

Ob

stac

le

Occ

lud

ed

� Z � T W V � ^ � � � � � � } � � " � � " � � N � � ! � � � � " � � � � � � � } � � � ! � � � � � " � ! � � � � � � � � } � � � � N � � � ! � ! $ " � �� � N � � ! � � � � " � � " ! � � � " ! � � � � � � � � � " � � � � � " ! " � � � � � � � � " ! � � � � � � � ! � � � � " � � ! � � � � � � � � " ! $ � � � �� � � � � � � � � $ � ! � " � � � � � " � � � � � � � � � � � � � � " � ! � O " � � " � ! � } � " � � " � � � " � � � " � ! $ � � " � ! � � #

Page 13: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

¤ « ¿ ° « ¬ � © Å � « ¡ �   � £ ¤ � ¤ ¢ « � ¦ ¥ ¡ « � � À Ð © © £ ¤ � � ©     � � « � £  ¬ � ¢ « © � � ¬ � £ Å § « ¬ � ¡ ¦ � ¢ « © ¥ ¡ ¢� ¢ � ª § À

� ¡ � ¬ � ¢ � ª § � ©     ©  � ¡ Ò Ì � £ ¨ ©   ¤ � § À � « ª © ­ � � ¥ ¡ ¢ £ © ª   § � ¢   � � � « ¬ � ¡ ¦ � ¢ « ¤ � ¤ ¢ � ¤ ¦ ¬ « °¤ ¢  ¬ ¤ � ¬ � ¡ � � ¤ « ª © ­ � � « ©  ¡ ¥ £ « ¬ � ¡ ¦ � ¢ « À � ¢ � ª ¤ � � ª ¡ § ª © ­ � © Ä « ¬ � Å © ¡ ¥ £ ® « ¬ � §¡ ¨ ¨ � ¡ ¥ ¡ ¦ ¡ ¤ ¢ ¡ � « � ¥ ¡ ¥ ¡ ¢ £ © ª ¤ ¢ « � ¥ ­ ¡   ¿ ° Å � « « ¬ � ¡ ¦ � ¢ « ¤ � � © ¢ � « ¥ ¡ ¤ ¢ � £ « © ¥ � ª ¡ ¤ ¢ © ¢« ¬ � Å © ¡ ¥ £ À � ¢ � ª ¤ � � £ © ¢ © « ¨ � � ¬ © Å � « ¡ �   � � À

½ ¬ � ¤ ¢ ¤ « ¤ ¡   ª ¡ � � � ¡ ¥ � ¦ � ¢ � ¥ ¡ « � £ ¥ ¡ ¢ £ © ª   § � � ¤ ¢ ¦ ¡ ª ¡ � � à � ¥ � ¡ « ¤ © ¢ ¨ ¥ © ¦ ¥ ¡ ª ® » ¡ �   ¤ ¢ °µ ¶ ¶ � ¿ « ¬ ¡ « ¥ ¡ ¢ £ © ª   §   ¡ § � © � «   ¤ ¢ � � © � © Å � « ¡ �   � � ¡ ¢ £ « ¬ � ¢ � ¥ � ¡ « � � � © ¢ ¢ � � « ¤ © ¢ � Å � «  � � ¢Ô ¥ © © ª � À Õ ½ ¬ � ¨ � ¥ � � ¢ « ¡ ¦ � © � « ¬ � « © « ¡   Å © ¡ ¥ £ � © ­ � ¥ � £ Å § © Å � « ¡ �   � � ¤ � � © ¢ « ¥ ©     � £ Å § ¡¨ ¡ ¥ ¡ ª � « � ¥ ° ¡ � ¡ ¥ � « ¬ � ¢ � ª Å � ¥ © � � ¢ � ª ¤ � � ¡ ¢ £ � © © £ ¤ « � ª � À ½ ¬ � ¡ ¦ � ¢ « ° � ¢ � ª ¤ � � ° ¡ ¢ £� © © £ ¡ ¥ � ¥ ¡ ¢ £ © ª   § £ � ¨ © � ¤ « � £ © ¢ « ¬ � Å © ¡ ¥ £ °  ¤ « ¬ « ¬ � � ¡ ­ � ¡ « « ¬ ¡ « « ¬ � � ¢ � ª ¤ � � ¡ ¥ �¥ � Ó � ¤ ¥ � £ « © Å � ¤ ¢ ¤ « ¤ ¡     § ¡ «   � ¡ � « ¡ Ò Ì � £ £ ¤ � « ¡ ¢ � � ¡  ¡ § � ¥ © ª « ¬ � ¡ ¦ � ¢ « ¡ « « ¬ � � « ¡ ¥ « À

½ ¬ � ¡ ¦ � ¢ « ¥ � � � ¤ ­ � � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � ¤ ¦ ¢ ¡   � Â ¬ � ¢ Ö ® ¤ ¿ ¡ ¢ � ¢ � ª § �   ¤ ª ¤ ¢ ¡ « � � « ¬ � ¡ ¦ � ¢ «Å § « © � � ¬ ¤ ¢ ¦ « ¬ � ¡ ¦ � ¢ « ® B µ À · ¿ ° ® ¤ ¤ ¿ « ¬ � ¡ ¦ � ¢ « � ©     � � « � © ¢ � © � « ¬ � � © © £ © Å � � � « � ® � · À � ¿ °© ¥ ® ¤ ¤ ¤ ¿ « ¬ � ¡ ¦ � ¢ « £ � � « ¥ © § � ¡ ¢ � ¢ � ª § Å § ¨ � � ¬ ¤ ¢ ¦ ¡ ¢ © Å � « ¡ �   � ¤ ¢ « © ¤ « ® � · À ¶ ¿ À

³ � £ © ¢ © « ¡ � � � ª � ¡ ¦   © Å ¡   ­ ¤ �  © � « ¬ � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « ° Å � « ¤ ¢ � « � ¡ £ � � � ¡ ¢ ¡ ¦ � ¢ « Ã� � ¢ « � ¥ � £ � � ¢ � © ¥ ª © £ �   À � « ¤ � Å ¡ � � £ © ¢ ¨ ¡ ¥ « ¤ « ¤ © ¢ ¤ ¢ ¦ « ¬ �  © ¥   £ ¤ ¢ « © ¡ � � « © � � � � « © ¥ �¡ ¥ © � ¢ £ « ¬ � ¡ ¦ � ¢ « ® � � � Ð ¤ ¦ � ¥ � ¾ Å ¿ À � ¡ � ¬ � � � « © ¥ ¤ � £ � Ò ¢ � £ Å § ¡ ª ¤ ¢ ¤ ª � ª ¡ ¢ £ ª ¡ Ì Ã¤ ª � ª £ ¤ � « ¡ ¢ � � � ¥ © ª « ¬ � ¡ ¦ � ¢ « ¡ ¢ £ ¡ ª ¤ ¢ ¤ ª � ª ¡ ¢ £ ª ¡ Ì ¤ ª � ª ¡ ¢ ¦   �  ¤ « ¬ ¥ � � ¨ � � «« © « ¬ � £ ¤ ¥ � � « ¤ © ¢ « ¬ � ¡ ¦ � ¢ « ¤ � � ¡ � ¤ ¢ ¦ À ½ ¬ � ¡ ¦ � ¢ « � ¡   � �   ¡ « � � « ¬ � ¨ � ¥ � � ¢ « ¡ ¦ � © � � ¡ � ¬� � � « © ¥ « ¬ ¡ « ¤ � © � � � ¨ ¤ � £ Å § � ¡ � ¬ « § ¨ � © � © Å � � � « B � © © £ ° � ¢ � ª § ° © Å � « ¡ �   � ° © ¥  ¡     À ½ ©� ¡   � �   ¡ « � « ¬ � � � � « © ¥ © � � � ¨ ¡ ¢ � § °  � ¡ � � � ª � « ¬ � ¡ ¦ � ¢ « ¤ � ¡ Å   � « © ª � ¡ � � ¥ � « ¬ � £ ¤ � ë ¡ ¢ � � « © « ¬ � ¢ � ¡ ¥ � � « © � �   � £ ¤ ¢ ¦ © Å � � � « ¡   © ¢ ¦ ¡ Ò Ì � £ � � « © � ¡ ¢ ¦   � � ¡ ¥ © � ¢ £ « ¬ � ¡ ¦ � ¢ «® � � � Ð ¤ ¦ � ¥ � ¾ � ¿ À ½ ¬ ¤ � ª � ¡ ¢ � « ¬ ¡ « « ¬ � ¡ ¦ � ¢ « ¤ � © ¢   § ¡ Å   � « © ¥ � ¨ ¥ � � � ¢ « « ¬ � © Å � � � « �¤ ¢ £ ¤ ¥ � � «   ¤ ¢ � à © � à � ¤ ¦ ¬ « � ¥ © ª « ¬ � ¡ ¦ � ¢ « ® � © ¥ � Ì ¡ ª ¨   � ° « ¬ � � ¢ � ª § « © « ¬ � � © � « ¬ © � « ¬ �¡ ¦ � ¢ « ¤ � © � « © � � ¤ ¦ ¬ « ¿ À ½ ¬ � ¨ � ¥ � � ¢ « ¡ ¦ � © � � ¡ � ¬ © Å � � � « « § ¨ � ¤ ¢ ¡ � � � « © ¥ ¤ � � � � « « ¬ �¢ � ª Å � ¥ © � � � ¢ � ¤ ¢ ¦ ¡ ¥ � � « ¬ ¡ « � ¢ £ ¤ ¢ « ¬ ¡ « � � � « © ¥ Å § ¬ ¤ « « ¤ ¢ ¦ ¡ ¢ © Å � � � « © � « ¬ � ¦ ¤ ­ � ¢« § ¨ � ° £ ¤ ­ ¤ £ � £ Å § « ¬ � ª ¡ Ì ¤ ª � ª ¢ � ª Å � ¥ © � ¡ ¥ � � « ¬ ¡ « � © �   £ � ¢ £ ¤ ¢ « ¬ � � � � « © ¥ À ± © � © ¥� Ì ¡ ª ¨   � ° ¦ ¤ ­ � ¢ Ð ¤ ¦ � ¥ � ¾ Å ° « ¬ � ¡ ¦ � ¢ « � � ¨ � ¥ � � ¢ « ¡ ¦ � � © ¥ Ô © Å � « ¡ �   � Õ Â © �   £ Å � ¬ ¤ ¦ ¬ � © ¥« ¬ � � � � « © ¥ « © « ¬ � � ¡ � « À ½ ¬ � ¡ ¦ � ¢ « ¡   � © � ¡   � �   ¡ « � � ¬ ©  ª � � ¬ © � � ¡ � ¬ � � � « © ¥ ¤ � � ª ¨ « §¡ ¢ £ ¬ ©  ª � � ¬ ¤ � © � �   � £ � £ À ½ ¬ � � � ¨ � ¥ � � ¢ « ¡ ¦ � � � © ¢ � « ¤ « � « � « ¬ � ¤ ¢ ¨ � « « © « ¬ � ¢ � � ¥ ¡  ¢ � «  © ¥ ´ ® � � � Ð ¤ ¦ � ¥ � ¾ £ ¿ À � © « � « ¬ ¡ « « ¬ � ¡ ¦ � ¢ « ¡   � © ¥ � � � ¤ ­ � � ¡ � ¤ ¢ ¨ � « ° � � ¤ ¢ ¦ ¡ µ à © � à �� ¢ � © £ ¤ ¢ ¦ ° « ¬ � ¡ � « ¤ © ¢ « ¬ � ¡ ¦ � ¢ « « © © ´ ¤ ¢ « ¬ � ¨ ¥ � ­ ¤ © � � � « ¡ « � À �

� � � � � � � � � � � � ( �

³ � « ¥ ¡ ¤ ¢ « ¬ � ¡ ¦ � ¢ « � � © ¥ ¡ Ò Ì � £ ¢ � ª Å � ¥ © � Ë � É " � Ç Ë " � © ¥ � ¡ � ¬ � Ì ¨ � ¥ ¤ ª � ¢ « À � ¢ � ¨ ¤ � © £ �� © ¢ � ¤ � « � © � ¨   ¡ � ¤ ¢ ¦ « ¬ � ¡ ¦ � ¢ « ¤ ¢ « © ¡ ¥ ¡ ¢ £ © ª   § ¦ � ¢ � ¥ ¡ « � £ ° ¤ ¢ ¤ « ¤ ¡   � ¢ ­ ¤ ¥ © ¢ ª � ¢ « ° ¡ ¢ £« ¬ � ¢ ¡     ©  ¤ ¢ ¦ ¤ « « © � Ì ¨   © ¥ � � ¢ « ¤   ¤ « ¤ � � ¡ ¨ « � ¥ � £ © ¥ ¡ « ¬ ¥ � � ¬ ©   £ © � � · · � « � ¨ � ¤ � ¥ � ¡ � ¬ � £ À³ � ¥ � ¨ © ¥ « © � ¥ ¥ � � �   « � Å § « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � ¨ ¤ � © £ � � ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ ¢ � ª Å � ¥ © � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¡ � « ¤ © ¢ �Å � � ¡ � � �  � Å �   ¤ � ­ � � ¨ ¤ � © £ � � ¡ ¥ � ¡ ª © ¥ � � � � � �   ª � ¡ � � ¥ � © � Ô ª � ¡ ¢ ¤ ¢ ¦ � �   Õ « ¥ ¡ ¤ ¢ ¤ ¢ ¦£ © ¢ � B ¡ ¢ ¡ ¦ � ¢ « ¬ ¡ ­ ¤ ¢ ¦ � ©     � � « � £ ¡     © � « ¬ � � © © £ ¡ ¢ £ �   ¤ ª ¤ ¢ ¡ « � £ ¡     © � « ¬ � � ¢ � ª ¤ � �� © �   £ � ¨ � ¢ £ ¡   ¡ ¥ ¦ � ¡ ª © � ¢ « © � « ¤ ª � ¤ ¢ � � �   � � �  ¡ ¢ £ � ¥ ¤ ¢ ¦ ®  ¬ ¤   � ¥ � � � ¤ ­ ¤ ¢ ¦ ¢ © ¥ � ä ¢ � © ¥ � � ª � ¢ « � ¿ ° « ¬ � � � © � ¢ « ¤ ¢ ¦ ¡ � « ¤ © ¢ � ª ¤ ¦ ¬ « ¨ � ¢ ¡   ¤ � � � � � ¬ ¡ ¢ ¡ ¦ � ¢ « � ¤ ¢ � � ¤ « ¦ � « � « ©

Page 14: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� Ì ¨ � ¥ ¤ � ¢ � � � �  � ¥ ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � ¤ « � ¡ « ¤ © ¢ � À � ¢ ¡ ¢ § � ¡ � � ° � © ¥ ¡     © � © � ¥ ¥ � � �   « � « ¬ � ¥ � Ã� �   « � ¡ ¨ ¨ � ¡ ¥ Ó � ¡   ¤ « ¡ « ¤ ­ �   § � ¤ ª ¤   ¡ ¥  ¬ � ¢ ¦ ¥ ¡ ¨ ¬ � £ Å § « ¬ � ¢ � ª Å � ¥ © � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¡ � « ¤ © ¢ �® ¤ À � À ° « ¬ � ¡ ¦ � ¢ « � ¡     « ¡ ´ � ¡ � ¤ ª ¤   ¡ ¥ ¢ � ª Å � ¥ © � ¡ � « ¤ © ¢ � ¨ � ¥ � ¨ ¤ � © £ � £ � ¥ ¤ ¢ ¦ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¿ À

� ¡ � ¬ © � © � ¥ � ¢ ­ ¤ ¥ © ¢ ª � ¢ « � � © ¢ « ¡ ¤ ¢ � ¡ � Ì � ¦ ¥ ¤ £  ¤ « ¬ ¡ ¨ ¨ ¥ © Ì ¤ ª ¡ « �   § µ � © Å � « ¡ �   � � °� � ¢ � ª ¤ � � ° ¡ ¢ £ µ · � © © £ ¤ « � ª � À ³ � � � � « ¬ ¥ � � ¥ ¡ ¢ £ © ª   § ¦ � ¢ � ¥ ¡ « � £ � � Ó � � ¢ � � � © � ¤ ¢ ¤ « ¤ ¡  � ¢ ­ ¤ ¥ © ¢ ª � ¢ « � ¡ � ¡ Å ¡ � ¤ � � © ¥ « ¬ � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � ¨ ¤ � © £ � � À ³ � « ¥ ¡ ¤ ¢ µ · ¥ ¡ ¢ £ © ª   § ¤ ¢ ¤ « ¤ ¡   ä � � £ ¢ � «  © ¥ ´ � © ¢ � ¡ � ¬ © � « ¬ � « ¬ ¥ � � � � Ó � � ¢ � � � © � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « � ¸ ¬ � ¢ � � °  � ¥ � ¨ © ¥ «« ¬ � ¡ ­ � ¥ ¡ ¦ � £ ¥ � � �   « � © � � · ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � À ³ � � � « ¤ ª ¡ « � « ¬ � � � « � ¥ � ¡ ­ � ¥ ¡ ¦ � « © « ¡  ¥ � ¤ ¢ � © ¥ � � ª � ¢ « ® « ¬ � ¡ ­ � ¥ ¡ ¦ � � � ª © � « ¬ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � ¥ � � � ¤ ­ � £ Å § « ¬ � ¡ ¦ � ¢ « ¿ � Å §Ô � ¥ � � � ¤ ¢ ¦ Õ « ¬ � ¢ � «  © ¥ ´ ¡ ¢ £ ª � ¡ � � ¥ ¤ ¢ ¦ « ¬ � ¡ ­ � ¥ ¡ ¦ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « © ¢ ¡ « � � « � � « © �µ · · ¥ ¡ ¢ £ © ª   § ¦ � ¢ � ¥ ¡ « � £ � ¢ ­ ¤ ¥ © ¢ ª � ¢ « � ¸ « ¬ � � ¡ ª � « � � « � � « ¤ � � � � £ � © ¥ ¡     © � ¥ � Ì ¨ � ¥ ¤ ê � ¢ « � À

³ � � ¬ © � � ¨ ¡ ¥ ¡ ª � « � ¥ � � © ¥ © � ¥ � à   � ¡ ¥ ¢ ¤ ¢ ¦ ¡   ¦ © ¥ ¤ « ¬ ª « ¬ ¡ « ¡ ¥ � � ¤ ª ¤   ¡ ¥ « © « ¬ © � � ¤ ¢ í � � « ¤ ¦ ¡ « � £ Å § ¹ ¤ ¢ ® µ ¶ ¶ º ¿ À ½ ¬ �   � ¡ ¥ ¢ ¤ ¢ ¦ ¥ ¡ « � � © ¥ « ¬ � ¢ � «  © ¥ ´ ¤ � · À µ � °  ¤ « ¬ ¡ £ ¤ � � © � ¢ «� ¡ � « © ¥ © � · À ¶ À ½ © � � « ¡ Å   ¤ � ¬ ¡ Å ¡ � �   ¤ ¢ � � § � « � ª °  � � Ì ¨ � ¥ ¤ ª � ¢ « � £  ¤ « ¬ ­ ¡ ¥ ¤ © � � ¢ � ª ÃÅ � ¥ � © � ¬ ¤ £ £ � ¢ � ¢ ¤ « � ° � � « «   ¤ ¢ ¦ © ¢ µ � � ¤ ¢ � � « ¬ ¡ « ¢ � ª Å � ¥ ¥ � � �   « � £ ¤ ¢ « ¬ � Å � � « ¡ ­ � ¥ ¡ ¦ �¥ � ¤ ¢ � © ¥ � � ª � ¢ « � © ¥ « ¬ � Å ¡ � �   ¤ ¢ � � § � « � ª À ³ � ¡   � © � Ì ¨ � ¥ ¤ ª � ¢ « � £  ¤ « ¬ ¦ ¤ ­ ¤ ¢ ¦ « ¬ ¤ � � § � ë � ª ¥ � � � ¥ ¥ � ¢ « � ¢ ¤ « � ® ¡ � ¤ ¢ « ¬ � � ¢ ¤ « � * + , - . ¡ £ £ � � © ¥ ª �   « ¤ à � « � ¨ ¡ ¢ £   © © ¨ ¨   ¡ ¢ � ¿ °Å � « « ¬ � � � � ¢ ¤ « � £ ¤ £ ¢ © «   � ¡ £ « © ¤ ª ¨ ¥ © ­ � £ ¨ � ¥ � © ¥ ª ¡ ¢ � � � © ¥ « ¬ � Å ¡ � �   ¤ ¢ � � § � « � ª ° ¡ ¢ £ °¬ � ¢ � � ° « ¬ � Å ¡ � �   ¤ ¢ � ¥ � � �   « � ¡ ¥ � � © ¥ ¡ � § � « � ª  ¤ « ¬ © � « ¥ � � � ¥ ¥ � ¢ «   ¤ ¢ ´ � À Á ©  � ­ � ¥ ° ¥ � � ¡    « ¬ ¡ « « ¬ � ¤ ¢ ¨ � « ­ � � « © ¥ ¥ � � © ¥ £ � « ¬ �   ¡ � « ¡ � « ¤ © ¢ « ¡ ´ � ¢ À

� � « � ¥ � ¬ © © � ¤ ¢ ¦ ¡ ¢ ¤ ¢ ¤ « ¤ ¡   ¢ � «  © ¥ ´ « © ¨ ©   © ¦ § °  � « ¬ � ¢ � ¨ � ¢ « « ¤ ª � ¡ � « ¤ ¢ ¦ ¡ � ¡ � � � ¥© � * + , - . ° © Å � � ¥ ­ ¤ ¢ ¦ « ¬ � Å � ¬ ¡ ­ ¤ © ¥ © � « ¬ � ¡ ¦ � ¢ « ¡ « ­ ¡ ¥ ¤ © � � « ¤ ª � � À ¯ ¡ � � £ © ¢ « ¬ � � �© Å � � ¥ ­ ¡ « ¤ © ¢ � °  �  ¥ © « � � � ­ � ¥ ¡   � ©     � � « ¤ © ¢ � © � ¡ £ ­ ¤ � � À Ð © ¥ � � � ¤ ¢ © � ¥ � Ì ¨ � ¥ ¤ ª � ¢ « � °Â � � ¬ © � � � © � ¥ � � « � © � ¡ £ ­ ¤ � � ® � � � � ¨ ¨ � ¢ £ ¤ Ì � ¿ ° «  © « ¬ ¡ « � � � ª �   « ¤ à � « � ¨ ¨   ¡ ¢ � ® ¥ � Ã� � ¥ ¥ � £ « © ¡ � � � É � � � Ë � É Ë " ¡ ¢ £ @ # $ $ � # � Ç Ë Ç ¿ ° ¡ ¢ £ «  © « ¬ ¡ « £ © ¢ © « ® @ É � � � Ë � � È Ë " ¡ ¢ £ � � � � Ê Æ �� � È Ë " ¿ À

� � � � � � � � � �

� ¢ © � ¥ Ò ¥ � « � Ì ¨ � ¥ ¤ ª � ¢ « °  � � ­ ¡   � ¡ « � « ¬ � ¬ § ¨ © « ¬ � � ¤ � « ¬ ¡ « © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ � ¡ ¢ ¤ ¢ � ¡ � «« ¡ ´ � ¡ £ ­ ¡ ¢ « ¡ ¦ � © � ¡ £ ­ ¤ � � À � � « � ¥ µ · · · � ¨ ¤ � © £ � � © � ¤ ¢ ¤ « ¤ ¡     � ¡ ¥ ¢ ¤ ¢ ¦ °  � � � £ ¦ � « ¬ �­ ¡   � � © � ® ¤ ¢ £ � ¨ � ¢ £ � ¢ «   § ¿ ¨ ¥ © ­ ¤ £ ¤ ¢ ¦ � ¡ � ¬ © � « ¬ � � © � ¥ � � « � © � ¡ £ ­ ¤ � � « © © � ¥ ¡ ¦ � ¢ « � � ¤ ¢ ¦* + , - . À ³ � « ¥ ¡ ¤ ¢ « ¬ � ¡ ¦ � ¢ « � © ¥ º · · · ª © ¥ � � ¨ ¤ � © £ � � ¡ � « � ¥ ¦ ¤ ­ ¤ ¢ ¦ « ¬ � ¡ £ ­ ¤ � � ° « ¬ � ¢ª � ¡ � � ¥ � ¤ « � ¡ ­ � ¥ ¡ ¦ � � � ª �   ¡ « ¤ ­ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « © ¢ « ¬ � « � � « � � « À ® ½ ¬ � Å ¡ � �   ¤ ¢ � ¤ � ¡   � ©« ¥ ¡ ¤ ¢ � £ � © ¥ � · · · � ¨ ¤ � © £ � � ¿ À ½ ¡ Å   � � ¥ � ¨ © ¥ « � « ¬ � ¡ ­ � ¥ ¡ ¦ � £ « � � « � � « ¥ � ¤ ¢ � © ¥ � � ª � ¢ « ¸ ¡    ¦ ¡ ¤ ¢ � © ­ � ¥ « ¬ � Å ¡ � �   ¤ ¢ � � § � « � ª ¡ ¥ � � « ¡ « ¤ � « ¤ � ¡     § � ¤ ¦ ¢ ¤ Ò � ¡ ¢ « � À � © « � « ¬ ¡ « « ¬ � ¦ ¡ ¤ ¢ ¤ �¬ ¤ ¦ ¬ � ¥ � © ¥ « ¬ � � ¤ ª ¨   � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � @ É � � � Ë � � È Ë " ¡ ¢ £ � � � � Ê Æ �� � È Ë " °  ¬ ¤ � ¬ £ ©¢ © « ¤ ¢ � © ¥ ¨ © ¥ ¡ « � ª �   « ¤ à � « � ¨ ¨   ¡ ¢ � À ½ ¬ ¤ � � � ¦ ¦ � � « � « ¬ � ¢ � � £ � © ¥ � � ¥ « ¬ � ¥  © ¥ ´ © ¢ « ¡ ´ ¤ ¢ ¦� © ª ¨   � Ì ¡ £ ­ ¤ � � ¸ ¬ ©  � ­ � ¥ ° « ¬ � ª �   « ¤ à � « � ¨ ¡ £ ­ ¤ � � ª ¡ § � ¤ ª ¨   § Å �   � � � � � � � �   À

� ¡ � ¬ © � © � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � « © « ¬ � ¡ ¦ � ¢ « ¡ £ £ ¥ � � � � � � ¨ � � ¤ Ò � � � Å « ¡ � ´ � Ö � ©     � � « ¤ ¢ ¦� © © £ ® @ É � � � Ë � � È Ë " ¡ ¢ £ � � � � Ê Æ �� � È Ë " ¿ ¸ �   ¤ ª ¤ ¢ ¡ « ¤ ¢ ¦ � ¢ � ª ¤ � � ® � � É � � � Ë � É Ë " ¿ ¸ ¡ ¢ £¡ ­ © ¤ £ ¤ ¢ ¦ � ¢ � ª ¤ � � ° « ¬ � � � � ¥ ­ ¤ ­ ¤ ¢ ¦   © ¢ ¦ � ¥ ® @ É � � � Ë � � È Ë " ° � � � � Ê Æ �� � È Ë " ° ¡ ¢ £ @ # $ $ � # � Ç Ë Ç ¿ À Á � ¢ � � ° ¤ « ¤ � ¢ ¡ « � ¥ ¡   « © ¡ � ´ ¬ ©   �     � ¡ � ¬ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ª � � « � ¤ « � ¤ ¢ « � ¢ « À

Page 15: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� h � � V m ^ % � � " � � " � � � � � " � $ ! � " � � � � � � � � � � � � � " � � $ ! � � � � � � � � � " " � } � � ! $ � � N � � � # � � � � ! $ " � � $ ! � � � � � � ! N � � " � � � � � � � � � � � � � " � " � � " � � � � � � � � � � � � � � " #

� � N � � � � � � � � � N � � � � % ! " � � � � � � $ ! � � � � � � " ! � " � � % � � " � � "& ! � � � � � � � � � � � � # � �X Z R S � V i Q a V \ # � � Q [ � Q Y h �i Q a V \ � # � � � Z R � [ V R Z V \ # � �

X T W W Q T [ j V j # � �

� h � � V � ^ � � � � � � � � � � ! $ � � � � � � � � � } " � � � � $ ! ! � � ! � � � � " � � � � � � � � � � � ! $ � � " � ! � � " � O � � � � � � N � N � �" � � � � $ ! � " � � � � } � � � � � � " � � � � � � � � � � � � � % � � � � � #

� � N � � � � � � � � � � � � � � � � � } " � � � � � ! ! � � ! � � � � " � � � � � N � N � � % � � �& ! � � � � � � � � � � � � � # � � # � � � � # �X Z R S � V i Q a V \ � # � � # � � # �� Q [ � Q Y h �i Q a V \ � # � � � # � � � � # � � Z R � [ V R Z V \ � # � # � � � � # �X T W W Q T [ j V j � # � � � # � � # �

½ ¡ Å   � Ï ¥ � ¨ © ¥ « � � « ¡ « ¤ � « ¤ � � © ¢ « ¬ � � © ª ¨ © ¢ � ¢ « � © � « ¬ � ¥ �  ¡ ¥ £ À ½ ¬ � � � � « ¡ « ¤ � « ¤ � � � ¬ © « ¬ ¡ « « ¬ � ¨ ¤ � � � � © � ¡ £ ­ ¤ � � £ © ¤ ¢ £ � � £   � ¡ £ « © « ¬ � � Ì ¨ � � « � £ ¤ ª ¨ ¥ © ­ � ª � ¢ « � À Ð © ¥ � Ì ¡ ª è   � ° © � ¥ ¡ £ ­ ¤ � � � � É � � � Ë � É Ë "   � ¡ £ � « © ¡ ª � � ¬   ¡ ¥ ¦ � ¥ ¢ � ª Å � ¥ © � � ¢ � ª ¤ � � �   ¤ ª ¤ ¢ ¡ « � £« ¬ ¡ ¢ « ¬ � Å ¡ � �   ¤ ¢ � © ¥ ¡ ¢ § © � « ¬ � © « ¬ � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � À

� ¢ © � ¥ � � � © ¢ £ � Ì ¨ � ¥ ¤ ª � ¢ «  � ¤ ¢ ­ � � « ¤ ¦ ¡ « � « ¬ � ¬ § ¨ © « ¬ � � ¤ � « ¬ ¡ « « ¬ � © Å � � ¥ ­ � ¥ � ¡ ¢Å � ¢ � Ò � ¤ ¡     § ¨ ¥ © ­ ¤ £ � ¡ £ ­ ¤ � � ¡ « ¡ ¢ § « ¤ ª � £ � ¥ ¤ ¢ ¦ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ À ½ © « � � « « ¬ ¤ � °  � ¤ ¢ � � ¥ « « ¬ �� © � ¥ � � « � © � ¡ £ ­ ¤ � � ¡ « £ ¤ Ä � ¥ � ¢ « ¨ © ¤ ¢ « � ¤ ¢ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ® ¡ � « � ¥ · ° µ · · · ° ¡ ¢ £ º · · · � ¨ ¤ � © £ � � ¿ ÀÐ ¤ ¦ � ¥ � ¶ � © ¢ « ¡ ¤ ¢ � « ¬ � ¥ � � �   « � � © ¥ « ¬ � � © � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � À ½ ¬ � § ¤ ¢ £ ¤ � ¡ « � « ¬ �   � ¡ ¥ ¢ � ¥£ © � � ¤ ¢ £ � � £ � © ¢ ­ � ¥ ¦ � « © ¡ ¨ ¨ ¥ © Ì ¤ ª ¡ « �   § « ¬ � � ¡ ª � � Ì ¨ � � « � £ ¥ �  ¡ ¥ £ ¢ © ª ¡ « « � ¥  ¬ � ¢« ¬ � ¡ £ ­ ¤ � � ¤ � ¨ ¥ � � � ¢ « � £ À

Ñ � ¥ « ¬ ¤ ¥ £ � Ì ¨ � ¥ ¤ ª � ¢ « ¤ ¢ ­ � � « ¤ ¦ ¡ « � � « ¬ � ¬ § ¨ © « ¬ � � ¤ � « ¬ ¡ « � � Å � � Ó � � ¢ « ¡ £ ­ ¤ � �  ¤       � ¡ £« © � � ¥ « ¬ � ¥ ¦ ¡ ¤ ¢ � ¤ ¢ ¨ � ¥ � © ¥ ª ¡ ¢ � � À ½ © « � � « « ¬ ¤ � ¬ § ¨ © « ¬ � � ¤ � °  � � � ¨ ¨   ¤ � £ � ¡ � ¬ © � © � ¥� © � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � « © ¡ ¢ ¡ ¦ � ¢ « ¡ � « � ¥ µ · · · � ¨ ¤ � © £ � � ® ¡ � ¤ ¢ © � ¥ Ò ¥ � « � Ì ¨ � ¥ ¤ ª � ¢ « ¿ °� � ¨ ¨   ¤ � £ © ¢ � © � « ¬ � ¥ � ª ¡ ¤ ¢ ¤ ¢ ¦ « ¬ ¥ � � ¨ ¤ � � � � © � ¡ £ ­ ¤ � � ¡ � « � ¥ ¡ ¢ © « ¬ � ¥ µ · · · � ¨ ¤ � © £ � � ° ¡ ¢ £« ¬ � ¢ « ¥ ¡ ¤ ¢ � £ « ¬ � ¥ � � �   « ¤ ¢ ¦ ¡ ¦ � ¢ « � © ¥ º · · · ª © ¥ � � ¨ ¤ � © £ � � À ½ ¬ � � � ¥ � � �   « � ¡ ¥ � ¡ ­ � ¥ ¡ ¦ � £© ­ � ¥ � · ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � ¤ ¢ � « � ¡ £ © � « ¬ � � · ¢ � «  © ¥ ´ � � � � £ ¤ ¢ « ¬ � © « ¬ � ¥ � Ì ¨ � ¥ ¤ ª � ¢ « �¤ ¢ © ¥ £ � ¥ « © © Å « ¡ ¤ ¢ � « ¡ « ¤ � « ¤ � ¡     § � ¤ ¦ ¢ ¤ Ò � ¡ ¢ « ¥ � � �   « � À ½ ¡ Å   � � � ¬ ©  � « ¬ � ¥ � � �   « � � © ¥ « ¬ ¤ �« � � « À

� ¢ ¡     � ¡ � � � ° ¡ £ £ ¤ ¢ ¦ ¡ � � � © ¢ £ ¨ ¤ � � � © � ¡ £ ­ ¤ � �   � ¡ £ � « © ¤ ª ¨ ¥ © ­ � £ ¨ � ¥ � © ¥ ª ¡ ¢ � � À Á ©  Ã� ­ � ¥ ° « ¬ � ¥ � � �   « ¤ ¢ ¦ ¦ ¡ ¤ ¢ �  ¬ � ¢ ¡ £ £ ¤ ¢ ¦ « ¬ � � � � © ¢ £ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ¡ ¥ � ¢ © « ¡ �   ¡ ¥ ¦ � ¡ �« ¬ � © ¥ ¤ ¦ ¤ ¢ ¡   ¦ ¡ ¤ ¢ � © ­ � ¥ « ¬ � Å ¡ � �   ¤ ¢ � � § � « � ª À ³ � � � � ¨ � � « « ¬ ¤ � © � � � ¥ � £ � � « © ¡ � © ª Å ¤ â ¡ « ¤ © ¢ © � � ¡ � « © ¥ � Ö ® ¤ ¿ « ¬ � ¥ � ¤ � ¡ ¢ � ¨ ¨ � ¥   ¤ ª ¤ « « © ¬ ©   �     « ¬ � ¡ ¦ � ¢ « � � ¡ ¢ £ © B « ¬ © � ¦ ¬¤ « ¤ � £ ¤� � �   « « © Ó � ¡ ¢ « ¤ � § ¸ ® ¤ ¤ ¿ « ¬ � ¨ ¤ � � � � © � ¡ £ ­ ¤ � � ¤ ¢ « � ¥ ¡ � « B « ¬ � § ª ¡ § � � ¦ ¦ � � « £ ¤ � Ã� � ¥ � ¢ « ¡ � « ¤ © ¢ � ¤ ¢ £ ¤ Ä � ¥ � ¢ « � ¤ « � ¡ « ¤ © ¢ � ° ¡ ¢ £ ¤ ¢ « ¬ � ¨ ¥ © � � � � © � ¥ � � ©   ­ ¤ ¢ ¦ « ¬ � � � � © ¢ � ¤ � « � °

Page 16: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

-1.00

-0.50

0.00

0.50

1.00

1.50

2.00

0 1000 2000 3000 4000Number of training episodes

Ave

rage

cum

ulat

ive

test

set r

einf

orce

men

tSimpleMoves

-1.00

-0.50

0.00

0.50

1.00

1.50

2.00

0 1000 2000 3000 4000Number of training episodes

ElimEnemies

-1.00

-0.50

0.00

0.50

1.00

1.50

2.00

0 1000 2000 3000 4000Number of training episodes

Ave

rage

cum

ulat

ive

test

set r

einf

orce

men

t

NonLocalMoves

-1.00

-0.50

0.00

0.50

1.00

1.50

2.00

0 1000 2000 3000 4000Number of training episodes

Surrounded

No advice

Advice after 0 episodes

Advice after 1000 episodes

Advice after 2000 episodes

� Z � T W V � ^ � N � � � � " ! " � � � � � � $ ! � � � � � � " $ ! � ! � � $ ! � � � � � } � � } � � � � � ! $ � � N � � � � � � $ � � � " � ! � ! $ � � ! � � "! $ " � � � � � � � � � } ! � � " ! $ � � � � � " � ! � ! $ " � � � � N � � � #

� h � � V l ^ � N � � � � " � � " � � " � � � � $ ! � � � � � � " $ ! � � � � � ! $ " � � } ! � � � � � � } � � � � ! $ ! � � $ ! � � � � " � ! $ � � N � � � #% � � � � � " } � � � � ! $ � � N � � � � � � � � � � � $ " � � � � � � } � � ! � � � " � � � � � ! � � } � � � � ! $ � � N � � � � $ " � � � � � � � � " � ! � � � � � � � } � � ! � � � � � � " � � � " � � � � � � $ ! � � � � � � ! � � � } � � ! � � � � " ! " � � ! $ � � � " � � � � � � � } � � ! � � � � # � � ! � � � �} � � � � " � � � � � � � � " " ! " � � � � � " } � � � � � ! $ � � N � � � � � � " � � } � � $ ! � � � � � � � � � � � " � $ � ! � ! � � � � � " � � } � � � � � � "� � � � � ! � � � � � � � � � } � � � � ! $ � � N � � � � � � � � � � � # � � � ! $ " � � � � � � � " � � � � � " � � � ! � � " � " � � " � � � � � �� � � � � � � � " � � � � � � } � � $ ! � � � � � � ! N � � " � � � � � " � � " � � � � " " � � � � � " } � � � � ! $ � � N � � � #

� � � ! � � � � � � � ! $ � � N � � �� � � � " � � � � � ! $ � � N � � � X Z R S � V i Q a V \ � Q [ � Q Y h �i Q a V \ � � Z R � [ V R Z V \ X T W W Q T [ j V jX Z R S � V i Q a V \ � # � � � � # � � # � � # � �� Q [ � Q Y h �i Q a V \ � � # � � � # � � � � # � � # �� � Z R � [ V R Z V \ � # � � � � # � � # � � � � # � �X T W W Q T [ j V j � # � � � � # � � # # � � �

« ¬ � ¡ ¦ � ¢ « ª ¡ § � � � © ¢ � ¨ ¤ � � � © � ¡ £ ­ ¤ � �   � � � © � « � ¢ ¸ ¡ ¢ £ ® ¤ ¤ ¤ ¿ « ¬ � ¡ £ ­ ¤ � � ¨ ¤ � � � � ¡ ¥ �¥ �   ¡ « � £ ° � © « ¬ ¡ « © ¢ � ¨ ¤ � � � ª ¡ § � © ­ � ¥ � ¤ « � ¡ « ¤ © ¢ � « ¬ ¡ « « ¬ � © « ¬ � ¥ ¡   ¥ � ¡ £ § � © ­ � ¥ � À �   � ©¤ ¢ « � ¥ � � « ¤ ¢ ¦ « © ¢ © « � ¤ � « ¬ ¡ « « ¬ � © ¥ £ � ¥ © � ¨ ¥ � � � ¢ « ¡ « ¤ © ¢ ¡ Ä � � « � « ¬ �   � ­ �   © � ¨ � ¥ � © ¥ ª ¡ ¢ � �¡ � ¬ ¤ � ­ � £ ¤ ¢ � © ª � � ¡ � � � ® � À ¦ À ° ¨ ¥ � � � ¢ « ¤ ¢ ¦ � � � � Ê Æ �� � È Ë " � ©     ©  � £ Å § @ É � � � Ë � � È Ë "¡ � ¬ ¤ � ­ � � ¬ ¤ ¦ ¬ � ¥ ¨ � ¥ � © ¥ ª ¡ ¢ � � « ¬ ¡ ¢ @ É � � � Ë � � È Ë " � ©     ©  � £ Å § � � � � Ê Æ �� � È Ë " ¿ À

Page 17: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� h � � V o ^ � N � � � � " ! " � � � � � � $ ! � � � � � � " � � � � � " � $ ! � " � � � � N � � � � Q [ � Q Y h �i Q a V \ � � � � " � ! $ ! � � � ! $� � } � � � # % � � � � N � � � � � � � � � � " � � � � � " � � � " � � � � " � ! � O � � " � � � � � � $ ! � � � � � } � � ! � � � # � � } � � � � � � � � " �� � � " � � � V \ U � � � � � " � � � � � � N � � ! � � � � � } � � ! � � � ! $ " � � � � � � � ! � � � � � � � � " � � � � } � � ! � � � $ ! � � � " � ! �� � } � � � � � � � � � � } � � ! � � � $ ! � � � � � � � � � � � } � � � � # � � � � � " � $ ! � " � � � � � � � � } } � ! � � � � � " � ! � " � � } � � �� � � � � � ! � � ! � � � " � � � � � � � � � " � � � � $ ! � � � � " � � � � � � � } � � ! � � � #

% � � � � � � � � " � ! � � N � � � � % ! " � � % � � " � � " � � � � $ ! � � � � � � "� " � � � � � � � � � � � � ! � � } � � � � # � � � " � ! � � � � } � � � � � " � ! � # �� � � � � � � � � � � } � � � � � " � ! � # �

� ¢ © � ¥ � © � ¥ « ¬ � Ì ¨ � ¥ ¤ ª � ¢ «  � � ­ ¡   � ¡ « � « ¬ � � � � � �   ¢ � � � © � � © ª Å ¤ ¢ ¤ ¢ ¦ © � ¥ ¡ £ ­ ¤ � � æ ¤ ­ ¤ ¢ ¦ ¡ ¨ ¨ ¥ © ¡ � ¬  ¤ « ¬ ¹ ¤ ¢ � � Ô ¥ � ¨   ¡ § Õ « � � ¬ ¢ ¤ Ó � � ® µ ¶ ¶ º ¿ À ¹ ¤ ¢ ¤ ¢ « ¥ © £ � � � £ « ¬ � ¥ � ¨   ¡ §ª � « ¬ © £ « © ª ¡ ´ � � � � © � Ô ¦ © © £ Õ � � Ó � � ¢ � � � © � ¡ � « ¤ © ¢ � ¨ ¥ © ­ ¤ £ � £ Å § ¡ « � ¡ � ¬ � ¥ À � ¢¥ � ¨   ¡ § ° « ¬ � ¡ ¦ � ¢ « « ¥ ¡ ¤ ¢ � © ¢ « ¬ � « � ¡ � ¬ � ¥ à ¨ ¥ © ­ ¤ £ � £ � � Ó � � ¢ � � � � ¥ � Ó � � ¢ «   § « © Å ¤ ¡ � ¤ « �� « ¤   ¤ « § � � ¢ � « ¤ © ¢ « ©  ¡ ¥ £ � « ¬ � � � ¦ © © £ ¡ � « ¤ © ¢ � À ½ ¬ ¥ � ¢ ® µ ¶ ¶ Ï ° ¨ � ¥ � © ¢ ¡   � © ª ª � ¢ ¤ � ¡ « ¤ © ¢ ¿¥ � ¨ © ¥ « � « ¬ ¡ « ¥ � ¨   ¡ § � ¡ ¢ ¤ ¢ � ¡ � « Å � � � � � �   � ­ � ¢  ¬ � ¢ « ¬ � ¥ � ª � ª Å � ¥ � £ � � Ó � � ¢ � � �¡ ¥ � ¢ © « « � ¡ � ¬ � ¥ à ¨ ¥ © ­ ¤ £ � £ � � Ó � � ¢ � � � B ¤ ¢ � Ä � � « ° Å § « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ª �   « ¤ ¨   � « ¤ ª � � © ¢ � ¡ � ¬� « ¡ « � à ¡ � « ¤ © ¢ ¨ ¡ ¤ ¥ « ¬ � ¡ ¦ � ¢ « ¤ � Ô   � ­ � ¥ ¡ ¦ ¤ ¢ ¦ Õ ª © ¥ � ­ ¡   � � © � « © � � ¡ � ¬ � Ì ¡ ª ¨   � À Á � ¢ � � °© � ¥ � Ì ¨ � ¥ ¤ ª � ¢ « ¡ £ £ ¥ � � � � � «  © ¥ �   ¡ « � £ Ó � � � « ¤ © ¢ � Ö ® ¤ ¿ £ © � � « ¬ � ¡ £ ­ ¤ � � ¨ ¥ © ­ ¤ £ � ¡ ¢ §Å � ¢ � Ò « © ­ � ¥ � ¤ ª ¨   § ¥ � � � ¤ ¢ ¦ « ¬ � ¡ ¦ � ¢ « � � � Ì ¨ � ¥ ¤ � ¢ � � � ª �   « ¤ ¨   � « ¤ ª � � � ° ¡ ¢ £ ® ¤ ¤ ¿ � ¡ ¢© � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ Å � ¢ � Ò « � ¥ © ª ¥ � ¨   ¡ § ° � © ¥ � Ì ¡ ª ¨   � ° Å § ¢ � � £ ¤ ¢ ¦ � �  � ¥ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � ¨ ¤ � © £ � �« © ¡ � ¬ ¤ � ­ � ¡ ¦ ¤ ­ � ¢   � ­ �   © � ¨ � ¥ � © ¥ ª ¡ ¢ � � � Ñ � ¥ ¬ § ¨ © « ¬ � � ¤ �  ¡ � « ¬ ¡ « « ¬ � ¡ ¢ �  � ¥ « ©Å © « ¬ Ó � � � « ¤ © ¢ � ¤ � Ô § � � À Õ

½ © « � � « © � ¥ ¬ § ¨ © « ¬ � � ¤ �  � ¤ ª ¨   � ª � ¢ « � £ «  © ¡ ¨ ¨ ¥ © ¡ � ¬ � � « © ¥ � ¨   ¡ § ¤ ¢ * + , - . ¡ ¢ £� ­ ¡   � ¡ « � £ « ¬ � ª � � ¤ ¢ ¦ « ¬ � � � � � Ê Æ �� � È Ë " ¡ £ ­ ¤ � � À � ¢ © ¢ � ¡ ¨ ¨ ¥ © ¡ � ¬ °  ¬ ¤ � ¬  �  ¤    � ¡     � Ê � É � � � Ë � � Æ � °  � � ¤ ª ¨   § ´ � � ¨ « ¬ �   ¡ � « � � « ¡ « � à ¡ � « ¤ © ¢ ¨ ¡ ¤ ¥ � « ¬ ¡ « « ¬ � ¡ ¦ � ¢ «� ¢ � © � ¢ « � ¥ � £ ° ¡ ¢ £ © ¢ � ¡ � ¬ � « � ¨ « ¥ ¡ ¤ ¢  ¤ « ¬ ¡     © � « ¬ � � ¡ ­ � £ � « ¡ « � à ¡ � « ¤ © ¢ ¨ ¡ ¤ ¥ � ¤ ¢ ¡¥ ¡ ¢ £ © ª ¤ � � £ © ¥ £ � ¥ À � � � � © ¢ £ ¡ ¨ ¨ ¥ © ¡ � ¬ ® � ¤ ª ¤   ¡ ¥ « © ¹ ¤ ¢ � � ¿ °  ¬ ¤ � ¬  �  ¤     � ¡     @ Ë � # Ë � Ê Ë � Ë � � Æ � ° ¤ � ª © ¥ � � © ª ¨   ¤ � ¡ « � £ À Á � ¥ � °  � ´ � � ¨ « ¬ �   ¡ � « � " Ë � # Ë � Ê Ë " © � ¡ � « ¤ © ¢ �« ¬ ¡ « � ¢ £ � £  ¬ � ¢ « ¬ � ¡ ¦ � ¢ « ¥ � � � ¤ ­ � £ ¡ ¢ © ¢ à � � ¥ © ¥ � ¤ ¢ � © ¥ � � ª � ¢ « À Ñ ¢ � � ¡ � � Ó � � ¢ � �� © ª ¨   � « � � °  � « ¥ ¡ ¤ ¢ © ¢ ¡     © � « ¬ � � ¡ ­ � £ � � Ó � � ¢ � � � ° ¡ ¦ ¡ ¤ ¢ ° ¤ ¢ ¡ ¥ ¡ ¢ £ © ª ¤ � � £ © ¥ £ � ¥ À ½ ©« ¥ ¡ ¤ ¢ « ¬ � ¢ � «  © ¥ ´  ¤ « ¬ ¡ � � Ó � � ¢ � � °  � Ò ¥ � « « ¥ ¡ ¤ ¢ « ¬ � ¢ � «  © ¥ ´ © ¢ « ¬ � � « ¡ « �  ¬ � ¥ �« ¬ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «  ¡ � ¥ � � � ¤ ­ � £ ° « ¬ � ¢ « ¬ � � « ¡ « � © ¢ � � « � ¨ Å � � © ¥ � « ¬ ¡ « � « ¡ « � ° « ¬ � ¢ «  ©� « � ¨ � Å � � © ¥ � « ¬ ¡ « � « ¡ « � ° � « � À ° © ¢ « ¬ � « ¬ � © ¥ § « ¬ ¡ « « ¬ � � « ¡ « � � ¢ � ¡ ¥ � � « ¥ � ¤ ¢ � © ¥ � � ª � ¢ « �Å � � « � � « ¤ ª ¡ « � « ¬ � ¡ � « � ¡   � « ¤   ¤ « § © � « ¬ � � « ¡ « � À � � � �   « � � © ¥ ´ � � ¨ ¤ ¢ ¦ º � · � « ¡ « � à ¡ � « ¤ © ¢¨ ¡ ¤ ¥ � ¡ ¢ £ º � · � � Ó � � ¢ � � � � ¡ ¨ ¨ � ¡ ¥ ¤ ¢ ½ ¡ Å   � � ¸ £ � � « © « ¤ ª � � © ¢ � « ¥ ¡ ¤ ¢ « �  � « ¥ ¡ ¤ ¢ � £« ¬ � � � ¡ ¦ � ¢ « � � © ¥ © ¢   § µ · · · � ¨ ¤ � © £ � � À

± � ¥ ¨ ¥ ¤ � ¤ ¢ ¦   § ° ¥ � ¨   ¡ § £ ¤ £ ¢ © « ¬ �   ¨ © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ À � � « � ¥ � Ì ¡ ª ¤ ¢ ¤ ¢ ¦ ¢ � «  © ¥ ´ � £ � ¥ ¤ ¢ ¦¥ � ¨   ¡ § « ¥ ¡ ¤ ¢ ¤ ¢ ¦ °  � ¬ § ¨ © « ¬ � � ¤ � � « ¬ ¤ � © � � � ¥ ¥ � £ Å � � ¡ � � �  � ¡ ¥ � � � ¤ ¢ ¦ ¡ � ¤ ¢ ¦   � ¢ � «  © ¥ ´« © ¨ ¥ � £ ¤ � « ¡     © � « ¬ � � ­ ¡   � � � � © ¥ ¡ � « ¡ « � À � � ¥ ¤ ¢ ¦ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ° « © £ � « � ¥ ª ¤ ¢ � ¡ « ¡ ¥ ¦ � «­ � � « © ¥ � © ¥ « ¬ � ¢ � «  © ¥ ´ °  � Ò ¥ � « � ¡   � �   ¡ « � « ¬ � ¢ �  � ­ ¡   � � � © ¥ « ¬ � ¡ � « ¤ © ¢ « ¬ � ¡ ¦ � ¢ «¡ � « � ¡     § ¨ � ¥ � © ¥ ª � £ À ³ � « ¬ � ¢ ¡ � « ¤ ­ ¡ « � « ¬ � ¢ � «  © ¥ ´ ° ¡ ¢ £ � � « « ¬ � « ¡ ¥ ¦ � « © � « ¨ � « ­ � � « © ¥� © ¥ « ¬ � ¢ � «  © ¥ ´ « © Å � � Ó � ¡   « © « ¬ � ¡ � « � ¡   © � « ¨ � « ­ � � « © ¥ ° � Ì � � ¨ « « ¬ ¡ «  � � � � « ¬ � ¢ � Â

Page 18: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� h � � V n ^ � N � � � � " � � " � � " � � � � $ ! � � � � � � " � � � � " � � � " � � � � � � � } } � ! � � � " ! � � � � � � N � � � � ! � } � � � �" ! " � � � � � � � � � " � ! � #� � N � � � � � � � � � � � � � � �X Z R S � V i Q a V \ # � � # � � Q [ � Q Y h �i Q a V \ # � � # � � � Z R � [ V R Z V \ # � � # � �

X T W W Q T [ j V j # � # � �

¨ ¥ � £ ¤ � « ¤ © ¢ � © ¥ « ¬ � ¡ � « ¤ © ¢ « ¡ ´ � ¢ À Ð © ¥ � Ì ¡ ª ¨   � ° ¡ � � � ª � « ¬ � ¡ ¦ � ¢ « « ¡ ´ � � ¡ � « ¤ © ¢ «  ©® © � « ¬ ¥ � � ¡ � « ¤ © ¢ � ¿ ¡ ¢ £ � ¡   � �   ¡ « � � « ¬ ¡ « « ¬ � � ­ ¡   � � � © ¥ ¡ � « ¤ © ¢ «  © � ¬ © �   £ Å � · À � À ½ ©� ¥ � ¡ « � ¡ « ¡ ¥ ¦ � « ­ � � « © ¥ « ¬ � ¡ ¦ � ¢ « ¡ � « ¤ ­ ¡ « � � « ¬ � ¢ � «  © ¥ ´  ¤ « ¬ « ¬ � � « ¡ « � ® ¡ � � � ª � « ¬ ¡ «« ¬ � ¥ � � �   « ¤ ¢ ¦ © � « ¨ � « ­ � � « © ¥ ¤ � � · À Ï ° · À � ° · À � � ¿ ° ¡ ¢ £ « ¬ � ¢ � ¥ � ¡ « � � ¡ « ¡ ¥ ¦ � « ­ � � « © ¥ « ¬ ¡ « ¤ �« ¬ � � ¡ ª � ¡ � « ¬ � © � « ¨ � « ­ � � « © ¥ � Ì � � ¨ « � © ¥ « ¬ � ¢ �  � ­ ¡   � � � © ¥ « ¬ � ¡ � « ¤ © ¢ « ¡ ´ � ¢ ® ¤ À � À °� · À Ï ° � � � ° · À � � ¿ À ½ ¬ ¤ � � ¡ � � � � « ¬ � ¢ � «  © ¥ ´ « © ¬ ¡ ­ � � ¥ ¥ © ¥ ¡ « © ¢   § © ¢ � © � « ¨ � « � ¢ ¤ « ® « ¬ �© ¢ � ¡ � � © � ¤ ¡ « � £  ¤ « ¬ « ¬ � ¡ � « ¤ © ¢ « ¡ ´ � ¢ ¿ À Ð © ¥ ¥ � ¨   ¡ § « ¬ ¤ � ¤ � ¡ ¨ ¥ © Å   � ª Å � � ¡ � � �  �  ¤    Å � ¡ � « ¤ ­ ¡ « ¤ ¢ ¦ « ¬ � ¢ � «  © ¥ ´ � © ¥ ¡ � « ¡ « � ¡ ¢ � ª Å � ¥ © � « ¤ ª � � ° Å � « © ¢   § « ¥ § ¤ ¢ ¦ « © � © ¥ ¥ � � «   §¨ ¥ � £ ¤ � « © ¢ � © � « ¨ � « � ¢ ¤ « ® « ¬ � © « ¬ � ¥ © � « ¨ � « � ¡ ¥ � � � � � ¢ « ¤ ¡     § ¡     ©  � £ « © « ¡ ´ � © ¢ ¡ ¢ §­ ¡   � � ¿ ° ¡ ¢ £ � ¤ ¢ � � « ¬ � © � « ¨ � « � ¢ ¤ « � � ¬ ¡ ¥ � ¬ ¤ £ £ � ¢ � ¢ ¤ « � ° � ¬ ¡ ¢ ¦ � � ª ¡ £ � « © ¨ ¥ � £ ¤ � « © ¢ �© � « ¨ � « � ¢ ¤ « ª ¡ § ¡ Ä � � « © « ¬ � ¥ � À � �  � ¥ � ¨ � ¡ « « ¬ ¤ � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¡ ¢ � ª Å � ¥ © � « ¤ ª � � ° « ¬ �� ­ ¡   � � � � © ¥ © « ¬ � ¥ ¡ � « ¤ © ¢ � ¤ ¢ ¡ � « ¡ « � ª ¡ § Å � � © ª � ¦ ¥ � ¡ «   § £ ¤ � « © ¥ « � £ À �   � © ° ¤ � « ¬ � ¥ �¤ � � ¢ ¨ ¥ � £ ¤ � « ¡ Å ¤   ¤ « § ¤ ¢ « ¬ � © � « � © ª � � © � ¡ � « ¤ © ¢ � ° ¤ « ¤ � ¤ ª ¨ © ¥ « ¡ ¢ « « © ¡ ­ � ¥ ¡ ¦ � © ­ � ¥ « ¬ �£ ¤ Ä � ¥ � ¢ « ¥ � � �   « � ¸ ¥ � ¨   ¡ § � © � � � � � © ¢ ¡ � ¤ ¢ ¦   � © � « � © ª � À Ñ ¢ � ¨ © � � ¤ Å   � � ©   � « ¤ © ¢ « © « ¬ ¤ �¨ ¥ © Å   � ª ¤ � « © � � � � � ¨ ¡ ¥ ¡ « � ¢ � «  © ¥ ´ � � © ¥ � ¡ � ¬ ¡ � « ¤ © ¢ ° Å � « « ¬ ¤ � ª � ¡ ¢ � « ¬ � ¡ � « ¤ © ¢ � ¤     ¢ © « Å � ¡ Å   � « © � ¬ ¡ ¥ � � © ¢ � � ¨ « �   � ¡ ¥ ¢ � £ ¡ « « ¬ � ¬ ¤ £ £ � ¢ � ¢ ¤ « � À ³ � ¨   ¡ ¢ « © � � ¥ « ¬ � ¥¤ ¢ ­ � � « ¤ ¦ ¡ « � « ¬ ¤ � « © ¨ ¤ � ° � ¤ ¢ � � ¥ � ¨   ¡ § ¤ ¢ « � ¤ « ¤ ­ �   § � � � ª � « © Å � ¡ ­ ¡   � ¡ Å   � « � � ¬ ¢ ¤ Ó � � � © ¥¥ � £ � � ¤ ¢ ¦ « ¬ � ¡ ª © � ¢ « © � � Ì ¨ � ¥ ¤ ª � ¢ « ¡ « ¤ © ¢ ¡ ¢ � ¹ ¡ ¦ � ¢ « ¬ ¡ � « © ¨ � ¥ � © ¥ ª À

Ñ � ¥ Ò ¢ ¡   � Ì ¨ � ¥ ¤ ª � ¢ « ¤ ¢ ­ � � « ¤ ¦ ¡ « � � ¡ ¢ ¡ ¤ ­ � ¡ ¨ ¨ ¥ © ¡ � ¬ � © ¥ � � ¤ ¢ ¦ ¡ £ ­ ¤ � � À ½ ¬ ¤ � � ¤ ª ¨   �� « ¥ ¡  ª ¡ ¢ ¡   ¦ © ¥ ¤ « ¬ ª � ©     ©  � « ¬ � © Å � � ¥ ­ � ¥ � � ¡ £ ­ ¤ � �  ¬ � ¢ ¤ « ¡ ¨ ¨   ¤ � � ¸ © « ¬ � ¥  ¤ � � ¤ « � � � �¡ Ô « ¥ ¡ £ ¤ « ¤ © ¢ ¡   Õ � © ¢ ¢ � � « ¤ © ¢ ¤ � « � à   � ¡ ¥ ¢ � ¥ « © � ¬ © © � � ¤ « � ¡ � « ¤ © ¢ � À ³ � � � � « ¬ ¤ � � « ¥ ¡  ª ¡ ¢« © � ­ ¡   � ¡ « � ¤ � ¤ « ¤ � ¤ ª ¨ © ¥ « ¡ ¢ « « ¬ ¡ « « ¬ � ¡ ¦ � ¢ « ¥ � Ò ¢ � « ¬ � ¡ £ ­ ¤ � � ¤ « ¥ � � � ¤ ­ � � À ³ ¬ � ¢ª � ¡ � � ¥ � £ © ¢ « ¬ � « � � « � � « ° « ¬ � � « ¥ ¡  ª ¡ ¢ � ª ¨   © § � ¡   © © ¨ � ¤ ª ¤   ¡ ¥ « © « ¬ ¡ « � ¬ ©  ¢ ¤ ¢½ ¡ Å   � º À Ñ ¢ � £ ¤ Ä � ¥ � ¢ � � � © ¥ « ¬ � � « ¥ ¡  ª ¡ ¢ � � ¡   ¦ © ¥ ¤ « ¬ ª ¤ � « ¬ ¡ « ± « � ¨ � ¤ ¢ ½ ¡ Å   � º � �¡   ¦ © ¥ ¤ « ¬ ª ¤ �   � � « © � « À ½ ¬ � © « ¬ � ¥ £ ¤ Ä � ¥ � ¢ � � ¤ � « ¬ ¡ « ± « � ¨ º ® � �   � � « ¤ ¢ ¦ ¡ ¢ ¡ � « ¤ © ¢ ¿ ¤ �¥ � ¨   ¡ � � £ Å § « ¬ � � ©     ©  ¤ ¢ ¦ Ö

� � 6 � � � � � � � � � � � � � 0 � � � 6 � � � � � � � � � � � � � � � �/ 0 � � � � � � � � � � � � � 6 � � � � � 2 � � � � � � � � � � � � � � 2 � � � � � � � � � � � � � � � � � � � � � � 1 � � > = � � � � � � � � � � � ! � � 6 � 6 � � � � � 3

½ ¬ � ¨ � ¥ � © ¥ ª ¡ ¢ � � © � « ¬ ¤ � � « ¥ ¡  ª ¡ ¢ ¤ � ¥ � ¨ © ¥ « � £ ¤ ¢ ½ ¡ Å   � � À � ¢ ¡     � ¡ � � � ° * + , - .¨ � ¥ � © ¥ ª � Å � « « � ¥ « ¬ ¡ ¢ « ¬ � � « ¥ ¡  ª ¡ ¢ ¸ ¡     © � « ¬ � � � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « ¦ ¡ ¤ ¢ � ¡ ¥ � � « ¡ « ¤ � « ¤ � ¡     §� ¤ ¦ ¢ ¤ Ò � ¡ ¢ « À � ¢ � ¡ � « ° ¤ ¢ «  © © � « ¬ � � ¡ � � � ° � � É � � � Ë � É Ë " ¡ ¢ £ @ # $ $ � # � Ç Ë Ç ° « ¬ � ¥ � � �   « ¤ ¢ ¦ª � « ¬ © £ � © ¥ � �   � � « ¤ ¢ ¦ ¡ � « ¤ © ¢ � ¤ � ¡ � « � ¡     §  © ¥ � � « ¬ ¡ ¢ � ¤ ª ¨   § � � ¤ ¢ ¦ « ¬ � Å ¡ � �   ¤ ¢ � ¢ � «  © ¥ ´®  ¬ © � � ¡ ­ � ¥ ¡ ¦ � ¨ � ¥ � © ¥ ª ¡ ¢ � � ¤ � µ À � º ¿ À

Page 19: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � �

Ñ � ¥ � Ì ¨ � ¥ ¤ ª � ¢ « � £ � ª © ¢ � « ¥ ¡ « � « ¬ ¡ « Ö ® ¤ ¿ ¡ £ ­ ¤ � � � ¡ ¢ ¤ ª ¨ ¥ © ­ � « ¬ � ¨ � ¥ � © ¥ ª ¡ ¢ � � © � ¡ ¢� ¹ ¡ ¦ � ¢ « ¸ ® ¤ ¤ ¿ ¡ £ ­ ¤ � � ¨ ¥ © £ � � � � « ¬ � � ¡ ª � ¥ � � �   « ¤ ¢ ¦ ¨ � ¥ � © ¥ ª ¡ ¢ � � ¢ © ª ¡ « « � ¥  ¬ � ¢ ¤ «¤ � ¡ £ £ � £ ¸ ® ¤ ¤ ¤ ¿ ¡ � � � © ¢ £ ¨ ¤ � � � © � ¡ £ ­ ¤ � � � ¡ ¢ ¨ ¥ © £ � � � � � ¥ « ¬ � ¥ ¦ ¡ ¤ ¢ � ¸ ¡ ¢ £ ® ¤ ­ ¿ ¤ « ¤ �¤ ª ¨ © ¥ « ¡ ¢ « � © ¥ « ¬ � ¡ ¦ � ¢ « « © Å � ¡ Å   � « © ¥ � Ò ¢ � « ¬ � ¡ £ ­ ¤ � � ¤ « ¥ � � � ¤ ­ � � À � ¢ © « ¬ � ¥ � Ì ¨ � ¥ ¤ ê � ¢ « � ® ¢ © « ¥ � ¨ © ¥ « � £ ¬ � ¥ � ¿ °  � £ � ª © ¢ � « ¥ ¡ « � « ¬ ¡ « ¡ ¢ ¡ ¦ � ¢ « � ¡ ¢ Ó � ¤ � ´   § © ­ � ¥ � © ª � « ¬ �� Ä � � « � © � Ô Å ¡ £ Õ ¡ £ ­ ¤ � � ® » ¡ �   ¤ ¢ ° µ ¶ ¶ � ¿ À ³ � � © ¥ ¥ © Å © ¥ ¡ « � £ © � ¥ � � ¢ ¦ © ¥ � � �   « � � � ¤ ¢ ¦ ¡� � � © ¢ £ « � � « Å � £ ® » ¡ �   ¤ ¢ ° µ ¶ ¶ � ¿ À � � ¤ ¦ ¢ ¤ Ò � ¡ ¢ « � � ¡ « � ¥ � © � © � ¥ � � � © ¢ £ « � � « Å � £ ¤ � « ¬ ¡ «¤ « � ¡ ¦ � ¢ « � � � � ¢ � © ¥ � ¥ � � © ¥ £ « ¬ � � © ª ¨   � « � � « ¡ « � © � « ¬ � � ¢ ­ ¤ ¥ © ¢ ª � ¢ « À ½ ¬ � � ° « ¬ � ¥ � Ã� �   « � ¤ ¢ © � ¥ � � � © ¢ £ « � � « Å � £ � � ¨ ¨ © ¥ « « ¬ � �   ¡ ¤ ª « ¬ ¡ « « ¬ � ­ ¡   � � © � ¡ £ ­ ¤ � � ¤ ¢ « ¬ � � � ¢ ¦ ©« � � « Å � £ ¤ � ¢ © « £ � � � ©   �   § « © « ¬ � � ¡ � « « ¬ ¡ « « ¬ � « � ¡ � ¬ � ¥ � � � � « ¬ � � © ª ¨   � « � � « ¡ « � °  ¬ ¤   �« ¬ �   � ¡ ¥ ¢ � ¥ © ¢   § ¬ ¡ �   ¤ ¢ � à © � à � ¤ ¦ ¬ « � � ¢ � © ¥ � ® ¡ ¢ £ ° ¬ � ¢ � � ° ¤ � « ¥ § ¤ ¢ ¦ « ©   � ¡ ¥ ¢ ¡ � Æ $ � É Æ � � �� ! " Ë $ È Æ ! � Ë » ¡ ¥ ´ © ­ £ � � ¤ � ¤ © ¢ ¨ ¥ © � � � � ¸ » © ¢ ¡ ¬ ¡ ¢ ° µ ¶ ¾ º ¿ À

Ñ ¢ � ´ � § Ó � � � « ¤ © ¢ ¡ ¥ ¤ � � � � ¥ © ª © � ¥ � � ¢ ¦ © ¥ � � �   « � Ö Â ¤     « ¬ � Å ¡ � �   ¤ ¢ � � § � « � ª � ­ � ¢ « � á     § ¡ � ¬ ¤ � ­ � « ¬ � � ¡ ª �   � ­ �   © � ¨ � ¥ � © ¥ ª ¡ ¢ � � « ¬ ¡ « « ¬ � ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦ � § � « � ª ¡ � ¬ ¤ � ­ � � �� � « � ¥ ¡     ° � à   � ¡ ¥ ¢ ¤ ¢ ¦ � © ¢ ­ � ¥ ¦ � � « © « ¬ � © ¨ « ¤ ª ¡   � � � ¢ � « ¤ © ¢  ¬ � ¢ ¡ � « ¡ Å   � ¤ � � � � £« © ¥ � ¨ ¥ � � � ¢ « « ¬ � � � ¢ � « ¤ © ¢ ® ³ ¡ « ´ ¤ ¢ � ² � ¡ § ¡ ¢ ° µ ¶ ¶ º ¿ À Á ©  � ­ � ¥ ° ¡ Å ¡ � ´ ¨ ¥ © ¨ ¡ ¦ ¡ « ¤ © ¢ ë ¥ ¡ ¤ ¢ � £ ¢ � «  © ¥ ´ ª ¡ § © ¢   § � © ¢ ­ � ¥ ¦ � « © ¡ � � Ê Æ � ª ¤ ¢ ¤ ª � ª ¤ ¢ « ¬ �  � ¤ ¦ ¬ « � ¨ ¡ � � £ � Ò ¢ ¤ ¢ ¦« ¬ � � � � ¢ � « ¤ © ¢ À ½ © � � ¥ « ¬ � ¥ ¡ ¢ �  � ¥ « ¬ � ¨ � ¥ � © ¥ ª ¡ ¢ � � à ¤ ¢ à « ¬ � à   ¤ ª ¤ « Ó � � � « ¤ © ¢ °  �  ¤    ¡ £ £ ¥ � � � ¡ ª © ¥ � ¦ � ¢ � ¥ ¡   © ¢ � B  ¬ ¡ « � Ä � � « £ ©  � � Ì ¨ � � « ¡ £ ­ ¤ � � « © ¬ ¡ ­ � © ¢ « ¬ � ¡ ¦ � ¢ « �

³ ¬ � ¢  � ¤ ¢ « ¥ © £ � � � Ô ¦ © © £ Õ ¡ £ ­ ¤ � � ¤ ¢ « © ¡ ¢ ¡ ¦ � ¢ « °  � � Ì ¨ � � « ¤ « « © ¬ ¡ ­ � © ¢ � © ¥ª © ¥ � © � � � ­ � ¥ ¡   ¨ © � � ¤ Å   � � Ä � � « � À Ñ ¢ � ¨ © � � ¤ Å   � � Ä � � « © � ¡ £ ­ ¤ � � ¤ � « ¬ ¡ « « ¬ � ¡ £ ­ ¤ � �  ¤    � ¬ ¡ ¢ ¦ � « ¬ � ¢ � «  © ¥ ´ � � ¨ ¥ � £ ¤ � « ¤ © ¢ � © � � © ª � © � « ¬ � � ­ ¡   � � � « © ­ ¡   � � � « ¬ ¡ « ¡ ¥ � �   © � � ¥« © « ¬ � £ � � ¤ ¥ � £ Ô © ¨ « ¤ ª ¡   Õ ­ ¡   � � � À ¯ § ¥ � £ � � ¤ ¢ ¦ « ¬ � © ­ � ¥ ¡     � ¥ ¥ © ¥ « ¬ � ¡ ¦ � ¢ « ª ¡ § Å �¡ Å   � « © � © ¢ ­ � ¥ ¦ � ª © ¥ � Ó � ¤ � ´   § « ©  ¡ ¥ £ � « ¬ � © ¨ « ¤ ª ¡   � � � ¢ � « ¤ © ¢ À � � � � © ¢ £ ¥ �   ¡ « � £� Ä � � « ¤ � « ¬ ¡ « Å § ¤ ¢ � ¥ � ¡ � ¤ ¢ ¦ ® ¡ ¢ £ £ � � ¥ � ¡ � ¤ ¢ ¦ ¿ � � ¥ « ¡ ¤ ¢ � ­ ¡   � � � « ¬ � ¡ £ ­ ¤ � � � ¬ ¡ ¢ ¦ � � ¬ ¤ � ¬ � « ¡ « � � ¡ ¥ � � Ì ¨   © ¥ � £ Å § « ¬ � ¡ ¦ � ¢ « À Á � ¥ � ° ¦ © © £ ¡ £ ­ ¤ � �  © �   £ � ¡ � � � « ¬ � ¡ ¦ � ¢ «« © � Ì ¨   © ¥ � � « ¡ « � � « ¬ ¡ « ¡ ¥ � � � � � �   ¤ ¢ Ò ¢ £ ¤ ¢ ¦ « ¬ � © ¨ « ¤ ª ¡   ¨   ¡ ¢ ® © ¥ ¤ ¦ ¢ © ¥ ¤ ¢ ¦ � « ¡ « � � « ¬ ¡ «¡ ¥ � £ � « ¥ ¤ ª � ¢ « ¡   ¿ À Ð © � � � ¤ ¢ ¦ © ¢ « ¬ � � « ¡ « � � « ¬ ¡ « ¡ ¥ � ¤ ª ¨ © ¥ « ¡ ¢ « « © « ¬ � © ¨ « ¤ ª ¡   � ©   � « ¤ © ¢ª ¡ §   � ¡ £ « © « ¬ � ¡ ¦ � ¢ « � © ¢ ­ � ¥ ¦ ¤ ¢ ¦ ª © ¥ � Ó � ¤ � ´   § « © ¡ � ©   � « ¤ © ¢ À � « ¬ ¤ ¥ £ ¨ © � � ¤ Å   �� Ä � � « ¤ � « ¬ ¡ « « ¬ � ¡ £ £ ¤ « ¤ © ¢ © � ¡ £ ­ ¤ � � ¡   « � ¥ � « ¬ �  � ¤ ¦ ¬ « � ¨ ¡ � � © � ¨ © � � ¤ Å   � � ©   � « ¤ © ¢ �« ¬ ¡ « « ¬ �   � ¡ ¥ ¢ � ¥ ¤ � � Ì ¨   © ¥ ¤ ¢ ¦ À ½ ¬ ¤ � ¤ � Å � � ¡ � � � « ¬ � ¢ �   � ¤ ¦ ¬ « � ¡ ¢ £ ¬ ¤ £ £ � ¢ � ¢ ¤ « �� ¬ ¡ ¢ ¦ � « ¬ � � � « © � ¨ ¡ ¥ ¡ ª � « � ¥ � « ¬ ¡ « « ¬ �   � ¡ ¥ ¢ � ¥  ¡ � � Ì ¨   © ¥ ¤ ¢ ¦ À Ð © ¥ � Ì ¡ ª ¨   � ° « ¬ �¡ £ ­ ¤ � � ª ¡ § � © ¢ � « ¥ � � « ¡ ¢ ¤ ¢ « � ¥ ª � £ ¤ ¡ « � « � ¥ ª ® ¥ � ¨ ¥ � � � ¢ « � £ Å § ¡ ¬ ¤ £ £ � ¢ � ¢ ¤ « ¿  ¤ « ¬­ � ¥ §   ¡ ¥ ¦ �  � ¤ ¦ ¬ « � ° « ¬ ¡ « � © �   £ ¢ © « ¬ ¡ ­ � Å � � ¢ � © � ¢ £ Å § ¦ ¥ ¡ £ ¤ � ¢ « à £ � � � � ¢ « � � ¡ ¥ � ¬ À � ¢« ¬ � ¥ � � �   « ¤ ¢ ¦ ¡   « � ¥ � £  � ¤ ¦ ¬ « � ¨ ¡ � � « ¬ �   � ¡ ¥ ¢ � ¥ ª ¡ § Å � ¡ Å   � « © � Ì ¨   © ¥ � � � ¢ � « ¤ © ¢ � « ¬ ¡ «Â � ¥ � � ¢ ¥ � ¡ � ¬ ¡ Å   � Å � � © ¥ � « ¬ � ¡ £ ­ ¤ � � ¤ � ¡ £ £ � £ ® ¡ ¢ £ « ¬ � � � � � ¢ � « ¤ © ¢ � ª ¡ § Å � �   © � � ¥ « ©« ¬ � © ¨ « ¤ ª ¡   ¿ À

Î ¤ ­ � ¢ « ¬ � � � ¨ © � � ¤ Å   � � Ä � � « � © � ¦ © © £ ¡ £ ­ ¤ � � °  � � ¡ ¢ � © ¢ �   � £ � « ¬ ¡ « ¡ £ ­ ¤ � � � ¡ ¢ Å © « ¬� ¡ � � � « ¬ � ¡ ¦ � ¢ « « © � © ¢ ­ � ¥ ¦ � ª © ¥ � Ó � ¤ � ´   § « © ¡ � ©   � « ¤ © ¢ ° ¡ ¢ £ « ¬ ¡ « ¡ £ ­ ¤ � � ª ¡ § � ¡ � � �« ¬ � ¡ ¦ � ¢ « « © Ò ¢ £ ¡ Å � « « � ¥ � ©   � « ¤ © ¢ « ¬ ¡ ¢ ¤ « ª ¡ § ¬ ¡ ­ � © « ¬ � ¥  ¤ � � � © � ¢ £ À Ð © ¥ © � ¥� Ì ¨ � ¥ ¤ ª � ¢ « � °  � � � � « ¬ � � Ä � � « © � � ¨ � � £ � £ � © ¢ ­ � ¥ ¦ � ¢ � � ¤ ¢ « ¬ � ¦ ¥ ¡ ¨ ¬ � © � Ð ¤ ¦ � ¥ � ¶ °Â ¬ � ¥ � « ¬ � ¡ £ ­ ¤ � � ° ¦ � ¢ � ¥ ¡     § ¡ � « � ¥ ¡ � ª ¡     ¡ ª © � ¢ « © � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ °   � ¡ £ � « ¬ � ¡ ¦ � ¢ « « ©

Page 20: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

Mid

vale

Blv

d.

Nakoma R

d.

University Ave.

Park S

t.

The Beltline

Work

Home

� Z � T W V e g ^ � � � � } � � } � ! � � � � � � � � � ! ! � � � N � � � � � � $ � � � " ! � � � � � � � } � � $ ! � � � � � � # � � � � � � " � � ! � � ! $ " � � � � � " � � " ! ! $ � ! � � ! � O " ! ~ ! � � � � � " � � " " � � � � � " � � � � � � � � � N � � � � � � � � � � � �$ ! � " � O � � & � O ! � � � ! � � � � � � � � � � " � � � � � � � � � � � � � � � $ ! � " � O � � � � � N � � � � " � � N � � � � $ ! � � ! � � � � �� � � N � � � ! � � � N � � � # � $ " � � � � � " � � � � � N � � � � N � � � " � � " � � � N � � � � " � $ ! � � ! � � � � � � � � N � � � � � � ! ! �} � � � " � � � � � " � � � � � ! � $ � ! � " � � � � " � " � � } � ! � � � � ! $ ! � � $ � ! � � ! � O " ! ~ ! � � � � � � � � O � � � $ ! � � ! �" � � � } � � � � � N � � � � � � � " � � � � � � � � � � � � � " � ! � � � � � � � � � � " � � } � ! } ! � " � ! � � � " ! " � � � � } � � � � � " � � � " � � � " � � #% � � � � " � � � " � O � � � ! � " � � � $ ! � " � � � � � � � � � " ! " � � & � O ! � � � ! � � ! $ " � � � � ! � � " ! � � � � � " � � " � "� � � � � " " � � � ! � " � # � � � � � � � � � � " � ! � " � � N � � � � � � " " � � � ! " � � ! � " � � � � � � � � � ! $ " � � � � � � � � � O � � � � � � �" � � � ! � � � � " � " � � � " � N � � � � $ ! � � � � � � ! � " � #

¡ � ¬ ¤ � ­ � ¡ ¬ ¤ ¦ ¬   � ­ �   © � ¨ � ¥ � © ¥ ª ¡ ¢ � � Ó � ¤ � ´   § À ½ ¬ � � � ¦ ¥ ¡ ¨ ¬ � ¡   � © £ � ª © ¢ � « ¥ ¡ « � « ¬ �� Ä � � « © � � © ¢ ­ � ¥ ¦ � ¢ � � « © ¡ Å � « « � ¥ � ©   � « ¤ © ¢ ° ¡ «   � ¡ � « ¦ ¤ ­ � ¢ © � ¥ Ò Ì � £ ¡ ª © � ¢ « © � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ À� © « � « ¬ ¡ « « ¬ � � � � Ä � � « � ¡ ¥ � ¡ ¥ � � �   « © �  ¬ ¡ «  �  © �   £ � ¡     Ô ¦ © © £ Õ ¡ £ ­ ¤ � � À � « ¤ �¨ © � � ¤ Å   � « ¬ ¡ « Ô Å ¡ £ Õ ¡ £ ­ ¤ � � � © �   £ ¬ ¡ ­ � � Ó � ¡     § £ �   � « � ¥ ¤ © � � � Ä � � « � À ± © ° ¡ ¥ �   ¡ « � £Ó � � � « ¤ © ¢ ¤ � ¬ ©  £ ©  � £ � « � ¥ ª ¤ ¢ �  ¬ � « ¬ � ¥ ¡ £ ­ ¤ � � ¤ � Ô ¦ © © £ Õ © ¥ ¢ © « �

Í ¢ � © ¥ « � ¢ ¡ « �   § ° £ � « � ¥ ª ¤ ¢ ¤ ¢ ¦ « ¬ � Ô ¦ © © £ ¢ � � � Õ © � ¡ £ ­ ¤ � � ¡ ¨ ¨ � ¡ ¥ � « © Å � ¡ � ¡ ¤ ¥   § « ¥ ¤ � ´ §¨ ¥ © Å   � ª ° � ¤ ¢ � � � ­ � ¢ ¡ ¨ ¨ ¡ ¥ � ¢ «   § � � � � �   ¡ £ ­ ¤ � � � ¡ ¢   � ¡ £ « © ¨ © © ¥ ¨ � ¥ � © ¥ ª ¡ ¢ � � ¤ ¢ � � ¥ ë ¡ ¤ ¢ � ¡ � � � À ¼ © ¢ � ¤ £ � ¥ � © ¥ � Ì ¡ ª ¨   � ° « ¬ � � ¤ ª ¨   � ¨ ¥ © Å   � ª � ¬ ©  ¢ ¤ ¢ Ð ¤ ¦ � ¥ � µ · À ½ ¬ ¤ �� Ì ¡ ª ¨   � £ � ª © ¢ � « ¥ ¡ « � � ¡ � ¡ � �  ¬ � ¥ � ¡ £ ­ ¤ � � ° « ¬ © � ¦ ¬ ¨ ¥ © ­ ¤ £ ¤ ¢ ¦ � � � � �   ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ °� © �   £ ¡ � « � ¡     § � ¡ � � � « ¬ � ¡ ¦ � ¢ « « © « ¡ ´ �   © ¢ ¦ � ¥ « © � © ¢ ­ � ¥ ¦ � « © ¡ ¢ © ¨ « ¤ ª ¡   ¨ ©   ¤ � § À ¯ ¡ Ã� ¤ � ¡     § ° « ¬ � ¦ © © £ ¡ £ ­ ¤ � � Ô ª ¡ � ´ � Õ ¡ ¢ � ­ � ¢ Å � « « � ¥ ¨ ©   ¤ � § À ½ ¬ ¤ � � Ì ¡ ª ¨   � � � ¦ ¦ � � « � « ¬ ¡ «Â � ª ¡ §  ¡ ¢ « « © ¥ � « ¬ ¤ ¢ ´ « ¬ � � « © � ¬ ¡ � « ¤ � ª � � ¬ ¡ ¢ ¤ � ª « ¬ ¡ «  � � � � « © � �   � � « ¡ � « ¤ © ¢ � À � ¢¡ ¢ § � ¡ � � ° ¤ « ¡ ¨ ¨ � ¡ ¥ � « ¬ ¡ « £ � Ò ¢ ¤ ¢ ¦ « ¬ � ¨ ¥ © ¨ � ¥ « ¤ � � © � Ô ¦ © © £ Õ ¡ £ ­ ¤ � � ¤ � ¡ � ¬ ¡     � ¢ ¦ ¤ ¢ ¦« © ¨ ¤ � � © ¥ � � « � ¥ �  © ¥ ´ À � � ¡ Ò ¥ � « ® ¡ ¢ £ ¡ £ ª ¤ « « � £   § ­ ¡ ¦ � � ¿ ¡ ¨ ¨ ¥ © Ì ¤ ª ¡ « ¤ © ¢  �  © �   £� Ì ¨ � � « ¡ £ ­ ¤ � � « © Å � Ô ¦ © © £ Õ Â ¬ � ¢ ¤ « � ¡ � � � � © ¢ � © � « ¬ � � Ä � � « � ª � ¢ « ¤ © ¢ � £ ¡ Å © ­ � Ö ® ¤ ¿ ¤ «¥ � £ � � � � « ¬ � © ­ � ¥ ¡     � ¥ ¥ © ¥ ¤ ¢ « ¬ � ¡ ¦ � ¢ « � � ¨ ¥ � £ ¤ � « � £ � ­ ¡   � � � ° ® ¤ ¤ ¿ ¤ « � ¡ � � � � « ¬ � ¡ ¦ � ¢ «« © ¨ ¤ � ´ ¡ � « ¤ © ¢ � « ¬ ¡ «   � ¡ £ « © � « ¡ « � � « ¬ ¡ « ¡ ¥ � ¤ ª ¨ © ¥ « ¡ ¢ « ¤ ¢ Ò ¢ £ ¤ ¢ ¦ ¡ � ©   � « ¤ © ¢ ° © ¥ ® ¤ ¤ ¤ ¿ ¤ «« ¥ ¡ ¢ � � © ¥ ª � « ¬ � ¢ � «  © ¥ ´ � © « ¬ ¡ « « ¬ � ¡ ¦ � ¢ « ¤ � ¡ Å   � « © ¨ � ¥ � © ¥ ª ¦ ¥ ¡ £ ¤ � ¢ « £ � � � � ¢ « « © ¡Å � « « � ¥ � ©   � « ¤ © ¢ À

@ � � � � � � � � � #

¯ ¡ � � £ © ¢ © � ¥ ¤ ¢ ¤ « ¤ ¡   � Ì ¨ � ¥ ¤ � ¢ � � °  � ¤ ¢ « � ¢ £ « © � Ì ¨ ¡ ¢ £ © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ ¢ ¡ ¢ � ª Å � ¥© � £ ¤ ¥ � � « ¤ © ¢ � À Ñ ¢ � ¤ ª ¨ © ¥ « ¡ ¢ « � � « � ¥ � « © ¨ ¤ � ¤ � « © � ­ ¡   � ¡ « � © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ ¢ © « ¬ � ¥£ © ª ¡ ¤ ¢ � À � ¢ ¨ ¡ ¥ « ¤ � �   ¡ ¥ °  � ¤ ¢ « � ¢ £ « © � Ì ¨   © ¥ � « ¡ � ´ � ¤ ¢ ­ ©   ­ ¤ ¢ ¦ ª �   « ¤ ¨   � ¡ ¦ � ¢ « �  © ¥ ´ ¤ ¢ ¦¤ ¢ � © © ¨ � ¥ ¡ « ¤ © ¢ À ± � � ¬ ¡ £ © ª ¡ ¤ ¢  © �   £ Å � ¤ ¢ « � ¥ � � « ¤ ¢ ¦ ¤ ¢ « ¬ ¡ « ¡ ¢ © Å � � ¥ ­ � ¥ � © �   £ ¦ ¤ ­ �

Page 21: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

¡ £ ­ ¤ � � © ¢ ¬ ©  ¡ Ô ¦ ¥ © � ¨ Õ © � ¡ ¦ � ¢ « � � © �   £ � ©   ­ � ¡ « ¡ � ´ À � ¢ © « ¬ � ¥ £ © ª ¡ ¤ ¢ © � ¤ ¢ « � ¥ � � «¤ � � © � «  ¡ ¥ � ¡ ¦ � ¢ « � ® � ¤ � � ´ � ¢ ° µ ¶ ¶ Ï ¿ À Ð © ¥ � Ì ¡ ª ¨   � ° ¡ ¬ � ª ¡ ¢ � © �   £ ¡ £ ­ ¤ � � ¡ � © � «  ¡ ¥ �¡ ¦ � ¢ « « ¬ ¡ «   © © ´ � � © ¥ Ô ¤ ¢ « � ¥ � � « ¤ ¢ ¦ Õ ¨ ¡ ¨ � ¥ � © ¢ « ¬ � ³ © ¥   £ à ³ ¤ £ � ³ � Å À

³ � � � � ¡   ¦ © ¥ ¤ « ¬ ª ¤ � � Ì « � ¢ � ¤ © ¢ � ¡ � Ò « « ¤ ¢ ¦ ¤ ¢ « © « ¬ � « ¬ ¥ � � � ¡ « � ¦ © ¥ ¤ � � � Ì ¨   ¡ ¤ ¢ � £ Å �   © Â À

� $ � Æ Ç Ë � É � � � > Ë � Ç È É Ê Ë � Æ � � # Æ � Ë

Ñ � ¥ � Ì ¨ � ¥ ¤ � ¢ � �  ¤ « ¬ * + , - . ¬ ¡ �   � £ � � « © � © ¢ � ¤ £ � ¥ ¡ ¢ � ª Å � ¥ © � � Ì « � ¢ � ¤ © ¢ � « © © � ¥� � ¥ ¥ � ¢ « ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � À � Ì ¡ ª ¨   � � ¤ ¢ �   � £ � Ö

� � � � $ � � Æ Ê � É � � B   � « « ¬ � « � ¡ � ¬ � ¥ ¤ ¢ £ ¤ � ¡ « � « ¬ ¡ « © ¢ � ¡ � « ¤ © ¢ ¤ � Ô ¨ ¥ � � � ¥ ¥ � £ Õ ¤ ¢ ¡� « ¡ « � À Á � ¥ � « ¬ � ¡ £ ­ ¤ � © ¥  © �   £ © ¢   § Å � ¬ �   ¨ ¤ ¢ ¦ « ¬ �   � ¡ ¥ ¢ � ¥ � © ¥ « « ¬ ¥ © � ¦ ¬ ¤ « �© ¨ « ¤ © ¢ � ° ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ � ¨ � � ¤ Ò � ¡     § � ¡ § ¤ ¢ ¦  ¬ ¡ « � ¬ © �   £ Å � £ © ¢ � À

� � � ( � � Æ Ç È É Ê Ë B ¨ � ¥ ª ¤ « « ¬ � ¡ £ ­ ¤ � © ¥ « © ¥ � « ¥ ¡ � « ¨ ¥ � ­ ¤ © � � ¡ £ ­ ¤ � � À

� � � � � � � � � � � � � Ê � � Ç É � É � � $ � � ! Æ Ç È É Ê Ë B ¡     ©  « ¬ � ¡ £ ­ ¤ � © ¥ « © ¡ £ £ © ¥ ¥ � ª © ­ �� © ¢ £ ¤ « ¤ © ¢ � � ¥ © ª ¨ ¥ � ­ ¤ © � � ¥ �   � � ° « ¬ � ¥ � Å § Ò ¢ � à « � ¢ ¤ ¢ ¦ ¡ £ ­ ¤ � � À

� � " � � � � � � � � � " � Æ � Ë B   � « « ¬ � « � ¡ � ¬ � ¥ � ¨ � � ¤ � § Ô ¤ ¢ « � ¥ ¢ ¡   Õ ¥ �  ¡ ¥ £ � « ¬ ¡ « « ¬ �¡ ¦ � ¢ « ¤ � « © ¥ � � � ¤ ­ � ¤ ¢ � � ¥ « ¡ ¤ ¢ � « ¡ « � � À ½ ¬ ¤ � « § ¨ � © � ¡ £ ­ ¤ � � � © �   £ Å � � � � £ « © ¦ ¤ ­ �« ¬ � ¡ ¦ � ¢ « ¡ � � « © � ¤ ¢ « � ¥ ¢ ¡   ¦ © ¡   � À

� � ! � ! � � � Ê � � Ç É � É � � B ¨ � ¥ ª ¤ « « ¬ � ¡ £ ­ ¤ � © ¥ « © ¤ ¢ £ ¤ � ¡ « � ¨ ¥ © ¨ © � ¤ « ¤ © ¢ � « ¬ ¡ « « ¬ �  � ¡ ¥ ¢ � ¥ � ¬ © �   £ ¥ � ª � ª Å � ¥ ® � À ¦ À ° « ¬ �   © � ¡ « ¤ © ¢ © � � © ª � ¤ ª ¨ © ¥ « ¡ ¢ « � ¤ « � °   ¤ ´ � ¡ ¦ © © £¨   ¡ � � « © ¬ ¤ £ � ° � © « ¬ ¡ « ¤ « � ¡ ¢ ¦ � « Å ¡ � ´ « ¬ � ¥ � ¡ ¦ ¡ ¤ ¢ ¿ À ³ �  © �   £ ¤ ª ¨   � ª � ¢ « « ¬ ¤ � � � ä ¢ ¦ ¥ � � � ¥ ¥ � ¢ « � ¢ ¤ « � « ¬ ¡ « ¥ � � © ¥ £ � « ¡ « � ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ À ½ ¬ ¤ � ¥ � ª � ª Å � ¥ � £ ¤ ¢ � © ¥ ª ¡ « ¤ © ¢� © �   £ « ¬ � ¢ Å � � � � £ ¤ ¢ � � « � ¥ � ¡ £ ­ ¤ � � À

³ � ¡   � © ¨   ¡ ¢ « © � Ì ¨   © ¥ � ª � � ¬ ¡ ¢ ¤ � ª � � © ¥ � ¨ � � ¤ � § ¤ ¢ ¦ ª �   « ¤ à � � � ¥ ¡ £ ­ ¤ � �  ¬ � ¢  � � Ì Ã¨   © ¥ � £ © ª ¡ ¤ ¢ �  ¤ « ¬ ª �   « ¤ ¨   � ¡ ¦ � ¢ « � À

= � � $ � È É � � � > Ë � � � � $ É � > � É Ê � Ë � Æ É � "

� « ¨ ¥ � � � ¢ « ° © � ¥ ¡   ¦ © ¥ ¤ « ¬ ª ¡ £ £ � ¬ ¤ £ £ � ¢ � ¢ ¤ « � « © « ¬ �   � ¡ ¥ ¢ � ¥ � � ¢ � � ¥ ¡   ¢ � «  © ¥ ´  ¬ � ¢ Ã� ­ � ¥ ¡ £ ­ ¤ � � ¤ � ¥ � � � ¤ ­ � £ À Á � ¢ � � ° « ¬ � ¢ � «  © ¥ ´ � � � ¤ � � ¦ ¥ ©  � ª © ¢ © « © ¢ ¤ � ¡     § À �   « ¬ © � ¦ ¬¥ � � � ¢ « � ­ ¤ £ � ¢ � � ® ³ � ¤ ¦ � ¢ £ ° µ ¶ ¶ � ¿ � � ¦ ¦ � � « � © ­ � ¥   §   ¡ ¥ ¦ � ¢ � «  © ¥ ´ � ¡ ¥ � ¢ © « ¡ ¨ ¥ © Å   � ª¦ ¤ ­ � ¢ « ¬ ¡ « © ¢ � � � � � ¨ ¥ © ¨ � ¥ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ « � � ¬ ¢ ¤ Ó � � � °  � ¨   ¡ ¢ « © � ­ ¡   � ¡ « � « � � ¬ ¢ ¤ Ó � � � � © ¥¨ � ¥ ¤ © £ ¤ � ¡     § Ô �   � ¡ ¢ ¤ ¢ ¦ � ¨ Õ ¡ ¢ £ � ¬ ¥ ¤ ¢ ´ ¤ ¢ ¦ « ¬ �   � ¡ ¥ ¢ � ¥ � � ¢ � «  © ¥ ´ À ³ � ¨   ¡ ¢ « © � � �� « ¡ ¢ £ ¡ ¥ £ ¢ � � ¥ ¡   à ¢ � «  © ¥ ´ « � � ¬ ¢ ¤ Ó � � � � © ¥ ¥ � ª © ­ ¤ ¢ ¦ ¢ � «  © ¥ ´   ¤ ¢ ´ �  ¤ « ¬   ©  � ¡   ¤ � ¢ � §® � À ¦ À ° ¹ � ¼ � ¢ ° � � ¢ ´ � ¥ ° ² ± ©     ¡ ° µ ¶ ¶ · ¿ À

� ¢ © � ¥ � � ¥ ¥ � ¢ « ¤ ª ¨   � ª � ¢ « ¡ « ¤ © ¢ ° ¡ ¨   ¡ ¢ ® ¤ À � À ° ¡ � � Ó � � ¢ � � © � ¡ � « ¤ © ¢ � ¿ � ¡ ¢ Å � ¤ ¢ « � ¥ Ã¥ � ¨ « � £ ¤ � ¡ ¢ © « ¬ � ¥ ¡ � « ¤ © ¢ ¬ ¡ � ¬ ¤ ¦ ¬ � ¥ � « ¤   ¤ « § ® � � � Ð ¤ ¦ � ¥ � � ¿ À � � � ¡     « ¬ ¡ « « ¬ � ¡ £ ­ ¤ � �© ¢   § ¤ ¢ � ¥ � ¡ � � � « ¬ � � « ¤   ¤ « § © � « ¬ � ¡ � « ¤ © ¢ � ¤ ¢ « ¬ � ¨   ¡ ¢ ° ¡ ¢ £ « ¬ ¡ « « ¬ �   � ¡ ¥ ¢ � ¥ � ¡ ¢ � ¬ © © � �« © � Ì � � � « � ¡ ¢ © « ¬ � ¥ ¡ � « ¤ © ¢ ¤ � ¤ « ¬ ¡ � ¬ ¤ ¦ ¬ � ¥ � « ¤   ¤ « § À Ñ ¢ � � ¡ ¨   ¡ ¢ ¤ � ¤ ¢ « � ¥ ¥ � ¨ « � £ ° ¤ «

Page 22: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� ¡ ¢ ¢ © « Å � ¥ � � � ª � £ � ¥ © ª « ¬ � ¨ © ¤ ¢ « © � ¤ ¢ « � ¥ ¥ � ¨ « ¤ © ¢ Å � � ¡ � � � « ¬ � ¢ � � � � � ¡ ¥ § � « ¡ « � � ¢ ¤ «¤ � ¢ © « ¡ � « ¤ ­ � À ³ � ¤ ¢ « � ¢ £ « © � ­ ¡   � ¡ « � ª � « ¬ © £ � « ¬ ¡ « ¡     ©  ¨   ¡ ¢ � « © Å � « � ª ¨ © ¥ ¡ ¥ ¤   § ¤ ¢ ë � ¥ ¥ � ¨ « � £ ¸ © ¢ � � « ¬ � ¬ ¤ ¦ ¬ � ¥ à � « ¤   ¤ « § « ¡ � ´ � � © ª ¨   � « � ° « ¬ � ¤ ¢ « � ¥ ¥ � ¨ « � £ ¨   ¡ ¢  ¤     ¥ � � � ª � À³ � ¡ ¢ « ¤ � ¤ ¨ ¡ « � « ¬ ¡ « « ¬ ¤ �  ¤     ¤ ¢ ­ ©   ­ � « ¬ � � � � © � � Ì ¨ © ¢ � ¢ « ¤ ¡     § £ � � ¡ § ¤ ¢ ¦ � « ¡ « � � ¢ ¤ « �« ¬ ¡ « ¥ � � © ¥ £ « ¬ ¡ « ¡ ¨   ¡ ¢  ¡ � Å � ¤ ¢ ¦ � Ì � � � « � £ ¥ � � � ¢ «   § À

½ ¬ � ¢ � «  © ¥ ´ �  � � � � ¤ ¢ © � ¥ � � ¥ ¥ � ¢ « ¤ ª ¨   � ª � ¢ « ¡ « ¤ © ¢ ¬ ¡ ­ � ¢ � ª � ¥ ¤ � à ­ ¡   � � £ © � « ¨ � «� ¢ ¤ « � ® ¥ � � ¡     « ¬ ¡ « « ¬ � § ¥ � ¨ ¥ � � � ¢ « « ¬ � � Ì ¨ � � « � £ � « ¤   ¤ « § © � ¡ � « ¤ © ¢ � ¿ À Á � ¢ � � °  � ¢ � � £« © ª © ¥ � « ¬ © ¥ © � ¦ ¬   § ¤ ¢ ­ � � « ¤ ¦ ¡ « � « ¬ � � � « « ¤ ¢ ¦ © � « ¬ �  � ¤ ¦ ¬ « � Å � «  � � ¢ « ¬ � ¯ © ©   � ¡ ¢ í ¡   � � £ ¡ £ ­ ¤ � � ¢ © £ � � ¡ ¢ £ « ¬ � ¢ � ª � ¥ ¤ � à ­ ¡   � � £ � « ¤   ¤ « § ¢ © £ � � ° ¡ « © ¨ ¤ � ¢ © « ¥ �   � ­ ¡ ¢ « « ©« ¬ � © ¥ ¤ ¦ ¤ ¢ ¡    © ¥ ´  ¤ « ¬ % & + ' ' ° � ¤ ¢ � � « ¬ ¡ « ¥ � � � ¡ ¥ � ¬ © ¢   § ¤ ¢ ­ ©   ­ � £ ¯ © ©   � ¡ ¢ � © ¢ � � ¨ « � À¼ � ¥ ¥ � ¢ «   § ° ¡ £ ­ ¤ � � � ¤ ª ¨   § ¤ ¢ � ¥ � ¡ � � � « ¬ � � « ¤   ¤ « § © � « ¬ � ¥ � � © ª ª � ¢ £ � £ ¡ � « ¤ © ¢ � Å § ¡Ò Ì � £ ¡ ª © � ¢ « À �   « ¬ © � ¦ ¬ � � Å � � Ó � � ¢ « « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � ¡ ¢ ¡   « � ¥ « ¬ ¤ � ¤ ¢ ¤ « ¤ ¡   � � « « ¤ ¢ ¦ °  � ¨   ¡ ¢« © ª © ¥ � ¤ ¢ « �     ¤ ¦ � ¢ «   § ¨ � ¥ � © ¥ ª « ¬ ¤ � ¤ ¢ ¤ « ¤ ¡   � � « « ¤ ¢ ¦ À Ð © ¥ � Ì ¡ ª ¨   � °  � � © �   £ ¥ � � � « « ¬ � � ¤ ¦ ¬ « � © � « ¬ � ¢ � «  © ¥ ´ � © « ¬ ¡ « « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢ ¡    ¡ § � ¬ ¡ � « ¬ � ¬ ¤ ¦ ¬ � � « � « ¤   ¤ « §¤ ¢ « ¬ � � ¨ � � ¤ Ò � £ � « ¡ « � � À ½ ¬ ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬  © �   £ ¦ � ¡ ¥ ¡ ¢ « � � « ¬ ¡ « « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢Â ¤     ¬ ¡ ­ � « ¬ � ¬ ¤ ¦ ¬ � � « � « ¤   ¤ « § ° Å � « � ¡ ¢ Å � � ¡ �   « § ¤ � « ¬ � ¡ � « ¤ © ¢ ¤ � ¡   ¥ � ¡ £ § � © ¢ � ¤ £ � ¥ � £« ¬ � Å � � « © � � � ­ � ¥ ¡   Å ¡ £ � ¬ © ¤ � � � À � ¢ « ¬ ¤ � � ¡ � � « ¬ � ¡   « � ¥ ¢ ¡ « � ¡ ¨ ¨ ¥ © ¡ � ¬  © �   £ � ¤ ª ¨   §  � ¡ ­ � « ¬ � � � ¥ ¥ � ¢ « ¢ � «  © ¥ ´ � ¢ � ¬ ¡ ¢ ¦ � £ ° � ¤ ¢ � � « ¬ � ¡ £ ­ ¤ � � £ ¡ � « ¤ © ¢ ¤ � ¡   ¥ � ¡ £ § ¨ ¥ � � � ¥ ¥ � £ À¯ � « « ¬ � « � ¡ � ¬ � ¥ ª ¡ § Å � � ¡ § ¤ ¢ ¦ « ¬ ¡ « « ¬ � ¡ � « ¤ © ¢ ¤ � ¢ © « © ¢   § « ¬ � Å � � « � ¬ © ¤ � � ° Å � « « ¬ ¡ «« ¬ � � « ¤   ¤ « § © � « ¬ � ¡ � « ¤ © ¢ ¤ � ¬ ¤ ¦ ¬ ® ¤ À � À ° « ¬ � ¡ � « ¤ © ¢ ¤ � Ô ¦ © © £ Õ ¤ ¢ � © ª � � � ¢ � � ¿ À ½ ¬ � ¥ � � © ¥ � °� ¤ ª ¨   § ¥ � Ó � ¤ ¥ ¤ ¢ ¦ « ¬ ¡ « « ¬ � ¡ � « ¤ © ¢ Å � « ¬ � Ô Å � � « Õ � ¬ © ¤ � � ª ¡ § ¢ © « ¡    ¡ § � � ¡ ¨ « � ¥ � « ¬ �« � ¡ � ¬ � ¥ � � ¤ ¢ « � ¢ « ¤ © ¢ � À ½ ¬ ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬ ¡   � © ¥ � Ó � ¤ ¥ � � « ¬ ¡ « * + , - . Ò ¢ £ ¡ ¢ ¡ ¨ ¨ ¥ © ¨ ¥ ¤ ¡ « � � � «© �  � ¤ ¦ ¬ « � « © ¤ ¢ � � ¥ � « ¬ ¡ « « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢ Å � � �   � � « � £ Ò ¥ � « ® ¨ © � � ¤ Å   § Å § � ©   ­ ¤ ¢ ¦¡ ¢ © ¢ à   ¤ ¢ � ¡ ¥ ¨ ¥ © ¦ ¥ ¡ ª ¿ À

� ¢ ¡ ¢ © « ¬ � ¥ � © ¥ ª © � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ° « ¬ � ¡ ¦ � ¢ « ¨ ¥ � £ ¤ � « � « ¬ � � « ¤   ¤ « § © � ¡ � « ¡ « �¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ « ¬ � � « ¤   ¤ « § © � ¡ ¢ ¡ � « ¤ © ¢ ¤ ¢ ¡ � « ¡ « � ® ± � « « © ¢ ° µ ¶ ¾ ¾ ¿ ¸ ¬ � ¥ � « ¬ �   � ¡ ¥ ¢ � ¥ ¬ ¡ �¡ ª © £ �   © � ¬ ©  ¤ « � ¡ � « ¤ © ¢ � � ¬ ¡ ¢ ¦ � « ¬ �  © ¥   £ ° ¡ ¢ £ £ � « � ¥ ª ¤ ¢ � � « ¬ � ¡ � « ¤ © ¢ « © « ¡ ´ �Å § � ¬ � � ´ ¤ ¢ ¦ « ¬ � � « ¤   ¤ « § © � « ¬ � � « ¡ « � � « ¬ ¡ « ¡ ¥ � ¥ � ¡ � ¬ ¡ Å   � � ¥ © ª « ¬ � � � ¥ ¥ � ¢ « � « ¡ « � À� ¨ ¨   § ¤ ¢ ¦ * + , - . « © « ¬ ¤ � « § ¨ � © � ¥ � ¤ ¢ � © ¥ � � ª � ¢ « à   � ¡ ¥ ¢ ¤ ¢ ¦ � § � « � ª  © �   £ Å � £ ¤� � �   « °� ¤ ¢ � � * + , - . � « ¡ « � ª � ¢ « � � � ¦ ¦ � � « ¡ � « ¤ © ¢ � « © « ¡ ´ � À � ¢ © ¥ £ � ¥ « © ª ¡ ¨ ¡ � « ¡ « � ª � ¢ «¤ ¢ £ ¤ � ¡ « ¤ ¢ ¦ ¡ ¢ ¡ � « ¤ © ¢ ° * + , - .  © �   £ Ò ¥ � « ¬ ¡ ­ � « © £ � « � ¥ ª ¤ ¢ � « ¬ � � � « © � � « ¡ « � � « ¬ ¡ «ª � � « « ¬ � � © ¢ £ ¤ « ¤ © ¢ © � « ¬ � � « ¡ « � ª � ¢ « ° « ¬ � ¢ � ¡   � �   ¡ « � « ¬ � � � « © � � « ¡ « � � « ¬ ¡ «  © �   £¥ � � �   « Å § � ©     ©  ¤ ¢ ¦ « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢ À � + , - .  © �   £ « ¬ � ¢ ¤ ¢ � ¥ � ¡ � � « ¬ � � « ¤   ¤ « § © �« ¬ � � « ¡ « � � « ¬ ¡ « � ©     ©  � ¥ © ª « ¬ � � � ¦ ¦ � � « � £ ¡ � « ¤ © ¢ À Ñ « ¬ � ¥ « § ¨ � � © � ¡ £ ­ ¤ � �  © �   £ Å �ª © ¥ � � « ¥ ¡ ¤ ¦ ¬ « � © ¥  ¡ ¥ £ � ¢ £ � ¥ « ¬ ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬ À Ð © ¥ � Ì ¡ ª ¨   � ° ¤ � « ¬ � « � ¡ � ¬ � ¥ ¦ ¡ ­ � ¡ £ ­ ¤ � �¡ Å © � « ¡ ¦ © ¡   « ¬ � ¡ ¦ � ¢ « � ¬ © �   £ « ¥ § « © ¡ � ¬ ¤ � ­ � ® ¤ À � À ° ¡ � ¤ ¢ Î © ¥ £ © ¢ ¡ ¢ £ ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ � � °µ ¶ ¶ Ï ° ¡ ¨ ¨ ¥ © ¡ � ¬ ¿ ° * + , - . � © �   £ £ � « � ¥ ª ¤ ¢ � « ¬ � � � « © � � « ¡ « � � � © ¥ ¥ � � ¨ © ¢ £ ¤ ¢ ¦ « © « ¬ � ¦ © ¡  ¡ ¢ £ � ¤ ª ¨   § ¤ ¢ � ¥ � ¡ � � « ¬ � � « ¤   ¤ « § © � ¡     © � « ¬ � � � � « ¡ « � � À

Ð ¤ ¢ ¡     § ° © � ¥ � § � « � ª ª ¡ ¤ ¢ « ¡ ¤ ¢ � ¢ © � « ¡ « ¤ � « ¤ � � « ¬ ¡ « ¥ � � © ¥ £ ¬ ©  © � « � ¢ ¡ ¨ ¤ � � � © � ¡ £ ­ ¤ � � ¡ � ¡ ¨ ¨   ¤ � ¡ Å   � ¡ ¢ £ ¬ ©  © � « � ¢ ¤ «  ¡ � � ©     ©  � £ À ³ � ¤ ¢ « � ¢ £ « © ¡ £ £ � � � ¬ � « ¡ « ¤ � « ¤ � � æ ¡ « ¬ � ¥ � ¥ � ¡ ¢ £ � � � « ¬ � ª « © ¤ ¢ � © ¥ ª « ¬ � ¡ £ ­ ¤ � © ¥ « ¬ ¡ « ¡ ¦ ¤ ­ � ¢ ¨ ¤ � � � © � ¡ £ ­ ¤ � �  ¡ � � �   £ © ª¡ ¨ ¨   ¤ � ¡ Å   � © ¥ � ©     ©  � £ À ³ � ¡   � © ¨   ¡ ¢ « © ´ � � ¨ ¡ ¥ � � © ¥ £ © � « ¬ � � $ É � É � Æ � ¡ £ ­ ¤ � � ¡ ¢ £� © ª ¨ ¡ ¥ � ¤ « � � « ¡ « ¤ � « ¤ � � « © « ¬ � $ Ë � � Ë Ç ­ � ¥ � ¤ © ¢ À ± ¤ ¦ ¢ ¤ Ò � ¡ ¢ « £ ¤ Ä � ¥ � ¢ � � � Å � «  � � ¢ « ¬ � «  ©� ¬ © �   £ � ¡ � � � « ¬ �   � ¡ ¥ ¢ � ¥ « © ¤ ¢ � © ¥ ª ¤ « � ¡ £ ­ ¤ � © ¥ « ¬ ¡ « � © ª � ¡ £ ­ ¤ � � ¬ ¡ � � � Å � « ¡ ¢ « ¤ ¡     §

Page 23: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� ¬ ¡ ¢ ¦ � £ ®  � ¨   ¡ ¢ « © � � � « ¬ � ¥ �   � à � Ì « ¥ ¡ � « ¤ © ¢ « � � ¬ ¢ ¤ Ó � � � £ � � � ¥ ¤ Å � £ Å �   ©   ¬ � ¢  �¨ ¥ � � � ¢ « « ¬ � ¥ � Ò ¢ � £ ¡ £ ­ ¤ � � « © « ¬ � ¡ £ ­ ¤ � © ¥ ¿ À

� � � È Ë $ � É � � � Ë � � Ë Ç � Ç È É Ê Ë É � � � Æ � # � Æ � � � � � $ Ë > Ë � " É ! � Ë ? � $ �

Ñ ¢ � ¤ ¢ « � ¥ � � « ¤ ¢ ¦ ¡ ¥ � ¡ © � � � « � ¥ � ¥ � � � ¡ ¥ � ¬ ¤ � « ¬ � Ô � Ì « ¥ ¡ � « ¤ © ¢ Õ ® ¤ À � À ° � © ¢ ­ � ¥ � ¤ © ¢ « © ¡� ¡ � ¤   § � © ª ¨ ¥ � ¬ � ¢ � ¤ Å   � � © ¥ ª ¿ © �   � ¡ ¥ ¢ � £ ´ ¢ ©    � £ ¦ � � ¥ © ª © � ¥ � © ¢ ¢ � � « ¤ © ¢ ¤ � « � « ¤   ¤ « §� � ¢ � « ¤ © ¢ À ³ � ¨   ¡ ¢ « © � Ì « � ¢ £ ¨ ¥ � ­ ¤ © � �  © ¥ ´ © ¢ ¥ �   � � Ì « ¥ ¡ � « ¤ © ¢ ® ¼ ¥ ¡ ­ � ¢ ² ± ¬ ¡ ­   ¤ ´ °µ ¶ ¶ Ï ¸ ½ ©  �     ² ± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ � ¿ « © ¨ ¥ © £ � � � ¥ �   � � ¤ ¢ * + , - . � �   ¡ ¢ ¦ � ¡ ¦ � À ³ � ¡   � © ¨   ¡ ¢« © ¤ ¢ ­ � � « ¤ ¦ ¡ « � « ¬ � � � � © � ¥ �   � � Ì « ¥ ¡ � « ¤ © ¢ ¡ � ¡ ª � � ¬ ¡ ¢ ¤ � ª � © ¥ « ¥ ¡ ¢ � � � ¥ ¤ ¢ ¦   � ¡ ¥ ¢ � £´ ¢ ©    � £ ¦ � Å � «  � � ¢ � ¹ ¡ ¦ � ¢ « � © ¨ � ¥ ¡ « ¤ ¢ ¦ ¤ ¢ « ¬ � � ¡ ª � © ¥ � ¤ ª ¤   ¡ ¥ � ¢ ­ ¤ ¥ © ¢ ª � ¢ « � À

� � � � � � � � � � � #

Ñ � ¥  © ¥ ´ ¥ �   ¡ « � � « © ¡ ¢ � ª Å � ¥ © � ¥ � � � ¢ « ¥ � � � ¡ ¥ � ¬ � Ä © ¥ « � À ½ ¬ ¤ � ¥ �   ¡ « � £  © ¥ ´ � ¡ ¢ Å �¥ © � ¦ ¬   § £ ¤ ­ ¤ £ � £ ¤ ¢ « © Ò ­ � ¦ ¥ © � ¨ � Ö ® ¤ ¿ ¨ ¥ © ­ ¤ £ ¤ ¢ ¦ ¡ £ ­ ¤ � � « © ¡ ¨ ¥ © Å   � ª � ©   ­ � ¥ ° ® ¤ ¤ ¿ ¦ ¤ ­ ä ¢ ¦ ¡ £ ­ ¤ � � « © ¡ ¨ ¥ © Å   � ª � ©   ­ � ¥ � ª ¨   © § ¤ ¢ ¦ ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ° ® ¤ ¤ ¤ ¿ £ � ­ �   © ¨ ¤ ¢ ¦¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � � � © ¥ ¤ ¢ « � ¥ ¡ � « ¤ ¢ ¦  ¤ « ¬ ¡ ¦ � ¢ « � ° ® ¤ ­ ¿ � ¥ � ¡ « ¤ ¢ ¦ ´ ¢ ©    � £ ¦ � à Š¡ � � £¢ � � ¥ ¡   ¢ � «  © ¥ ´ � ° ¡ ¢ £ ® ­ ¿ ¥ � Ò ¢ ¤ ¢ ¦ ¨ ¥ ¤ © ¥ £ © ª ¡ ¤ ¢ « ¬ � © ¥ ¤ � � À

� $ � È É Ç É � � Æ Ç È É Ê Ë � � Æ � $ � ! � Ë � " � � È Ë $

� ¢ � ¡ ¥   § � Ì ¡ ª ¨   � © � ¡ � § � « � ª « ¬ ¡ « ª ¡ ´ � � � � � © � ¡ £ ­ ¤ � � ¤ � » © � « ©  � � ® µ ¶ ¾ º ¿ � < <� § � « � ª °  ¬ ¤ � ¬ © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � � ¦ � ¢ � ¥ ¡   ¡ £ ­ ¤ � � Å § ¥ � � © ¥ ª �   ¡ « ¤ ¢ ¦ « ¬ � ¡ £ ­ ¤ � � ¤ ¢ « © � � ¡ ¥ � ¬¬ � � ¥ ¤ � « ¤ � � À ½ ¬ � � � � � ¡ ¥ � ¬ ¬ � � ¥ ¤ � « ¤ � � ¡ ¥ � « ¬ � ¢ ¡ ¨ ¨   ¤ � £ £ � ¥ ¤ ¢ ¦ ¨ ¥ © Å   � ª � ©   ­ ¤ ¢ ¦ À � ¢ � < <« ¬ � ¡ £ ­ ¤ � � ¤ � ¡ � � � ª � £ « © Å � � © ¥ ¥ � � « ° ¡ ¢ £ « ¬ �   � ¡ ¥ ¢ � ¥ ¬ ¡ � « © � © ¢ ­ � ¥ « « ¬ � ¦ � ¢ � ¥ ¡  ¡ £ ­ ¤ � � ¤ ¢ « © ¡ ¢ � Ì � � � « ¡ Å   � ¨   ¡ ¢ Å ¡ � � £ © ¢ ¤ « � ´ ¢ ©    � £ ¦ � ¡ Å © � « « ¬ � £ © ª ¡ ¤ ¢ À Ñ � ¥� § � « � ª ¤ � £ ¤ Ä � ¥ � ¢ « ¤ ¢ « ¬ ¡ «  � « ¥ § « © £ ¤ ¥ � � «   § ¤ ¢ � © ¥ ¨ © ¥ ¡ « � ¦ � ¢ � ¥ ¡   ¡ £ ­ ¤ � � ° Å � «  �£ © ¢ © « ¨ ¥ © ­ ¤ £ � ¡ � © ¨ ¬ ¤ � « ¤ � ¡ « � £ ª � ¡ ¢ � © � © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � ¤ ¢ ¦ ¡ £ ­ ¤ � � À �   � © °  � £ © ¢ © «¡ � � � ª � « ¬ � ¡ £ ­ ¤ � � ¤ � � © ¥ ¥ � � « ¸ ¤ ¢ � « � ¡ £  � � � � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ « © ¥ � Ò ¢ � ¡ ¢ £� ­ ¡   � ¡ « � « ¬ � ¡ £ ­ ¤ � � À

» © ¥ � ¥ � � � ¢ «   § ° ¹ ¡ ¤ ¥ £ ° Á � � ´ ¡ ° � ¡ ¦ � ¥ ° ¡ ¢ £ ½ � � ´ ® µ ¶ ¶ · ¿ � ¥ � ¡ « � £ ¡ ¢ ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦� § � « � ª � ¡     � £ � < & < � � < + * À � ¢ « ¬ ¤ � � § � « � ª ° ¡ ¢ © Å � � ¥ ­ � ¥ � ¡ ¢ ¨ ¥ © ­ ¤ £ � ¡ £ ­ ¤ � �  ¬ � ¢ Ã� ­ � ¥ « ¬ � � § � « � ª ¤ � ¡ « ¡ ¢ ¤ ª ¨ ¡ � � � Å § � � ¦ ¦ � � « ¤ ¢ ¦  ¬ ¤ � ¬ © ¨ � ¥ ¡ « © ¥ � « © � Ì ¨   © ¥ � ¤ ¢ ¡ ¢¡ « « � ª ¨ « « © ¥ � � ©   ­ � « ¬ � ¤ ª ¨ ¡ � � � À � �  ¤ « ¬ � < < ° « ¬ � ¡ £ ­ ¤ � � ¨ ¥ � � � ¢ « � £ ¤ � � � � £ « © ¦ � ¤ £ �« ¬ �   � ¡ ¥ ¢ � ¥ � � ¥ � ¡ � © ¢ ¤ ¢ ¦ ¨ ¥ © � � � � °  ¬ ¤   � ¤ ¢ * + , - .  � £ ¤ ¥ � � «   § ¤ ¢ � © ¥ ¨ © ¥ ¡ « � « ¬ � ¡ £ ­ ¤ � �¤ ¢ « © « ¬ �   � ¡ ¥ ¢ � ¥ � � ´ ¢ ©    � £ ¦ � Å ¡ � � ¡ ¢ £ « ¬ � ¢ ¥ � Ò ¢ � « ¬ ¡ « ´ ¢ ©    � £ ¦ � � � ¤ ¢ ¦ � � Å � � Ó � � ¢ «� Ì ¨ � ¥ ¤ � ¢ � � À Á � Ä ª ¡ ¢ ¡ ¢ £ ¹ ¡ ¤ ¥ £ ® µ ¶ ¶ � ¿ £ � ­ �   © ¨ � £ « ¬ � � ' � , * � � , < � � < + * � § � « � ª« ¬ ¡ « ¡     ©  � ¡ ¢ ¡ ¦ � ¢ « « © ¤ ¢ « � ¥ ¨ ¥ � « � ¤ ª ¨   � ¤ ª ¨ � ¥ ¡ « ¤ ­ � � « ¡ « � ª � ¢ « � � � � ¬ ¡ � Ô � ¤ � ´ � ¨« ¬ � ¥ � £ Å   © � ´ À Õ � ' � , * � � , < � � < + * � Ì ¡ ª ¤ ¢ � � « ¬ � � � ¤ ¢ � « ¥ � � « ¤ © ¢ � ¤ ¢ « ¬ � � © ¢ « � Ì « © �¤ « � � � ¥ ¥ � ¢ « ¨ ¥ © Å   � ª � ©   ­ ¤ ¢ ¦ ° ¡ ¢ £ � � � � � < + * � � � © ¥ ª © � � Ì ¨   ¡ ¢ ¡ « ¤ © ¢ à Š¡ � � £   � ¡ ¥ ¢ ¤ ¢ ¦ « ©¦ � ¢ � ¥ ¡   ¤ � � « ¬ � ¤ ¢ � « ¥ � � « ¤ © ¢ ¤ ¢ « © ¡ ¥ �   � « ¬ ¡ « � ¡ ¢ Å � � � � £ ¤ ¢ � ¤ ª ¤   ¡ ¥ � ¤ « � ¡ « ¤ © ¢ � À � + , - .

Page 24: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

£ ¤ Ä � ¥ � � ¥ © ª � ' � , * � � , < � � < + * ¤ ¢ « ¬ ¡ « Â � ¨ ¥ © ­ ¤ £ � ¡   ¡ ¢ ¦ � ¡ ¦ � � © ¥ � ¢ « � ¥ ¤ ¢ ¦ ¦ � ¢ � ¥ ¡  ¡ £ ­ ¤ � � ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ ¡ « « � ª ¨ « ¤ ¢ ¦ « © ¦ � ¢ � ¥ ¡   ¤ � � � ¨ � � ¤ Ò � ¡ £ ­ ¤ � � À

� $ � È É Ç É � � Æ Ç È É Ê Ë � � Æ � $ � ! � Ë � " � � È Ë $ � > Æ � # " Ë " $ Ë É � � � $ Ê Ë � Ë � � � Ë Æ $ � É � �

� ¢ � ª Å � ¥ © � ¥ � � � ¡ ¥ � ¬ � ¥ � ¬ ¡ ­ � ¤ ¢ « ¥ © £ � � � £ ª � « ¬ © £ � � © ¥ ¨ ¥ © ­ ¤ £ ¤ ¢ ¦ ¡ £ ­ ¤ � � « © ¡ ¥ � ¤ ¢ Ã� © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ¡ ¦ � ¢ « À ¹ ¤ ¢ ® µ ¶ ¶ º ¿ £ � � ¤ ¦ ¢ � £ ¡ « � � ¬ ¢ ¤ Ó � � « ¬ ¡ « � � � � ¡ £ ­ ¤ � � � Ì Ã¨ ¥ � � � � £ ¡ � � � Ó � � ¢ � � � © � « � ¡ � ¬ � ¥ � � ¡ � « ¤ © ¢ � À � ¢ ¬ ¤ � � § � « � ª « ¬ � ¡ ¦ � ¢ « Ô ¥ � ¨   ¡ § � Õ « ¬ �« � ¡ � ¬ � ¥ ¡ � « ¤ © ¢ � ¨ � ¥ ¤ © £ ¤ � ¡     § « © Å ¤ ¡ � « ¬ � ¡ ¦ � ¢ « « ©  ¡ ¥ £ « ¬ � ¡ � « ¤ © ¢ � � ¬ © � � ¢ Å § « ¬ �« � ¡ � ¬ � ¥ À Ñ � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ £ ¤ Ä � ¥ � ¤ ¢ « ¬ ¡ « * + , - . ¤ ¢ ¨ � « � « ¬ � ¡ £ ­ ¤ � � ¤ ¢ ¡ ¦ � ¢ � ¥ ¡   � © ¥ ª ¸¡   � © ° * + , - . £ ¤ ¥ � � «   § ¤ ¢ � « ¡     � « ¬ � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ �   � ¡ ¥ ¢ � ¥ ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ � � ¤ ¢ ¦ « ¬ � ¡ £ ­ ¤ � �¡ � ¡ Å ¡ � ¤ � � © ¥ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � Ì ¡ ª ¨   � � À

Í « ¦ © Ä ¡ ¢ £ ¼   © � � � ® µ ¶ ¶ µ ¿ £ � ­ �   © ¨ � £ ¡   � ¡ ¥ ¢ � ¥ « ¬ ¡ « � © ¢ � �   « � ¡ � � « © � « � ¡ � ¬ � ¥ ¡ � « ¤ © ¢ �¤ � « ¬ � ¡ � « ¤ © ¢ ¤ « � ¬ © � � ¥ � � �   « � £ ¤ ¢ � ¤ ¦ ¢ ¤ Ò � ¡ ¢ « � ¥ ¥ © ¥ À ½ ¬ ¤ � � § � « � ª ¬ ¡ � « ¬ � ¡ £ ­ ¡ ¢ « ¡ ¦ �« ¬ ¡ « ¤ « £ � « � ¥ ª ¤ ¢ � � « ¬ � � ¤ « � ¡ « ¤ © ¢ � ¤ ¢  ¬ ¤ � ¬ ¤ « ¥ � Ó � ¤ ¥ � � ¡ £ ­ ¤ � � ° Å � « ¤ �   ¤ ª ¤ « � £ ¤ ¢ « ¬ ¡ « ¤ «ª ¡ § ¥ � Ó � ¤ ¥ � ¡ £ ­ ¤ � � ª © ¥ � © � « � ¢ « ¬ ¡ ¢ « ¬ � © Å � � ¥ ­ � ¥ ¤ �  ¤     ¤ ¢ ¦ « © ¨ ¥ © ­ ¤ £ � ¤ « À � ¢ * + , - .« ¬ � ¡ £ ­ ¤ � © ¥ ¨ ¥ © ­ ¤ £ � � ¡ £ ­ ¤ � �  ¬ � ¢ � ­ � ¥ ¬ � © ¥ � ¬ � � � �   � « ¬ � § ¬ ¡ ­ � � © ª � « ¬ ¤ ¢ ¦ « © � ¡ § À

³ ¬ ¤ « � ¬ � ¡ £ ® µ ¶ ¶ µ ¿ � Ì ¡ ª ¤ ¢ � £ ¡ ¢ ¡ ¨ ¨ ¥ © ¡ � ¬ � ¤ ª ¤   ¡ ¥ « © Å © « ¬ ¹ ¤ ¢ � � ¡ ¢ £ Í « ¦ © Ä ²¼   © � � � � � « ¬ ¡ « � ¡ ¢   � ¡ ¥ ¢ Å © « ¬ Å § ¥ � � � ¤ ­ ¤ ¢ ¦ ¡ £ ­ ¤ � � ¤ ¢ « ¬ � � © ¥ ª © � � ¥ ¤ « ¤ Ó � � � ® ¡ ¥ �  ¡ ¥ £¤ ¢ £ ¤ � ¡ « ¤ ¢ ¦  ¬ � « ¬ � ¥ « ¬ � � ¬ © � � ¢ ¡ � « ¤ © ¢  ¡ � © ¨ « ¤ ª ¡   © ¥ ¢ © « ¿ ° ¡ �  �     ¡ �   � ¡ ¥ ¢ ¤ ¢ ¦ Å §© Å � � ¥ ­ ¤ ¢ ¦ « ¬ � ¡ � « ¤ © ¢ � � ¬ © � � ¢ Å § ¡ « � ¡ � ¬ � ¥ À ¼   © � � � ¡ ¢ £ Í « ¦ © Ä ® µ ¶ ¶ º ¿ � ¥ � ¡ « � £ ¡� � � © ¢ £ � § � « � ª « ¬ ¡ « « ¡ ´ � � ¡ £ ­ ¤ � � ¤ ¢ « ¬ � � © ¥ ª © � ¡ � « ¤ © ¢ � � � ¦ ¦ � � « � £ Å § « ¬ � « � ¡ � ¬ � ¥ À¯ © « ¬ � § � « � ª � ¡ ¥ � � ¤ ª ¤   ¡ ¥ « © © � ¥ � ¤ ¢ « ¬ ¡ « « ¬ � § � ¡ ¢ ¤ ¢ � © ¥ ¨ © ¥ ¡ « � ¡ £ ­ ¤ � �  ¬ � ¢ � ­ � ¥« ¬ � « � ¡ � ¬ � ¥ � ¬ © © � � � « © ¨ ¥ © ­ ¤ £ � ¤ « ° Å � « � ¢   ¤ ´ � * + , - . « ¬ � § £ © ¢ © « ¡ � � � ¨ « Å ¥ © ¡ £   §¡ ¨ ¨   ¤ � ¡ Å   � ¡ £ ­ ¤ � � À

½ ¬ ¥ � ¢ ¡ ¢ £ » ¤ « � ¬ �     ® µ ¶ ¶ � ¿ ¤ ¢ ­ � � « ¤ ¦ ¡ « � £ ¡ ª � « ¬ © £ � © ¥ ¡     ©  ¤ ¢ ¦ � ¹ ¡ ¦ � ¢ « � « © ª ¡ ´ �� � � © � ¨ ¥ ¤ © ¥ ´ ¢ ©    � £ ¦ � ¤ ¢ « ¬ � � © ¥ ª © � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � À ½ ¬ � � � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � ¡ ¥ �¡ � � � ª � £ « © ¬ ¡ ­ � Å � � ¢ « ¥ ¡ ¤ ¢ � £ « © ¨ ¥ � £ ¤ � « « ¬ � ¥ � � �   « � © � ¡ � « ¤ © ¢ � À ½ ¬ ¤ � ¨ ¥ © ­ � � « © Å �� Ä � � « ¤ ­ � ° Å � « ¥ � Ó � ¤ ¥ � � ¨ ¥ � ­ ¤ © � �   § « ¥ ¡ ¤ ¢ � £ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � « ¬ ¡ « ¡ ¥ � ¥ �   ¡ « � £ « © « ¬ �« ¡ � ´ Å � ¤ ¢ ¦ ¡ £ £ ¥ � � � � £ À

Î © ¥ £ © ¢ ¡ ¢ £ ± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ ® µ ¶ ¶ Ï ¿ £ � ­ �   © ¨ � £ ¡ � § � « � ª « ¬ ¡ « ¤ � �   © � �   § ¥ �   ¡ « � £ « ©© � ¥ � À ½ ¬ � ¤ ¥ � § � « � ª � ª ¨   © § � ¦ � ¢ � « ¤ � ¡   ¦ © ¥ ¤ « ¬ ª � ° ¡ ¢ ¡   « � ¥ ¢ ¡ « � ¡ ¨ ¨ ¥ © ¡ � ¬ � © ¥   � ¡ ¥ ¢ ¤ ¢ ¦� ¥ © ª ¥ � ¤ ¢ � © ¥ � � ª � ¢ « � À ½ ¬ � ¤ ¥ ¡ ¦ � ¢ « ¡ � � � ¨ « � ¬ ¤ ¦ ¬ à   � ­ �   ¡ £ ­ ¤ � � © � « ¬ � � © ¥ ª � � � � � � � � � �, � . ' + � � � . � . � � À � « © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � � � « ¬ � � � ¥ �   � � � � ¤ ¢ ¦ ¤ « � Å ¡ � ´ ¦ ¥ © � ¢ £ ´ ¢ ©    � £ ¦ �¡ Å © � « ¦ © ¡   ¡ � ¬ ¤ � ­ � ª � ¢ « À Ñ � ¥  © ¥ ´ ¨ ¥ ¤ ª ¡ ¥ ¤   § £ ¤ Ä � ¥ � � ¥ © ª Î © ¥ £ © ¢ ¡ ¢ £ ± � Å ¥ ¡ ª ¡ â ¤ ¡ ¢ � � ¤ ¢ « ¬ ¡ « * + , - . � � � � � © ¢ ¢ � � « ¤ © ¢ ¤ � « � à   � ¡ ¥ ¢ ¤ ¢ ¦ ¤ ¢ � « � ¡ £ © � ¦ � ¢ � « ¤ � ¡   ¦ © ¥ ¤ « ¬ ª � °¡ ¢ £ ¤ ¢ « ¬ ¡ « * + , - . � � ¡ £ ­ ¤ � �   ¡ ¢ ¦ � ¡ ¦ � � © � � � � � © ¢ ¡ � « ¤ © ¢ � « © « ¡ ´ � ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ ¦ © ¡   � « ©¡ � ¬ ¤ � ­ � À �   � © °  � ¡     ©  ¡ £ ­ ¤ � � « © Å � ¦ ¤ ­ � ¢ ¡ « ¡ ¢ § « ¤ ª � £ � ¥ ¤ ¢ ¦ « ¬ � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¨ ¥ © � � � � ÀÁ ©  � ­ � ¥ ° © � ¥ � § � « � ª £ © � � ¢ © « ¬ ¡ ­ � « ¬ � © ¨ � ¥ ¡ « ¤ © ¢ ¡   ¤ � ¡ « ¤ © ¢ � ¡ ¨ ¡ Å ¤   ¤ « § © � Î © ¥ £ © ¢ ¡ ¢ £± � Å ¥ ¡ ª ¡ ¢ ¤ ¡ ¢ � � � § � « � ª À

Page 25: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� Ë È Ë � � � É � � $ � ! � � � $ � � $ Æ � � É � � � Æ � � # Æ � Ë "

» ¡ ¢ § ¥ � � � ¡ ¥ � ¬ � ¥ � ¬ ¡ ­ � ¤ ¢ « ¥ © £ � � � £   ¡ ¢ ¦ � ¡ ¦ � � � © ¥ ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦ ¥ © Å © « à   ¤ ´ � ¡ ¦ � ¢ « �® ¼ ¬ ¡ ¨ ª ¡ ¢ ° µ ¶ ¶ µ ¸ ) ¡ �   Å   ¤ ¢ ¦ ° µ ¶ ¾ � ¸ � ¤   � � © ¢ ° µ ¶ ¶ Ï ¿ À ½ ¬ � � � � § � « � ª � £ © ¢ © « ¦ � ¢ � ¥ ¡     §� © � � � © ¢ ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦ ¡ ¦ � ¢ « � « ¬ ¡ «   � ¡ ¥ ¢ « © ¥ � Ò ¢ � « ¬ � ¤ ¥ ¨ ¥ © ¦ ¥ ¡ ª � À ¼ ¥ ¡ ¢ ¦   � ¡ ¢ £± � ¨ ¨ � � ® µ ¶ ¶ Ï ¿ ¤ ¢ ­ � � « ¤ ¦ ¡ « � £ ¬ ©  ¡ ¥ © Å © « � ¡ ¢ � ¢ £ � ¥ � « ¡ ¢ £ ¡ ¬ � ª ¡ ¢ � � ¤ ¢ � « ¥ � � « ¤ © ¢ � °� Ì ¨ ¥ � � � � £ ¤ ¢ © ¥ £ ¤ ¢ ¡ ¥ § � ¢ ¦   ¤ � ¬ À Á ©  � ­ � ¥ ° « ¬ � § £ © ¢ © « ¡ £ £ ¥ � � � � © ¥ ¥ � � « ¤ © ¢ ° Å § « ¬ �  � ¡ ¥ ¢ � ¥ ° © � ¡ ¨ ¨ ¥ © Ì ¤ ª ¡ « �   § � © ¥ ¥ � � « ¡ £ ­ ¤ � � À

= � Ê � $ � � $ Æ � É � � Æ Ç È É Ê Ë É � � � � Ë # $ Æ � � Ë � � � $ � "

� © �     � ¡ ¢ £ ¼ © « « ¥ �     ® µ ¶ ¶ Ï ¿ � � ¦ ¦ � � « ¡ ¢ ¡   « � ¥ ¢ ¡ « ¤ ­ � ¡ ¨ ¨ ¥ © ¡ � ¬ « © ª ¡ ´ ¤ ¢ ¦ � � � © � ¡ £ ­ ¤ � �¤ ¢ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � À Ñ ¢ �  ¡ § « ¬ � ¤ ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ £ ¤ Ä � ¥ � � ¥ © ª © � ¥ � ¤ � « ¬ ¡ « « ¬ � ¤ ¥ � © ¢ ¢ � � ë ¤ © ¢ ¤ � « ª © £ �   ¤ « � �   � ¨ � ¥ � © ¥ ª � « ¬ � ¨ ¥ © � � � � © � ¤ ¢ � © ¥ ¨ © ¥ ¡ « ¤ ¢ ¦ ¡ £ ­ ¤ � � °  ¬ ¤ � ¬ � © ¢ « ¥ ¡ � « �« © © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬  ¬ � ¥ �  � £ ¤ ¥ � � «   § ¡ £ £ ¢ � Â Ô ´ ¢ ©    � £ ¦ � à Š¡ � � £ Õ � ¢ ¤ « � « © « ¬ � ¢ � � ¥ ¡  ¢ � «  © ¥ ´ À Ñ � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬   � ¡ £ � « © � ¡ � « � ¥ ¡ � � ¤ ª ¤   ¡ « ¤ © ¢ © � ¡ £ ­ ¤ � � ° ¡   « ¬ © � ¦ ¬ « ¬ � ¤ ¥ � ¤ �¡ ¥ ¦ � ¡ Å   § ¡ Å � « « � ¥ ¨ � § � ¬ ©   © ¦ ¤ � ¡   ª © £ �   À

± ¤ � ¦ �   ª ¡ ¢ ® µ ¶ ¶ Ï ¿ ¨ ¥ © ¨ © � � £ ¡ « � � ¬ ¢ ¤ Ó � � � © ¥ � © ¢ ­ � ¥ « ¤ ¢ ¦ ¨ ¥ © ¦ ¥ ¡ ª � � Ì ¨ ¥ � � � � £ ¤ ¢ ¡¦ � ¢ � ¥ ¡   à ¨ � ¥ ¨ © � � ° ¬ ¤ ¦ ¬ à   � ­ �     ¡ ¢ ¦ � ¡ ¦ � ¤ ¢ « © ¡ « § ¨ � © � ¥ � � � ¥ ¥ � ¢ « ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � À Á � ¥� § � « � ª ¤ � � � ¨ � � ¤ ¡     § ¤ ¢ « � ¥ � � « ¤ ¢ ¦ ¤ ¢ « ¬ ¡ « ¤ « ¨ ¥ © ­ ¤ £ � � ¡ ª � � ¬ ¡ ¢ ¤ � ª � © ¥ ¨ � ¥ � © ¥ ª ¤ ¢ ¦¡ ¥ ¤ « ¬ ª � « ¤ � � ¡   � �   ¡ « ¤ © ¢ � ° Å � « « ¬ �   � ¡ ¥ ¢ ¤ ¢ ¦ ¡ Å ¤   ¤ « ¤ � � © � ¬ � ¥ � § � « � ª ¬ ¡ ­ � ¢ © « § � « Å � � ¢� ª ¨ ¤ ¥ ¤ � ¡     § £ � ª © ¢ � « ¥ ¡ « � £ À

Î ¥ � ¡ � ® µ ¶ ¶ Ï ¿ £ � ­ �   © ¨ � £ ¡ � © ª ¨ ¤   � ¥ « ¬ ¡ « « ¥ ¡ ¢ �   ¡ « � � � ¡ � � ¡   ¨ ¥ © ¦ ¥ ¡ ª � ¤ ¢ « © ¢ � � ¥ ¡  ¢ � «  © ¥ ´ � À ³ ¬ ¤   � ¬ ¤ � ¡ ¨ ¨ ¥ © ¡ � ¬ ¬ ¡ � � © � ¡ ¥ © ¢   § Å � � ¢ « � � « � £ © ¢ � ¤ ª ¨   � ¨ ¥ © ¦ ¥ ¡ ª � °¬ ¤ � « � � ¬ ¢ ¤ Ó � � ª ¡ § ¨ ¥ © ­ � ¡ ¨ ¨   ¤ � ¡ Å   � « © « ¬ � « ¡ � ´ © � ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦ ¡ ¦ � ¢ « � À Î ¥ � ¡ � � �¡ ¨ ¨ ¥ © ¡ � ¬ ¤ ¢ �   � £ � � «  © ª � « ¬ © £ � � © ¥ ¥ � Ò ¢ ¤ ¢ ¦ « ¬ � ¢ � «  © ¥ ´ � ¬ � ¨ ¥ © £ � � � � Ö ¡ ¦ � ¢ � « ¤ �¡   ¦ © ¥ ¤ « ¬ ª ¡ ¢ £ ¡ ¬ ¤     à �   ¤ ª Å � ¥ À ½ ¬ � ª ¡ ¤ ¢ £ ¤ Ä � ¥ � ¢ � � Å � «  � � ¢ Î ¥ � ¡ � � � � § � « � ª ¡ ¢ £© � ¥ � ¤ � « ¬ ¡ « « ¬ � ¢ � «  © ¥ ´ �  � ¨ ¥ © £ � � � � ¡ ¢ Å � ¥ � Ò ¢ � £ � � ¤ ¢ ¦ � « ¡ ¢ £ ¡ ¥ £ � © ¢ ¢ � � « ¤ © ¢ ¤ � «« � � ¬ ¢ ¤ Ó � � � � � � ¬ ¡ � Å ¡ � ´ ¨ ¥ © ¨ ¡ ¦ ¡ « ¤ © ¢ °  ¬ ¤   � Î ¥ � ¡ � � � ¢ � «  © ¥ ´ � ¥ � Ó � ¤ ¥ � « ¬ � £ � ­ �   © ¨ ê � ¢ « © � ¡ � ¨ � � ¤ Ò �   � ¡ ¥ ¢ ¤ ¢ ¦ ¡   ¦ © ¥ ¤ « ¬ ª ° � ¤ ¢ � � « ¬ � § ¥ � Ó � ¤ ¥ � ¤ ¢ « � ¦ � ¥  � ¤ ¦ ¬ « � ® à µ ° · ° µ ¿ ¡ ¢ £¤ ¢ � © ¥ ¨ © ¥ ¡ « � � � ¢ � « ¤ © ¢ � « ¬ ¡ « £ © ¢ © « ¬ ¡ ­ � £ � ¥ ¤ ­ ¡ « ¤ ­ � � À

� ¤ � £ � ¥ ¤ � ¬ ® µ ¶ ¾ ¶ ¿ £ � ­ ¤ � � £ ¡ ª � « ¬ © £ « ¬ ¡ « ¡ � � � ¨ « � ¤ ¢ � « ¥ � � « ¤ © ¢ � ¤ ¢ ¡ � § ª Å ©   ¤ � � © ¥ ª ÀÁ � � � � � « ¬ � ¤ ¢ � « ¥ � � « ¤ © ¢ � « © � ¥ � ¡ « � � Ì ¡ ª ¨   � � ° « ¬ � ¢ « ¥ ¡ ¤ ¢ � ¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´  ¤ « ¬« ¬ � � � � Ì ¡ ª ¨   � � « © ¤ ¢ � © ¥ ¨ © ¥ ¡ « � « ¬ � ¤ ¢ � « ¥ � � « ¤ © ¢ � ° ¡ � © ¨ ¨ © � � £ « © £ ¤ ¥ � � «   § ¤ ¢ � « ¡     ¤ ¢ ¦ « ¬ �¤ ¢ � « ¥ � � « ¤ © ¢ � À

� Å � à » © � « ¡ � ¡ ® µ ¶ ¶ � ¿ � � � � ¡ ¢ ¡ ¨ ¨ ¥ © ¡ � ¬ � ¤ ª ¤   ¡ ¥ « © � ¤ � £ � ¥ ¤ � ¬ � � « © � ¢ � © £ � Ô ¬ ¤ ¢ « � Õ¤ ¢ ¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ À � ¬ ¤ ¢ « ¤ � ¡ ¨ ¤ � � � © � ´ ¢ ©    � £ ¦ � ¨ ¥ © ­ ¤ £ � £ « © « ¬ � ¢ � «  © ¥ ´ « ¬ ¡ «¤ ¢ £ ¤ � ¡ « � � � © ª � ¤ ª ¨ © ¥ « ¡ ¢ « ¦ � ¢ � ¥ ¡   ¡ � ¨ � � « � © ¥ « ¬ � ¢ � «  © ¥ ´ « © ¬ ¡ ­ � À Ð © ¥ � Ì ¡ ª ¨   � °¡ ¬ ¤ ¢ « ª ¤ ¦ ¬ « ¤ ¢ £ ¤ � ¡ « � « © ¡ ¢ � «  © ¥ ´ « ¥ § ¤ ¢ ¦ « © ¡ � � � � � ¨ � © ¨   � ¡ � � ¥ � £ ¤ « ¥ ¤ � ´ � « ¬ ¡ « ¡Ô ª © ¢ © « © ¢ ¤ � ¤ « § Õ ¨ ¥ ¤ ¢ � ¤ ¨   � � ¬ © �   £ ¬ ©   £ ® ¤ À � À °  ¬ � ¢ © ¢ � ¨ � ¥ � © ¢ ¤ � ¡ ¦ © © £ � ¥ � £ ¤ « ¥ ¤ � ´ °« ¬ � ¢ ¡ ¢ ¤ £ � ¢ « ¤ � ¡   ¨ � ¥ � © ¢  ¤ « ¬ ¡ ¬ ¤ ¦ ¬ � ¥ � ¡   ¡ ¥ § � ¬ © �   £ ¡   � © Å � ¡ ¦ © © £ ¥ ¤ � ´ ¿ À � Å � û © � « ¡ � ¡ � � � � « ¬ � � � ¬ ¤ ¢ « � « © ¦ � ¢ � ¥ ¡ « � � Ì ¡ ª ¨   � � « ¬ ¡ «  ¤     � ¡ � � � « ¬ � ¢ � «  © ¥ ´ « © ¬ ¡ ­ �« ¬ ¤ � ¨ ¥ © ¨ � ¥ « § ° « ¬ � ¢ ª ¤ Ì � � « ¬ � � � � Ì ¡ ª ¨   � � ¤ ¢  ¤ « ¬ « ¬ � © ¥ ¤ ¦ ¤ ¢ ¡   « ¥ ¡ ¤ ¢ ¤ ¢ ¦ � Ì ¡ ª ¨   � � À � �

Page 26: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

 ¤ « ¬ � ¤ � £ � ¥ ¤ � ¬ � �  © ¥ ´ ° © � ¥  © ¥ ´ £ ¤ Ä � ¥ � � ¥ © ª � Å � à » © � « ¡ � ¡ � � ¤ ¢ « ¬ ¡ « * + , - . £ ¤ ¥ � � «   §¤ ¢ � « ¡     � « ¬ � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ � ¢ � «  © ¥ ´ À

± � £ £ ¡ ¥ « ¬ ¡ ¢ £ Á ©   £ � ¢ ® µ ¶ ¶ µ ¿ ¤ ¢ ­ � � « ¤ ¦ ¡ « � £ ¡ ¢ © « ¬ � ¥ � © ¥ ª © � Ô ¬ ¤ ¢ « Õ � © ¥ ¡ ¢ � � ¥ ¡  ¢ � «  © ¥ ´ À � ¢ « ¬ � ¤ ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ° ¡ ¬ ¤ ¢ « ¤ � ¡ ¢ � Ì « ¥ ¡ © � « ¨ � « ­ ¡   � � � © ¥ « ¬ � ¢ � � ¥ ¡   ¢ � «  © ¥ ´ ÀÐ © ¥ � Ì ¡ ª ¨   � ° ¡ ¢ � � ¥ ¡   ¢ � «  © ¥ ´ � � ¤ ¢ ¦ � ¤ ¦ ª © ¤ £ ¡   ¡ � « ¤ ­ ¡ « ¤ © ¢ � ¢ ¤ « � « © « ¥ § « ©   � ¡ ¥ ¢ « ¬ �£ ¤� � �   « � < * � � ¢ � « ¤ © ¢ ª ¤ ¦ ¬ « ¥ � � � ¤ ­ � ¡ ¬ ¤ ¢ « ¤ ¢ « ¬ � � © ¥ ª © � « ¬ � © � « ¨ � « ­ ¡   � � � © ¥ « ¬ �< * � � ¢ � « ¤ © ¢ À ½ ¬ � < * � � ¢ � « ¤ © ¢ ¤ � � � � � �   ¡ � ¡ ¬ ¤ ¢ « Å � � ¡ � � � ¤ « ¤ � � ¤ ª ¨   � « ©   � ¡ ¥ ¢ À ½ ¬ �¢ � «  © ¥ ´ � ¡ ¢ � � � « ¬ � ¬ ¤ £ £ � ¢ � ¢ ¤ « � ¤ « � © ¢ � « ¥ � � « � « © ¨ ¥ � £ ¤ � « « ¬ � < * ­ ¡   � �  ¬ � ¢   � ¡ ¥ ¢ ¤ ¢ ¦� < * ® ¤ À � À ° « ¬ � ¬ ¤ ¢ « � � ¥ ­ � � « © £ � � © ª ¨ © � � « ¬ � ¨ ¥ © Å   � ª � © ¥ « ¬ � ¢ � «  © ¥ ´ ¿ À ± � £ £ ¡ ¥ « ¬ ¡ ¢ £Á ©   £ � ¢ � �  © ¥ ´ ¬ ©  � ­ � ¥ © ¢   § £ � ¡   �  ¤ « ¬ ¬ ¤ ¢ « � ¤ ¢ « ¬ � � © ¥ ª © � � � � � �   © � « ¨ � « � ¤ ¦ ¢ ¡   � °¡ ¢ £ � « ¤     ¥ � Ó � ¤ ¥ � � ¢ � «  © ¥ ´   � ¡ ¥ ¢ ¤ ¢ ¦ °  ¬ ¤   � * + , - . ¤ ¢ � © ¥ ¨ © ¥ ¡ « � � ¡ £ ­ ¤ � � ¤ ª ª � £ ¤ ¡ « �   § À

Ñ � ¥  © ¥ ´ © ¢ * + , - . ¤ � � ¤ ª ¤   ¡ ¥ « © © � ¥ � ¡ ¥   ¤ � ¥  © ¥ ´  ¤ « ¬ « ¬ � � � % & + ' ' � § � « � ª® » ¡ �   ¤ ¢ ² ± ¬ ¡ ­   ¤ ´ ° µ ¶ ¶ � ¿ À � � % & + ' ' � � � � ¡ « § ¨ � © � ¥ � � � ¥ ¥ � ¢ « ¢ � � ¥ ¡   ¢ � «  © ¥ ´ ¤ ¢ ë ¥ © £ � � � £ Å § �   ª ¡ ¢ ® µ ¶ ¶ · ¿ « ¬ ¡ « ª ¡ ¤ ¢ « ¡ ¤ ¢ � ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ � ¥ © ª ¨ ¥ � ­ ¤ © � � ¡ � « ¤ ­ ¡ « ¤ © ¢ �� � ¤ ¢ ¦ « ¬ � ¥ � � � ¥ ¥ � ¢ « ¢ � «  © ¥ ´   ¤ ¢ ´ � À � � % & + ' ' � Ì « � ¢ £ � % & + ' ' « © £ � ¡    ¤ « ¬ " � Æ � Ë� ¢ ¤ « � ° Å � « ¤ « £ © � � ¢ © « � ¥ � ¡ « � � Ë � � « ¡ « � � ¢ ¤ « � À ± ¤ ª ¤   ¡ ¥   § ° © « ¬ � ¥ ¥ � � � ¡ ¥ � ¬ � ¥ � ® Ð ¥ ¡ � � © ¢ ¤ °Î © ¥ ¤ ° » ¡ ¦ ¦ ¤ ¢ ¤ ° ² ± © £ ¡ ° µ ¶ ¶ � ¸ Ñ ª   ¤ ¢ ² Î ¤   � � ° µ ¶ ¶ º ¿ ¤ ¢ � � ¥ « ¨ ¥ ¤ © ¥ ´ ¢ ©    � £ ¦ � ¡ Å © � «¡ Ò ¢ ¤ « � à � « ¡ « � ¡ � « © ª ¡ « © ¢ ¤ ¢ « © ¡ ¥ � � � ¥ ¥ � ¢ « ¢ � � ¥ ¡   ¢ � «  © ¥ ´ À ¹ ¤ ´ � © � ¥ � � % & + ' '  © ¥ ´ °« ¬ ¤ �  © ¥ ´ £ © � � ¢ © « ª ¡ ´ � � � � © � ´ ¢ ©    � £ ¦ � ¨ ¥ © ­ ¤ £ � £ ¡ � « � ¥ « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¬ ¡ � Å � ¦ � ¢ ° ¢ © ¥£ © « ¬ � § � « � £ § � ¹ « ¡ � ´ � À

¹ ¤ ¢ ® µ ¶ ¶ � ¿ ¬ ¡ � ¡   � © ¤ ¢ ­ � � « ¤ ¦ ¡ « � £ « ¬ � ¤ £ � ¡ © � ¬ ¡ ­ ¤ ¢ ¦ ¡   � ¡ ¥ ¢ � ¥ � � � ¨ ¥ ¤ © ¥ � « ¡ « � ´ ¢ ©    Ã� £ ¦ � À Á � � � � � ¡ ¢ � ¹ ¡ ¦ � ¢ « « ¬ ¡ « ¬ ¡ � ¡ � ¤ ¢ ¨ � « ¢ © « © ¢   § « ¬ � � � ¥ ¥ � ¢ « ¤ ¢ ¨ � « � « ¡ « � ° Å � «¡   � © � © ª � ¢ � ª Å � ¥ © � « ¬ � ¨ ¥ � ­ ¤ © � � ¤ ¢ ¨ � « � « ¡ « � � À ½ ¬ � £ ¤ Ä � ¥ � ¢ � � Å � «  � � ¢ ¹ ¤ ¢ � � ¡ ¨ è ¥ © ¡ � ¬ ¡ ¢ £ © � ¥ � ¤ � « ¬ ¡ «  � � � � « ¬ � ¡ £ ­ ¤ � � « © £ � « � ¥ ª ¤ ¢ � ¡ ¨ © ¥ « ¤ © ¢ © � « ¬ � ¨ ¥ � ­ ¤ © � �¤ ¢ � © ¥ ª ¡ « ¤ © ¢ « © ´ � � ¨ ° ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ « ¥ § ¤ ¢ ¦ « © ´ � � ¨ ¡     © � ¤ « ° « ¬ � ¥ � Å § � © � � � ¤ ¢ ¦   � ¡ ¥ ¢ ¤ ¢ ¦ À

� Ë � � É � � � $ É � $ � � � � � Ë Ç � Ë

½ ¬ � ¥ � ¬ ¡ � Å � � ¢ ¡ ¦ ¥ ©  ¤ ¢ ¦   ¤ « � ¥ ¡ « � ¥ � © ¢ ¡ � « © ª ¡ « � £ Ô « ¬ � © ¥ § ¥ � Ò ¢ � ª � ¢ « Õ ® Ð � ° µ ¶ ¾ ¶ ¸Î ¤ ¢ � Å � ¥ ¦ ° µ ¶ ¾ ¾ ¸ Ñ � ¥ � « © ¢ ² » © © ¢ � § ° µ ¶ ¶ Ï ¸ � ¡ � � ¡ ¢ ¤ ² ) ¤ Å   � ¥ ° µ ¶ ¶ º ¸ ± ¬ ¡ ­   ¤ ´ ² ½ ©  Ã�     ° µ ¶ ¾ ¶ ¿ ° ¡ ¢ £ ¤ « ¤ � � ¥ © ª « ¬ ¤ � ¥ � � � ¡ ¥ � ¬ ¨ � ¥ � ¨ � � « ¤ ­ � « ¬ ¡ « © � ¥ ¡ £ ­ ¤ � � à « ¡ ´ ¤ ¢ ¦  © ¥ ´¡ ¥ © � � À Ñ � ¥ ¢ �   © ¥ ´ £ ¤ Ä � ¥ � Å § ¤ « � ¢ © ­ �   � ª ¨ ¬ ¡ � ¤ � © ¢ « ¬ � © ¥ § ¥ � Ò ¢ � ª � ¢ « ¤ ¢ « ¬ � � © ¢ ë � Ì « © � ª �   « ¤ à � « � ¨ ¨ ¥ © Å   � ª � ©   ­ ¤ ¢ ¦ ¤ ¢ ª �   « ¤ à ¡ � « © ¥  © ¥   £ � ° ¡ � © ¨ ¨ © � � £ « © ¥ � Ò ¢ � ª � ¢ «© � « ¬ � © ¥ ¤ � � � © ¥ � ¡ « � ¦ © ¥ ¤ � ¡ « ¤ © ¢ ¡ ¢ £ £ ¤ ¡ ¦ ¢ © � ¤ � À Á � ¥ � °  � ­ ¤ � Â Ô £ © ª ¡ ¤ ¢ « ¬ � © ¥ ¤ � � Õ ¡ �� « ¡ « � ª � ¢ « � ¤ ¢ ¡ ¨ ¥ © � � £ � ¥ ¡   ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ° ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢ « ¬ � � © ª ª © ¢ ­ ¤ � © � ¡ £ © ª ¡ ¤ ¢ « ¬ � © ¥ § Å � ¤ ¢ ¦ ¡ � ©     � � « ¤ © ¢ © � £ � �   ¡ ¥ ¡ « ¤ ­ � � ¥ ©   © ¦ � « ¡ « � ª � ¢ « � À ³ � ¡   � ©¡ £ £ ¥ � � � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ ¤ ¢ ¦ ° ¥ ¡ « ¬ � ¥ « ¬ ¡ ¢   � ¡ ¥ ¢ ¤ ¢ ¦ à � ¥ © ª à � Ì ¡ ª ¨   � � À Ð ¤ ¢ ¡     § ° � ¢ à ¤ ´ � ¨ ¥ � ­ ¤ © � � ¡ ¨ ¨ ¥ © ¡ � ¬ � � °  � ¡     ©  £ © ª ¡ ¤ ¢ « ¬ � © ¥ ¤ � � « © Å � ¨ ¥ © ­ ¤ £ � £ ¨ ¤ � � � ª � ¡   ¡ «¡ ¢ § « ¤ ª � £ � ¥ ¤ ¢ ¦ « ¬ � « ¥ ¡ ¤ ¢ ¤ ¢ ¦ ¨ ¥ © � � � � ° ¡ � « ¬ � ¢ � � £ Å � � © ª � � ¡ ¨ ¨ ¡ ¥ � ¢ « « © « ¬ � ¡ £ ­ ¤ � © ¥ À� ¢ � © ª ¨   � Ì « ¡ � ´ � ¤ « ¤ � ¢ © « £ � � ¤ ¥ ¡ Å   � « © � ¤ ª ¨   § ¥ � � « ¡ ¥ «   � ¡ ¥ ¢ ¤ ¢ ¦ � ¥ © ª « ¬ � Å � ¦ ¤ ¢ ¢ ¤ ¢ ¦Â ¬ � ¢ � ­ � ¥ © ¢ �  ¡ ¢ « � « © ¡ £ £ � © ª � « ¬ ¤ ¢ ¦ « © « ¬ � £ © ª ¡ ¤ ¢ « ¬ � © ¥ § À

Page 27: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � �

³ � ¨ ¥ � � � ¢ « ¡ ¢ ¡ ¨ ¨ ¥ © ¡ � ¬ « ¬ ¡ « ¡     ©  � ¡ � © ¢ ¢ � � « ¤ © ¢ ¤ � « ° ¥ � ¤ ¢ � © ¥ � � ª � ¢ « à   � ¡ ¥ ¢ ¤ ¢ ¦ ¡ ¦ � ¢ «« © « ¡ ´ � ¡ £ ­ ¡ ¢ « ¡ ¦ � © � ¤ ¢ � « ¥ � � « ¤ © ¢ � ¨ ¥ © ­ ¤ £ � £ Å § ¡ ¢ � Ì « � ¥ ¢ ¡   © Å � � ¥ ­ � ¥ À ½ ¬ � © Å � � ¥ ­ � ¥� © ª ª � ¢ ¤ � ¡ « � � ¡ £ ­ ¤ � � � � ¤ ¢ ¦ ¡ � ¤ ª ¨   � ¤ ª ¨ � ¥ ¡ « ¤ ­ � ¨ ¥ © ¦ ¥ ¡ ª ª ¤ ¢ ¦   ¡ ¢ ¦ � ¡ ¦ � ° © ¢ � « ¬ ¡ «£ © � � ¢ © « ¥ � Ó � ¤ ¥ � « ¬ ¡ « « ¬ � © Å � � ¥ ­ � ¥ ¬ ¡ ­ � ¡ ¢ § ´ ¢ ©    � £ ¦ � © � « ¬ � ¡ ¦ � ¢ « � � ¤ ¢ « � ¥ ¢ ¡    © ¥ ´ ä ¢ ¦ � À ½ ¬ � ¥ � ¤ ¢ � © ¥ � � ª � ¢ «   � ¡ ¥ ¢ � ¥ ¡ ¨ ¨   ¤ � � « � � ¬ ¢ ¤ Ó � � � � ¥ © ª ´ ¢ ©    � £ ¦ � à Š¡ � � £ ¢ � � ¥ ¡  ¢ � «  © ¥ ´ � « © £ ¤ ¥ � � «   § ¤ ¢ � � ¥ « « ¬ � © Å � � ¥ ­ � ¥ � � ¡ £ ­ ¤ � � ¤ ¢ « © « ¬ �   � ¡ ¥ ¢ � ¥ � � � « ¤   ¤ « § � � ¢ � « ¤ © ¢ °« ¬ � ¥ � Å § � ¨ � � £ ¤ ¢ ¦ � ¨ ¤ « �   � ¡ ¥ ¢ ¤ ¢ ¦ À � ª ¨ © ¥ « ¡ ¢ «   § ° « ¬ � ¡ ¦ � ¢ « £ © � � ¢ © « ¡ � � � ¨ « « ¬ � ¡ £ ­ ¤ � �¡ Å � ©   � « �   § ¢ © ¥ ¨ � ¥ ª ¡ ¢ � ¢ «   § À ¯ ¡ � � £ © ¢ � � Å � � Ó � � ¢ « � Ì ¨ � ¥ ¤ � ¢ � � ° « ¬ �   � ¡ ¥ ¢ � ¥ � ¡ ¢ ¥ � Ò ¢ �¡ ¢ £ � ­ � ¢ £ ¤ � � ¡ ¥ £ « ¬ � ¡ £ ­ ¤ � � À

� Ì ¨ � ¥ ¤ ª � ¢ « �  ¤ « ¬ © � ¥ * + , - . � § � « � ª £ � ª © ¢ � « ¥ ¡ « � « ¬ � ­ ¡   ¤ £ ¤ « § © � « ¬ ¤ � ¡ £ ­ ¤ � � ë ¡ ´ ¤ ¢ ¦ ¡ ¨ ¨ ¥ © ¡ � ¬ ¸ � ¡ � ¬ © � � © � ¥ « § ¨ � � © � � ¡ ª ¨   � ¡ £ ­ ¤ � �   � ¡ £ « © � « ¡ « ¤ � « ¤ � ¡     § � ¤ ¦ ¢ ¤ Ò � ¡ ¢ «¦ ¡ ¤ ¢ � ¤ ¢ � Ì ¨ � � « � £ � � « � ¥ � ¥ �  ¡ ¥ £ À � ¢ « � ¥ � � « ¤ ¢ ¦   § ° © � ¥ � Ì ¨ � ¥ ¤ ª � ¢ « � � ¬ ©  « ¬ ¡ « « ¬ � � �¦ ¡ ¤ ¢ � £ © ¢ © « £ � ¨ � ¢ £ © ¢  ¬ � ¢ « ¬ � © Å � � ¥ ­ � ¥ � � ¨ ¨   ¤ � � « ¬ � ¡ £ ­ ¤ � � À Ð ¤ ¢ ¡     § °  � ¨ ¥ � � � ¢ «¥ � � �   « � « ¬ ¡ « � ¬ ©  © � ¥ ¡ ¨ ¨ ¥ © ¡ � ¬ ¤ � � � ¨ � ¥ ¤ © ¥ « © ¡ ¢ ¡ ¤ ­ � ¡ ¨ ¨ ¥ © ¡ � ¬ � © ¥ ª ¡ ´ ¤ ¢ ¦ � � � © �« ¬ � © Å � � ¥ ­ � ¥ � � ¡ £ ­ ¤ � � À

� ¢ � © ¢ �   � � ¤ © ¢ °  � ¬ ¡ ­ � ¨ ¥ © ¨ © � � £ ¡ ¢ ¡ ¨ ¨ � ¡   ¤ ¢ ¦ ¡ ¨ ¨ ¥ © ¡ � ¬ � © ¥   � ¡ ¥ ¢ ¤ ¢ ¦ � ¥ © ª Å © « ¬¤ ¢ � « ¥ � � « ¤ © ¢ ¡ ¢ £ � Ì ¨ � ¥ ¤ � ¢ � � ¤ ¢ £ § ¢ ¡ ª ¤ � ° ª �   « ¤ à ¡ � « © ¥ « ¡ � ´ � À ½ ¬ ¤ �  © ¥ ´  ¤ £ � ¢ � « ¬ �Ô ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ ¨ ¤ ¨ �   ¤ ¢ � Õ Å � «  � � ¢ ¬ � ª ¡ ¢ � ¡ ¢ £ ª ¡ � ¬ ¤ ¢ �   � ¡ ¥ ¢ � ¥ � °  ¤ « ¬ © � « ¥ � Ó � ¤ ¥ ¤ ¢ ¦« ¬ ¡ « « ¬ � ¬ � ª ¡ ¢ ¨ ¥ © ­ ¤ £ � ¡ Å � ©   � « �   § � © ¥ ¥ � � « ¤ ¢ � © ¥ ª ¡ « ¤ © ¢ « © « ¬ �   � ¡ ¥ ¢ � ¥ À

� � # � � " � � � ( ! � � � �

½ ¬ ¤ � ¥ � � � ¡ ¥ � ¬  ¡ � ¨ ¡ ¥ « ¤ ¡     § � � ¨ ¨ © ¥ « � £ Å § Ñ � � � © � � ¡ ­ ¡   � � � � ¡ ¥ � ¬ Î ¥ ¡ ¢ « � · · · µ Ï Ã¶ � à µ à · ¶ ¶ ¾ ¡ ¢ £ � ¡ « ¤ © ¢ ¡   ± � ¤ � ¢ � � Ð © � ¢ £ ¡ « ¤ © ¢ Î ¥ ¡ ¢ « � � � à ¶ · · º Ï µ � À ³ � ¡   � ©  ¤ � ¬ « ©« ¬ ¡ ¢ ´ ¼ ¡ ¥ ©   § ¢ �     � Ì ° » ¡ ¥ ´ ¼ ¥ ¡ ­ � ¢ ° � ¤ ¡ ¢ ¡ Î © ¥ £ © ¢ ° ¹ � �   ¤ � � ¡ � ´ ) ¡ �   Å   ¤ ¢ ¦ ° ± � Å ¡ � « ¤ ¡ ¢½ ¬ ¥ � ¢ ° ¡ ¢ £ « ¬ � «  © ¡ ¢ © ¢ § ª © � � ¥ � ­ ¤ �  � ¥ � � © ¥ « ¬ � ¤ ¥ ¬ �   ¨ � �   � © ª ª � ¢ « � © ¢ £ ¥ ¡ � « � © �« ¬ ¤ � ¨ ¡ ¨ � ¥ À � � ¬ © ¥ « � ¥ ­ � ¥ � ¤ © ¢ © � « ¬ ¤ � ¡ ¥ « ¤ �   � ¡ ¨ ¨ � ¡ ¥ � £ ¡ � » ¡ �   ¤ ¢ ¡ ¢ £ ± ¬ ¡ ­   ¤ ´ ® µ ¶ ¶ Ï ¿ À

� � � � � � � � � � � � � � ! � � � � � � � � � � $ � � % � � �

½ ¬ � � © � ¥ ¨ ¤ � � � � © � ¡ £ ­ ¤ � � � � � £ ¤ ¢ « ¬ � � Ì ¨ � ¥ ¤ ª � ¢ « � ¤ ¢ ± � � « ¤ © ¢ Ï ¡ ¨ ¨ � ¡ ¥ Å �   ©  À � � � ¡    « ¬ ¡ « ¤ ¢ © � ¥ « � � « Å � £ « ¬ � ¡ ¦ � ¢ « ¬ ¡ � «  © ¡ � « ¤ © ¢ � ® ª © ­ ¤ ¢ ¦ ¡ ¢ £ ¨ � � ¬ ¤ ¢ ¦ ¿ « ¬ ¡ « � ¡ ¢ Å �� Ì � � � « � £ ¤ ¢ ¡ ¢ § © � « ¬ � � © � ¥ £ ¤ ¥ � � « ¤ © ¢ � ® � ¡ � « ° � © ¥ « ¬ ° ³ � � « ° ¡ ¢ £ ± © � « ¬ ¿ À ½ © ª ¡ ´ � ¤ «� ¡ � ¤ � ¥ � © ¥ ¡ ¢ © Å � � ¥ ­ � ¥ « © � ¨ � � ¤ � § ¡ £ ­ ¤ � � « ¬ ¡ « ¡ ¨ ¨   ¤ � � ¤ ¢ ¡ ¢ § £ ¤ ¥ � � « ¤ © ¢ °  � £ � Ò ¢ � £ « ¬ �� ¨ � � ¤ ¡   « � ¥ ª Ç É $ À � � ¥ ¤ ¢ ¦ ¨ ¡ ¥ � ¤ ¢ ¦ ° Ç É $ ¤ � � Ì ¨ ¡ ¢ £ � £ Å § ¥ � ¨   ¡ � ¤ ¢ ¦ � ¡ � ¬ ¥ �   � � © ¢ « ¡ ¤ ¢ ¤ ¢ ¦ ¤ «Â ¤ « ¬ � © � ¥ ¥ �   � � ° © ¢ � � © ¥ � ¡ � ¬ £ ¤ ¥ � � « ¤ © ¢ À ± ¤ ª ¤   ¡ ¥   §  � ¬ ¡ ­ � £ � Ò ¢ � £ ¡ � � « © � � © � ¥ « � ¥ ª �� Æ > Ë Æ Ç � ! Æ Ê � � " É Ç Ë � � " É Ç Ë � � À � ¢ § ¥ �   � � � ¤ ¢ ¦ « ¬ � � � « � ¥ ª �   � ¡ £ � « © Ë É � > � ¥ �   � � B «  ©� © ¥ � ¡ � ¬ � ¡ � �  ¬ � ¥ � Æ > Ë Æ Ç ¤ � � ¡ � « ° � © ¥ « ¬ ° ³ � � « ¡ ¢ £ ± © � « ¬ ¡ ¢ £ ! Æ Ê � ¤ � ¡ ¨ ¨ ¥ © ¨ ¥ ¤ ¡ « �   §� � « À ½ ¬ � ¥ � ¡ ¥ � «  © � © ¥ � ¡ � ¬ � ¡ � � © � Æ > Ë Æ Ç ¡ ¢ £ ! Æ Ê � Å � � ¡ � � � " É Ç Ë � ¡ ¢ £ " É Ç Ë � � ¡ ¢¬ ¡ ­ � «  © � � « � © � ­ ¡   � � � � © ¥ ¡ ¢ § ­ ¡   � � © � Æ > Ë Æ Ç ® � À ¦ À ° ¤ � Æ > Ë Æ Ç ¤ � � © ¥ « ¬ ° " É Ç Ë � � © �   £

Page 28: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

Å � � ¡ � « ¡ ¢ £ " É Ç Ë � ³ � � « ° © ¥ ­ ¤ � � à ­ � ¥ � ¡ ¿ À � ¨ ¨ � ¢ £ ¤ Ì � ¤ ¢ » ¡ �   ¤ ¢ ® µ ¶ ¶ � ¿ � © ¢ « ¡ ¤ ¢ � « ¬ �£ � Ò ¢ ¤ « ¤ © ¢ � © � « ¬ � � � � � § « � ¥ ª � ® � À ¦ À ° � � ¡ ¥ ° » ¡ ¢ § ° � ¢ ° ¡ ¢ £ � ¡ � « ¿ À

@ É � � � Ë � � È Ë "� � � � ! � � � � � � � � ! � � � � � � � �

" # $ % � % � $ 8 > � 6 � � � � � $ % - .� � � � ! � � � � � � � � ! � � � � � � � � �

� � � � � � � � ! � � � � � � � �" # $ % � % � $ 8 > , � � � � � $ % - .

� � � � � � � � � � � � � � � � � �" # $ % - + % + " , � � � � � $ % - .

� � > , � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � �" # $ % , � � � � � $ % - .

� � > � 6 � � � � � � � � � � � � � � � � � � � � � �" # $ % � 6 � � � � � $ % -

+ � � ! 0 � � � � ! � � � � � 6 . � 6 � 0 � � � � � � � � ! � � � � � 6 . = 6 � � � ! � � � <� � � � � � � � ! � � � � � ! � � � � � 3� � � � � � � � � � � � � 6 � 3 �

� � � � Ê Æ �� � È Ë "� � � � ! � � � � � � � � ! � � � � � � � � �

� � � � � � � � ! � � � � � � � �" # $ % � % � $ 8 > , � � � � � $ % - .

� � > , � � � � � � , � � � � � � ) 8 $ � : � � � � �� � � � � � � � � � � � � � � �" # $ % , � � � � � $ % - .

� � > , � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � �� � � � � � � � � � � � � , � � 6 � ; � � � � �" # $ % , � � � � � $ % -

� 6 � � 1 � � � 0 � � � � � � � � � � �� � � � � � � � � � � � 0 � � � � � � � �� � � � 2 � � � � � � � � 1 � � � � 0 � � � � � � � 0 � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � �� � � 1 � � � � " � 3 � � � � 6 � 3 �

� � É � � � Ë � É Ë "� � � � ! � � � � � � � � ! � � � � � � � � �

� � � � � � � � ! � � � � � � � �" # $ % � % � $ 8 > , � � � � � $ % - .

� � > , � � � � � � � � � � � � � � � � � � � � : � 6 � �� � ! � � � � � � � � ! � � � � ' � � � � �

" # $ %& ' ( " � ) * " � + %

, � � � � � � �, � � ' � � � �, � � ' � � � �, � � : � 6� 6 � � ' � � �

$ % -$ % -

� � � � � � � � � � � � � � ! � � � �� � 6 � � � � � � � � � � � � � ! � � � � � �� � � ! � 2 � = � � � � � 6 � � � � � ! � � � <� � � � = 6 � � � � � � � � � � � 3� � � � 6 � 3 �

Page 29: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

@ # $ $ � # � Ç Ë Ç� � � � ! � � � � � � � � ! � � � � � � � �

" # $ % � % � $ 8 > � 6 � � � � � $ % - .� � � � � � � � � � � � � � � � � � ;

� � � � � � � ! � � � � � � � � ;� � ! � � � � � � � � ! � � � � � � � �" # $ % � % � $ 8 � � � > � � � � $ % - .

� � � � � > � � � � � � � � > � � � � � � �� � � > � 5 � 6 � � � � � � > � � � �" # $ % � % � $ 8 5 6 � � � 6 � � � $ % - .

4 # $ % 5 6 � � � 6 � � � � > � 6 � � � � � � � � � � � � � � � �8 $ 9 $ ) "

& ' ( " � ) * " � + % � 6 � � � � � , � � � � � $ % -' % " � ( : > � 6 � � � � �

$ % -

� � � � 6 � � � 6 � � � ! � � ! � � � � �� � � � � � � 2 = 6 � � � ! � � � � � � 6 �� 0 � � 1 � � � � � � � � � � � � 6 � � � � � � � 3 � � � � 6 � 3 �

� � � � � � � � �' � � � � ! ! � � $ � � � ' � � � � � � % � � � � � � ( � � ( �

½ ¬ � � « ¡ ¥ « ¢ © ¢ « � ¥ ª ¤ ¢ ¡   © � « ¬ � ¦ ¥ ¡ ª ª ¡ ¥ ¤ � $ # � Ë " À Î ¥ ¡ ª ª ¡ ¥ ¥ �   � � ¡ ¥ � � ¬ ©  ¢  ¤ « ¬­ � ¥ « ¤ � ¡   Å ¡ ¥ � ® � ¿ ¤ ¢ £ ¤ � ¡ « ¤ ¢ ¦ ¡   « � ¥ ¢ ¡ « � ¥ �   � � � © ¥ ¢ © ¢ « � ¥ ª ¤ ¢ ¡   � ® � À ¦ À ° $ # � Ë " � $ # � Ë " � ¡ ¢ £Æ � � Ë ¿ À � ¡ ª � �   ¤ ´ � � � � , � . ' � ¡ ¢ £ � � � - . ¡ ¥ � ´ � §  © ¥ £ � ¤ ¢ « ¬ � ¡ £ ­ ¤ � �   ¡ ¢ ¦ � ¡ ¦ � À� £ £ ¤ « ¤ © ¢ ¡   £ � « ¡ ¤   � � ¡ ¢ Å � � © � ¢ £ ¤ ¢ » ¡ �   ¤ ¢ ® µ ¶ ¶ � ¿ À� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� 1 ) � ' � � 1 ) � � � 1 ) � ' . � 1 ) �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � " # $ % � � 4 # � ( $ � � � � � 8 $ 9 $ ) " � �� 1 ) � � � � � � � � " # $ % � � � ) ' � $ % -

� 4 # � ( $ � � � � - + � � � � ' � � � $ % -� � � � 8 $ 9 $ ) " � � ' % " � ( � � � � � � ' � � � $ % -

� ) ' � � � $ ( � $ � �� � ' � � � � � " # $ % � �� � � � � 4 # $ % � � � �

� & ' ( " � ) * " � + % � � � � � � � � � � � � � ! � � � ' � � � � ' � � � � � � � � � � � � � � � � � � � � % � $ 8 � � � � � � � 8 $ & $ & " $ 8 � � � � � � � � � � � ' � & ' ( " � ) * " � + % ) � ' � $ % - ) � ' � � � � ' � � � ' ) � ' � � � ' � � � � � � � � - + % + " � � � � � � � � � � ) ' � � � � ) ' � � � � � � � � � � � � � � � ; � � ) ' �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � # # � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � : � � � �

Page 30: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � ; � � � �� � 6 � � � � � � � � � ! � � � � � � � � � � '

� � � � � � � � � � � � � � # # � � � � � � � � � � � � � � � � � � � � � � � � � � � � � # # � � � � � � �� � ' � ? � � � � = � � � � � � � : � � ' � � � ) � ' � � � � � � � � � �� ) � ' � � ? � � � � = � � � � � � � ? � � � � = � � � � � � 2 � ) � ' �� � � � � � � � ' � � � � � � � � � � � � � � � � � � ; � � � � �

� � � � �

# % � � ! � � � � } � � � � � � � � N � � " � � " � ! � � � � � ! � � � N � � � � ! $ � # � $ ! � " � � � � � � � � " � # � " ! } � � ! $ ! � � $ � " � � �� � � � � � � � � � " ! � ! � � � � " � � � � � � " � � � � � � � " " � � � N � � � � # � � � " � � � � � � � � � � ! � � � � � � " � ! � � #

� # % � � � � � " � � � � � " � � � � � $ ! � � � " � ! � � � � � � � } � ! � � � � � � " � } � � � � " � } } � � � � � � � � � � � " � ! � � � # � �� � � � � � � " � � � � � $ ! � � � " � ! � � � � � } � " $ ! � � � � ! $ " � � � � � " � � � � � � � ! � � � � } � � � � � � " � � ! " � � " � ! � � � � � �� � � " � � � � � � N � � " � � #

� # � � � � } ! � " " � � � N � � � � " ! " � � � � � � $ ! � � � � � � " � � " � � � " � � � " � � � N � � � � � � � � ! � � " � � � � � � $ ! � � � � � � "� � � � � � � " � � � � � " � � � " � � � � � � $ ! � " � � � � � ! � � � � � " � # � � � } � � ! $ " � � � N � � � � j Z \ Y Q T [ U V j � � � � � �� � � � � � � � " � " � N � � � � � � � � � � " ! " � ! � � � � ! � � � � " � � � � � " � � � " � ! � #

# � � � � � � � � " � � � } ! � " � � � � � " � " � � " � � � � � � � � � � � � � � " � � � � � � � � � � � " � " " � � � � � � � � � � N � � � � # � # � � " �� � � � ! � � � � � � � � #

� # � � � � � ! � � } � � � � � � " � � � � " � O � � } � � ! � � � � � } � � � � ! � � � � � � � � � � � " � � � � � � � " � � � � � � � � } � � � �� � � � � � � � � � � � � � � � � � " " � � #

� $ � � � � � � �

� � � � � ! � " � $ � # � � � � � # ~ � � " � # � V T W h � P Q R S T U h U Z Q [ n � � � � � � #� � � � # � � � } � � � � # � � � � � # � � � � � � � � � } � � � � � " � " � ! � ! $ � " � � ! � � ! $ � � " � N � " � # � �� W Q Y V V j Z [ � \ Q c U � V X Z U � � h U Z Q [ h � P Q [ c V W V [ Y V Q [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � � � � � � � � " " � � � � #� � � � � � ! � � # � � � � � # � " � � " � � � � � � � � � � � " � � � � " � � � � � � � ! � � � � " � ! � � � " � � } � � � � � " � " � ! � � # � � � W Q �Y V V j Z [ � \ Q c U � V � Q T W U � k [ U V W [ h U Z Q [ h � d Q W � \ � Q S Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � � N � � � � � # � � " ! � # � � " " ! � � # � � � � � � ! � � # � � � � � # & � � � ! � � � O � � � � } " � N � � � � � � � " � " � � " � � � � ! � N �� �� � � � " � � � � � � � � ! � " � ! � } � ! � � � � � # k � � � � W h [ \ h Y U Z Q [ \ Q [ X b \ U V R \ _ i h [ _ h [ j P b � V W [ V U Z Y \ e m � � � � � # � � " ! � # � � " " ! � � # � � " O � � � � # � � � � � # � � � � � � � � � � � � � � � � " � � � � � � � � � ! � � � O � � # � �� � � � � � � � # � ! ! � � � # � � � � # � � V h W [ Z [ � h [ j P Q R S T U h U Z Q [ h � � V T W Q \ Y Z V [ Y V } } # � � � � � � � #� � % � � � � � � � � � � � � � � � # � � � � � � ~ # � � � � O � � � # � � � � � # � � � � � � � � � � " � � � � $ � � � � � ! � � � ! � " � ! � � � � � " � � ! � � � � � � �$ ! � � � � � � " � # k � � � � W h [ \ h Y U Z Q [ \ Q [ � V T W h � � V U � Q W � \ m � � � � � #� � � } � � � � # � � � � # � Z \ Z Q [ _ k [ \ U W T Y U Z Q [ _ h [ j � Y U Z Q [ # � � % � � � � � � � � � � � � � � � #� � ! � � � � # � " ! � � # � � � � � # � " � � � � � � � � " � ! � $ ! � � � � � $ ! � � � � � � " � � � � � � � # � � � W Q Y V V j Z [ � \Q c U � V � Z [ U � k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � � � � � � � � � � � ! " � � � � #� � � � � � � # � � } } � � � # � � � � # � h [ � T h � V h [ j � V h W [ Z [ � c Q W � Q � Q U \ # � � � � � � � � � � � " � ! � � � " � � $ ! � � � � #� � � N � � � # � � � N � � O � # � � � � # � � � � � � � } � � � � � � � � � � � � � " ! � � " � � � " � � � � � $ � ! � " � � � � � �� � � � � � � � " � ! � O � # � � � W Q Y V V j Z [ � \ Q c U � V � � V a V [ U � k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � & � � � � � � � � � O & � #� � � � � � � � � � # � � � � � # � � � � � � � � � � � � � " � � � " � ! � � � � � ! � � � � " � ! � � � " � � � " � � � # � � � W Q Y V V j Z [ � \ Q c U � VX Z U � k [ U V W [ h U Z Q [ h � d Q W � \ � Q S Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � � � " � � � � & #

Page 31: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � " " � � � � � % # � � � � # � � ! � � � � � � ! � } � � � " � ! � � � � � � � " � � � } � � " � � � � � } � � � � � � " � ! � � � �� � } � � � � � " � " � ! � # k � � � � S V W U o � � � � � #� � � � � � # � � � � � # � � � � � � � " � � � " � � � � � " � � � # P Q � [ Z U Z a V X Y Z V [ Y V e � � � � � #� � � � � ! � � � # � ! � � � # � � � � � � # � ! � � � # � � � � � # � � � � � � � � " � � � " � ! � ! $ � � } � � � � " O � ! � � � � �� � � � � � � � � � � � � � � � } � � � � � � � � � � � � " � � " � ! � O � # k � � � � W h [ \ h Y U Z Q [ \ Q [ � [ Q � � V j � V h [ j ] h U h� [ � Z [ V V W Z [ � n � � � � � #� � � # � # � � � � � # � � " � � � " � ! � ! $ � � � � � � � � � � � � " � � � � � " ! O � ! � � � � � � � � � � � � � $ � � � � � � # P Q [ [ V Y U Z Q [X Y Z V [ Y V e � � � � � � #� � � � � � � � # � � � � � # � T U Q R h U Z Y � V� [ V R V [ U Q c � S V W U X b \ U V R � [ Q � � V j � V � h \ V \ # � � " � � � � ! � � ! � #� ! � � ! � � # � � � � � � � � � � � � # � � � � # � � � � " � � " � � " � � � � � � � � � � � � � � � $ ! � � � � " O � ! � � � � �� � � � � � � " � ! � # k [ c Q W R h U Z Y h e n � � � � � #� � � � � � # � � � � # � V T W h � � V U � Q W � X b [ U � V \ Z \ T \ Z [ � P V � � T � h W � [ Y Q j Z [ � h [ j U � V � V [ V U Z Y � � � Q �W Z U � R # � � #� # " � � � � � � � ! � � & ! � � � � � � � } � � � � � � � � � � � ! � � � � � � � #~ � � � � � � ! " � � # � � � � � � # � ! � " ! � � # � # � � � � # � � N � � � � " � O � � � � � O � ! � � � � � � � � � � � � � " �� � � " � � � " � N � N � � � ! $ � O � � � � � � � � � � " � ! � # � � � � � � � � ! � � # � � � # � P Q � [ Z U Z a V X � Z � � \ h [ j U � V Z W � Y � T Z �\ Z U Z Q [ } } # � � � � � � # � � � � � � � � � � � � � � � ~ � � � � � � � � & � #~ � � � � � � # � � � � � � # � � � � � # � � � � � � � } � ! � � � � � � � $ � ! � � � " � � � � " � N � � � " � � � � � � � � � � � � � " � � � �" � ! � � # � � i h Y � Z [ V � V h W [ Z [ � � � W Q Y V V j Z [ � \ Q [ U � V � V [ U � k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V } } # � � � �� � � � � � " � � #� � � � � � � � � # � � � � � # � � � � � � � � � ! � � � � � � � � � $ ! � " � � � � � � � � � � } � � � � � � � � � } � � � � � " � " � ! �! $ � � � � � � � � � � � " � � � # � � � W Q Y V V j Z [ � \ Q c U � V � k � � P Q [ c V W V [ Y V Q [ P Q R S T U V W \ Z [ � V W Q \ S h Y V� � O � � � � � � � #� � � � � � � � � # � ! � � � � � � � � � � # � � � � � # � � " � ! � � � � } � � � � � � � � � � � � � � � � � � � " � # � Q � Q U Z Y \h [ j � T U Q [ Q R Q T \ X b \ U V R \ o � � � � #� � � � � � # ~ � � O � � # � � � � # % � � O � # � � � � � # � ! � � � � " � � � � � � � " � � � � � � ! � � � � O � ! � � � � �� � � � ! � " � � � � � � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V X V a V [ U � k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [ i h Y � Z [ V� V h W [ Z [ � } } # � � � � � � � � � " � � % � #� � � � � # � � � O � � � # � ! � � � � # � � � � � # � } " � � � � � � � � � � � � � � # � � % ! � � � " � O � � # � � � # � � j a h [ Y V \ Z [ � V T W h � k [ c Q W R h U Z Q [ � W Q Y V \ \ Z [ � X b \ U V R \ � ! � # � } } # � � � � � � � # � ! � � � � � � $ � � � � � � � ! � � " ! � � #� � N � � � � # � � � ! � % # � ! � � � # � � � � � # � V � b h Y Y # � � � � � � � � � � � � � " ! } ! � � � #� � � � # � � � � � # � � � $ � � � } � ! N � � � � � � " � N � � � � " � � � � � � ! � � � � � $ ! � � � � � � " � � � � � � � } � � � � � � � � �" � � � � � � # i h Y � Z [ V � V h W [ Z [ � � � � � � � � #� � � � # � � � � � # � � � � � � � } � � � � $ ! � � � � � � " � � � � � � � $ ! � � ! � ! " � ! � " � ! � # � � � W Q Y V V j Z [ � \ Q c U � V � V [ U �k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � � � � � � � � " � � #� � � � � � � # � � � � � # � V h W [ Z [ � c W Q R k [ \ U W T Y U Z Q [ h [ j � S V W Z V [ Y V � i V U � Q j \ c Q W k [ Y Q W S Q W h U Z [ �� W Q Y V j T W h � ] Q R h Z [ � � V Q W Z V \ Z [ U Q � [ Q � � V j � V � � h \ V j � V T W h � � V U � Q W � \ # � � #� # " � � � � � � ! � } � " � �� � � � � � � � � � } � � " � � � " � � � N � � � � " � ! $ � � � � ! � � � � � � � � � ! � � � #� � � � � � � # � � � N � � O � # � � � � � # � � � � O � ! � � � � � � � � � � � � � � � � � � � " � ! � O � " ! � � } � ! N � � � ! � � " � � � �� � � � � � " � � � � ! � � � � � � � � � � ! � � " � � $ ! � } � ! " � � � $ ! � � � � # i h Y � Z [ V � V h W [ Z [ � e e � � � � � #� � � � � � � # � � � N � � O � # � � � � # � � � ! � } ! � � " � � � � N � � � � � " ! � � � " � " � � " � � � � � $ � ! � � � � � $ ! � � � �� � � " � # � � � W Q Y V V j Z [ � \ Q c U � V � � V �c U � � h U Z Q [ h � P Q [ c V W V [ Y V Q [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � � � �� � � " " � � � � #� � � � � � N � � � # � ! � � � � � � # � � � � � # � � " ! � � " � � } � ! � � � � � � ! $ � � � � N � ! � � � � � � � � ! � ! " � � � � � � � � � $ ! � � � � � � " � � � � � � � # � W U Z� Y Z h � k [ U V � � Z � V [ Y V l l � � � � � #� � � � � " � � � # � � � � � # � � ! � � � � � � " � � ! � � ! � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V X b R S Q \ Z T R Q [ U � Vi V Y � h [ Z � h U Z Q [ Q c � � Q T � � U � W Q Y V \ \ V \ � ! � # � } } # � � � � # � � � } � � � " � � � � � # � � � � O � � � � " ! � � � � X V R h [ U Z Y k [ c Q W R h U Z Q [ � W Q Y V \ \ Z [ � ^ � � � � � � � � � � � � � % � � � � � � � � � � # � #� ! � � � � � � # � � � � � # � � � � N � � ! $ } � � " � � � � � ! � � � � N � � � � � � � O ! N � � � � � � ! � } � ! � � � � � � � % � � ! � � � ! � � � � � � � � � ! � � " � � � # i h [ h � V R V [ U X Y Z V [ Y V f � � � #� ! � " ! � � # � # � � � � � # % � � � � $ ! � � � � � � � � � � � " � N � � � N � � � � � " ! � � � � " � N � } � ! � � � � � � � � � � � � � � � " � �� � � � � � � � � � } � � # � � � � � � � � � O � � # � � � � ! � � � � � # � � " � � � � � % # � � � � # � i h Y � Z [ V � V h W [ Z [ � � � [� W U Z� Y Z h � k [ U V � � Z � V [ Y V � S S W Q h Y � � ! � # # % � ! � � � � � � � � � ! � � " ! #& � � � � ! � & # � � � � # % � � � ! � � � � � " � N � } � ! � � � � $ ! � � � � " � ! � " � ! � # Q T W [ h � Q c � W U Z� Y Z h � k [ U V � � Z � V [ Y V� V \ V h W Y � e � � � � � #

Page 32: elser/ai_papers/Creating Advice-Taking... · -1.00-0.50 0.00 0.50 1.00 1.50 2.00 0 1000 2000 3000 4000 Number of training episodes Average cumulative testset reinforcement SimpleMoves-1.00-0.50

� � � � � � � � � � � � � � � � � � � � �

& ! � � � � � # � ! " " � � � � � # � � � � # % ! � � � � � � � � " � � � " � � � � � ! � � � � " � ! � � � " � � � " � � � # � � � � � � # ! ! O � � � � # � � � � # � P Q R S T U h U Z Q [ h � � W Y � Z U V Y U T W V \ k [ U V � W h U Z [ � � V T W h � h [ j X b R � Q � Z Y � W Q Y V \ \ V \ #� � � � � � � � � � � � � � ! � " ! � #� � � � � � # � � � � � � # � � � � � # % � � � � � � � � � ! � � � ! � � � � � � � � � � � � " � � � � � � � � " � ! � O � � � � � � � � " � #� � � W Q Y V V j Z [ � \ Q c U � V � Z [ U � k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [ i h Y � Z [ V � V h W [ Z [ � } } # � � � � � � � � �� � � � � � � � ! " � � � � #� � � � " ! � � # � ! ! � � � � # � � � � # % � � ! � � � � � � � � � � " � ! � � � � � � � � � � � " � � � � � � � � � } � � � � � �� � " � ! � � # � W U Z� Y Z h � k [ U V � � Z � V [ Y V o o � � � � � � � #� � � � � � � � # � � � � � � � # � � � � � # % � � � " � � � " � ! $ O � ! � � � � � � � � � � � � " � N � � � � � � � � # i h Y � Z [ V� V h W [ Z [ � � � � � � #� � � � O � � � # � � � � # � } � � � � � � � � � � ! � � � " � � � � � � " � � � " � # P Q R R T [ Z Y h U Z Q [ \ Q c U � V � P i m n � � � #� � � N � � O � # % ! � � � � � # � � � � � # � � � } } � ! � � � " ! � ! � � � � � � � � } � � � � " � ! � � � � � � � � � � � � � � � �� � � � � � � � � ! � � " � � � # P Q [ [ V Y U Z Q [ X Y Z V [ Y V e � � � � � � � #� � � � � � � � � ~ # � � � � # & � � � � � } � ! � � � � � � � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V � � V �c U � � h U Z Q [ h �P Q [ c V W V [ Y V Q [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � � � � � � � � " " � � � � #� � � � � � " � � # ~ ! � � � � � # � � � � # � � � � ! � � � � � � � � � � � � � " � � � � � � " � � � � � ! $ � � � " � $ ! � � � N � � ! } � � � ! � } � � � � � � " � � � # k [ U V W [ h U Z Q [ h � Q T W [ h � Q c i h [ � i h Y � Z [ V X U T j Z V \ m l � � � � #� � " " ! � � # � � � � � # � � � � � � � " ! } � � � � � " � � " � � � � " � ! � � ! $ " � � } ! � � � � � � � � � � � � � # i h Y � Z [ V� V h W [ Z [ � m � � #� � " " ! � � # � � � � # � � � � $ ! � � � � � � " � � � � � � � � � � � � " � � " � � � � $ ! � � � � � � " � # � � � � � � � � # � � � � ! � � # � � � � # � � W Q R � [ Z R h � \ U Q � [ Z R h U \ � � W Q Y V V j Z [ � \ Q c U � V � Z W \ U k [ U V W [ h U Z Q [ h � P Q [ c V W V [ Y V Q [X Z R T � h U Z Q [ Q c � j h S U Z a V � V � h a Z Q W } } # � � � � � � � # � � % � � � � � � � � � � � � � � � #% � � � � � ! � # � � � � � # � � � � " � � � � � � � � � � � � " � � } ! � � � � � � � � � � � � � � � � � � � # i h Y � Z [ V � V h W [ Z [ � � � � � � � � � #% � � � � � # � � " � � � � � % # � � � � � # � � " � � � " � � � � � � � " � N � � � � � � � � � " � ! � O � � � � � � � � � �� � } � � � � " � ! � � � � � � � � � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V � � Z W U V V [ U � k [ U V W [ h U Z Q [ h � Q Z [ U P Q [ c V W V [ Y VQ [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � � � � � � � � � � � � � � � � � � � #% ! � � � � � # � � � N � � O � # � � � � � # � � " � � � " � � � � � � � � � � � � � $ � ! � O � ! � � � � � � � � � � � � � � � � � � � " �� ! � O � # i h Y � Z [ V � V h W [ Z [ � e m � � � #% ! � � � � � # � � � N � � O � # � � � � # � � ! � � � � � � � � � � � � � " � � � � � � � � � � � � � � " � ! � O � # � W U Z� Y Z h � k [ U V � �� Z � V [ Y V n g � � � � #% ! � � � � � # � � � N � � O � # & ! ! � � � � � � � � # � � � � � # � � � � � � � � " ! $ � } } � ! � � � � " � � ! � � � � " � � ! � � � �� � O � ! � � � � � � � � � � � � � � � � � � � " � ! � O � # � � � W Q Y V V j Z [ � \ Q c U � V � Z � � U � � h U Z Q [ h � P Q [ c V W V [ Y V Q [� W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � � � � ! � " ! � � � #� " ! � � # � � ! � � � � # � � � � # % � ! O � � � � ! $ " � � � � � � � � $ ! � � � " � ! � $ ! � � N � � � � " � ! � $ � � � " � ! �� � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V � Z [ U � � h U Z Q [ h � P Q [ c V W V [ Y V Q [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � �� � � � � � � � � � � � #� � " O � � � � # � � � � � # � V h W [ Z [ � c W Q R ] V � h b V j � V � h W j \ # � � #� # " � � � � � � � � � � � ! � � � � � � � � � � � � #� � " O � � � � # � � � � � � # � � � � � # � � � � � � � � � # i h Y � Z [ V � V h W [ Z [ � � � � � � � � � #� � � � � � � # � � � � � # � � ! N � � � " " � � � � � " � � � � � � " � N � � � � � � � ! $ � � � � � � � � � " � # � � � W Q Y V V j �Z [ � \ Q c U � V e � � m P Q [ [ V Y U Z Q [ Z \ U i Q j V � \ X T R R V W X Y � Q Q � } } # � � � � � � � � � � � " � ! � � # � ! � � �� � � $ � � � � #� � � " � � � � � � # � � � � # � � ! � } � � � � " � � � � � � � � � ! $ � ! ! } � � � " � N � � � � � � � � � � � � � � � � � $ ! � � � � � � "� � � � � � � # � � � W Q Y V V j Z [ � \ Q c U � V � Z [ U � � h U Z Q [ h � P Q [ c V W V [ Y V Q [ � W U Z� Y Z h � k [ U V � � Z � V [ Y V } } # � � � �� � � � � � � � � � � #� � � � � � # � � � � � # � � � � � � � " � # k [ c Q W R h U Z Q [ h [ j P Q [ U W Q � � � � � � � � � #