killing with computers: the ethics of remote controlled ... · remote‐controlled robotic...

Killing with computers:g pThe ethics of remote‐controlled and 

autonomous robotic weaponsautonomous robotic weapons 

Dr Alex Leveringhaus, Oxford Institute for Ethics, Law and Armed Conflict & Martin 

School,  University of Oxford with Dr Tjerk de Greefj

Delft University of Technology, NL, Research Associate/ELAC

R O B O T SR‐O‐B‐O‐T‐S

Why do we want robots?Why do we want robots?

• Robots are often used for tasks that are:1. DULL1. DULL2. DIRTY3. DANGEROUS4 DODGY4. DODGY

The Dragonrunner RobotThe Dragonrunner Robot

D l d b C i• Developed by Carnegie Mellon University and Automatik IncAutomatik, Inc. 

• For use in urban environment. 

• Can fit into a backpack.• Used by the British ArmyUsed by the British Army 

in Afghanistan for the detection of Improvised 

l dExplosive Devices and bomb disposal.  

The Alpha DogThe Alpha Dog

Bi D /Al h D• Big Dog/Alpha Dog robot is developed by Boston DynamicsBoston Dynamics, NASA, Foster Miller, and HarvardHarvard. 

• Robotic ‘pack mule’. Legged Squad SupportLegged Squad Support System (L3S). 

• Accompany soldiers inAccompany soldiers in difficult terrain. 

Sentry RobotSentry Robot S t R b t• Sentry Robot‐manufactured by Samsung. 

• Deployed in DMZ between p yN and S Korea.

• Stationary robot. • Two machine guns and one• Two machine guns and one 

gun that fires rubber bullets. 

• Can track and identify targets that are up to 2.5 kilometres away.

• Has a microphone and speaker system. 

Tanaris (in study)Tanaris (in study) 

• Unmanned aerial vehicle manufactured by BAE systems. 

• Stealth plane.• Can track and destroy radar stations without ada s a o s ouassistance from an operator. p

Distinctions (1)Distinctions (1) 

• Non‐lethal military robots– Alpha Dog. p g

• Non‐lethal robots with lethal side‐effectsEl i– Electronic countermeasure systems.  

• Robotic targeting systems (RTS)g g y ( )– Designed in order to apply force to a target.Application of force is intentional– Application of force is intentional. 

=> Sentry Robot, Tanaris

Distinctions (2)Distinctions (2) 

1. Remote‐controlled RTS/semi‐autonomous RTS (RTS_rc).( _ )

‐ unmanned aerial vehicles/drones

2. Autonomous RTS (RTS_auton).‐ Sentry‐ TanarisTanaris

Remote‐controlled robotic targeting systems

l k l d• RTS_rc are also known as tele‐operated robots:1. Sensors.2. Transmit information/images via a video‐satellite g

link.3. Information relayed on video screen to operator 

(or group of operators).4. Targeting decision made via chain of command.5. Enactment of decision by operator via remote 

control.   

The Predator Drone (MQ 1)The Predator Drone (MQ‐1) U d i l hi l• Unmanned aerial vehicle. Manufactured by General Atomics. 

• Deployed by US military and intelligence services (CIA)(CIA). 

• Used in the War on Terror for ‘targeted killings’. g g

• Can also be used for reconnaissance missions.

• Remotely operated.  

Predator Drone: CommunicationsPredator Drone: Communications 

Predator drone command & control centre

Moral issues (1)Moral issues (1)

• Do RTS_rc raise morally distinctive issues compared to other systems?compared to other systems? 

• Are RTS_rc morally preferable over other systems? If so why? If not why not?systems? If so, why? If not, why not?

Targeted Killings: A cautionary noteTargeted Killings: A cautionary note

007 MQ‐1

Autonomous robots???Autonomous robots???

Roomba Immanuel Kant 

??????

Moral and Operational AutonomyMoral and Operational Autonomy

l• Moral autonomy: – Moral autonomy: act for reasons that we give ourselves (Kant, Rousseau, Rawls). 

• Operational autonomy: p y– Carry out tasks independently from an operator

• Technological Capacity: Machine (M) can take care of g p y ( )itself. M does not require an operator to carry out a specific task. S lf Di i M i ll d i hi i• Self‐Direction: M is allowed to act within a certain domain. Restriction are lifted.   

No science fiction!No science fiction!

• RTS_auton are likely to be developed: – Tanaris. 

• Some RTS are underutilised & precedents for h l i iautonomous technologies exit:

– An RTS could make a targeting decision, but is not allowed to do so (doesn’t meet Self Directionallowed to do so (doesn t meet Self‐Direction criterion). 

– Examples: Sentry Robot. p y

Moral Issues (2)Moral Issues (2)

i di i i l i• Do RTS_auton raise distinctive moral issues, not found in other systems? – Responsibility?  

• Are RTS auton morally preferable over other _ y psystems?– Robots are motivated by algorithms not by hatredRobots are motivated by algorithms, not by hatred and fear (Ronald Arkin)   

– RTS auton cannot satisfy key legal and moralRTS_auton cannot satisfy key legal and moral criteria: discrimination (Human Rights Watch). 

The Military Enhancement Project @Delft and Oxford  

• Look at RTS, both remote‐controlled and autonomous. 

• Check whether existing systems comply with law and ethicslaw and ethics.

• Try to anticipate dilemmas and problems that may arise from the operation of RTS.  

• Find ways to enhance targeting decisions• Find ways to enhance targeting decisions.   

Design Proposal: E PartnershipsDesign Proposal: E‐Partnerships

• Utilise different perspectives of human and artificial agent. g– No point in cutting out a human operator entirely. Machines are just bad at a lot of stuff.Machines are just bad at a lot of stuff. 

– Introduce autonomous technologies into remote controlled systems in order to assist the operatorcontrolled systems in order to assist the operator in decision‐making.    

i f ibili• Design for Responsibility. 

Thank you!Thank you!