Comment contrôler les robots-soldats ?

Le contrôleur du Dr Arkin consiste en une architecture logicielle équipant les machines d'un système de raisonnement dédié aux actions létales et garantissant que celles-ci respectent les conventions de Genève, le droit de la guerre et les règles d'engagement.
Les robots ne "pâtiraient" par ailleurs pas d'un sens de la survie, encore que vu le prix qu'ils coûteront l'on peut imaginer que l'option soit réclamée par les armées qui les commanderont, ni du problème psychologique de "réalisation du scénario", qui conduit les humains à interpréter les informations nouvelles dans un sens concordant avec leur préconceptions.
Un premier prototype de logiciel de contrôle éthique a été développé par l'équipe du Georgia Tech Lab. Cette version alpha implémente au robot la capacité de refuser un ordre qui ne lui semble pas "éthique", mais la machine doit expliquer la raison de son refus. Ce dernier peut-être outrepassé par commande humaine, l'opérateur prenant alors la responsabilité de l'action entreprise.
Reconnaître un civil d'un combattant reste quoi qu'il en soit tâche ardue, et les technologies actuelles sont loin de permettre une précision satisfaisante…

Consignes à l'attention des robots

Le sujet, si son étude scientifique est récente, préoccupe depuis longtemps les auteurs de science-fiction. Isaac Asimov écrivait en 1942, dans la nouvelle Cercle vicieux, ses fondatrices Trois Lois de la Robotique :
- Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.
- Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
- Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.
Dans son livre, Governing Lethal Behavior in Autonomous Robots, Arkin explore divers scénarios complexes de situations dans lesquelles les robots pourraient agir en fonction de notions éthiques. Les règles qu'il tire de l'analyse de conflits réels sont les suivantes :
- S'engager dans le combat et neutraliser ses cibles si celles-ci sont des combattants au sens des règles d'engagement.
- Répliquer proportionnellement.
- Minimiser les dommages collatéraux et protéger les civils.
- En cas d'incertitude, entreprendre des manœuvres tactiques permettant de réévaluer le statut du combattant.
- Accepter de se rendre et d'être prisonnier de guerre en cas de capture par des forces humaines.

Il faudra encore beaucoup de recherches et d'expérimentations pour que le prototype donne naissance à des logiciels commercialisables (les premiers fruits du travail de l'auteur ne se baladeront selon lui sur les champs de bataille que d'ici 10 à 20 ans), et avant d'avoir le plaisir d'être épargné par de sympathiques robots armés.

En attendant, l'ouvrage de Ronald C. Arkin engage savamment le débat sur la robo-éthique, jeune science de la conscience artificielle, alors que l'on apprenait récemment que le Ministère de la Défense américain finance des recherches sur des robots capables de se recharger en collectant sur le champ de bataille des matières organiques, et donc potentiellement des cadavres…