Depuis plusieurs mois des scientifiques ou des hommes d’affaires mettent en avant le risque d’une perte de contrôle d’une intelligence artificielle. Parmi les plus craintifs sur la probabilité d’un tel événement, l’astrophysicien Stephen Hawking et Elon Musk (PDG de tesla, SpaceX, Hyperloop, Ex-PDG de Paypal).

Intelligence artificielle : vers une prise de conscience du danger

Ils reprochent le manque de prise de distance sur les risques de perte de contrôle de cette technologie, sans garde-fou. Tous les acteurs se sont lancés dans une course à celui qui proposera la meilleure intelligence artificielle le plus rapidement, afin de l’intégrer dans les appareils de demain. La question de la machine qui n’obéirait plus à l’homme, voire même qui irait à son encontre est jusqu’à présent peu prise en compte, alors qu’il s’agit d’un classique de la science-fiction. Stephen Hawking estime que l’intelligence artificielle pourrait être la dernière chose que l’homme invente. Elon Musk avait quant à lui indiqué que l’intelligence artificielle était beaucoup plus dangereuse que les armes nucléaires.

Google qui est très impliqué dans les recherches sur l’intelligence artificielle n’a pas été insensible à toutes ces remarques ou craintes et a donc décidé de travailler sur la conception d’un bouton d’arrêt d’urgence, afin de stopper une IA qui perdrait le contrôle et mettrait la vie de personnes en danger. Ce bouton «off» serait une garantie de bloquer la machine avant qu’elle ne puisse se faire du mal à elle-même ou à un humain.

Un bouton d’urgence pas si simple à intégrer…

Le souci c’est que concevoir un bouton d’arrêt d’urgence est plus complexe qu’il n’y paraît, car cette fonction serait précisément une façon de nuire à la « mission » dédiée à cette intelligence. Laurent Orseau, qui travaille chez DeepMind et Stuart Armstrong, de l’université d’Oxford expliquent : « Si la machine à un but à atteindre et peut prédire qu’elle va être arrêtée, elle va essayer de résister afin de réussir ce pour quoi elle a été conçue », précisant « Notre système permet à un humain de prendre temporairement le contrôle de la machine tout en lui faisant croire qu’elle choisit elle-même d’interrompre son activité ».

L’idée peut paraître séduisante pourtant il existe déjà plusieurs générations d’intelligence artificielle et toutes ne répondraient pas à ce type de bouton, notamment celles de type SARSA (State-Action-Reward-State-Action), car la machine pourrait entrer dans un second état, en voyant que la première option n’est pas récompensée et rendre totalement inutile ce genre de bouton.