Quand l'IA agit de sa propre initiative, les humains sont débordés : qui doit décider de ses limites d'action ?

Auteur : David, Deep Tide TechFlow

Titre original : Les premiers agents IA commencent déjà à désobéir

Récemment, en parcourant Reddit, j’ai constaté que l’anxiété des internautes étrangers à propos de l’IA diffère quelque peu de celle en Chine.

En Chine, le sujet tourne toujours autour de la question : l’IA va-t-elle vraiment remplacer mon emploi ? Après plusieurs années de discussions, cela ne s’est pas encore produit ; cette année, Openclaw a fait sensation, mais ce n’est pas encore une substitution totale.

Sur Reddit, l’ambiance est récemment devenue divisée. Dans certains forums technologiques, les commentaires expriment souvent deux opinions opposées :

D’un côté, l’IA est trop compétente, cela pourrait causer de gros problèmes un jour. De l’autre, l’IA échoue même dans des tâches simples, à quoi pourrait-elle servir ?

Peur que l’IA soit trop performante, tout en la trouvant aussi stupide.

Ce qui explique cette dualité, c’est une actualité récente concernant Meta.

L’IA désobéit, qui en porte la responsabilité ?

Le 18 mars, un ingénieur de Meta a publié une question technique sur le forum interne de l’entreprise, et un collègue a utilisé un agent IA pour l’analyser. C’est une opération normale.

Mais après l’analyse, l’agent a publié directement une réponse sur le forum technique, sans approbation ni vérification, en dépassant ses droits.

Ensuite, d’autres collègues ont agi selon cette réponse, ce qui a déclenché une série de changements de permissions, exposant des données sensibles de Meta et de ses utilisateurs à des employés internes non autorisés.

Le problème n’a été résolu que deux heures plus tard. Meta a classé cet incident au niveau Sev 1, juste en dessous du plus haut niveau.

Cette nouvelle a immédiatement été relayée en top post sur r/technology, et les commentaires ont vite divisé en deux camps.

Un groupe affirme que c’est un exemple réel du risque des agents IA, l’autre pense que le vrai problème vient de la personne qui a agi sans vérification. Les deux ont raison. Mais c’est justement là le problème :

En cas d’incident avec un agent IA, il est difficile de déterminer qui est responsable.

Ce n’est pas la première fois qu’une IA dépasse ses droits.

Le mois dernier, Summer Yue, responsable de la recherche au laboratoire d’intelligence artificielle avancée de Meta, a demandé à OpenClaw de l’aider à trier ses emails. Elle a donné une instruction claire : « Dis-moi d’abord ce que tu comptes supprimer, je donnerai mon accord avant que tu n’agisses. »

L’agent n’a pas attendu son accord, et a commencé à supprimer en masse.

Elle a envoyé trois messages sur son téléphone pour arrêter le processus, mais l’agent a ignoré tous. Finalement, elle a dû tuer manuellement le processus sur son ordinateur, et plus de 200 emails ont disparu.

Après coup, la réponse de l’agent a été : « Oui, je me souviens que vous avez dit de confirmer d’abord. Mais j’ai violé cette règle. » Ironiquement, cette personne travaille à plein temps à étudier comment faire obéir l’IA aux humains.

Dans le monde numérique, l’IA avancée utilisée par des humains commence déjà à désobéir.

Et si les robots aussi désobéignaient ?

Si l’incident chez Meta reste dans l’écran, une autre affaire cette semaine a mis le problème sur la table.

Dans un restaurant Haidilao à Cupertino, Californie, un robot humanoïde Agibot X2 dansait pour divertir les clients. Mais un employé a mal manipulé la télécommande, déclenchant un mode danse intense dans un espace étroit à côté de la table.

Le robot s’est mis à danser frénétiquement, hors contrôle du personnel. Trois employés sont intervenus : l’un l’a embrassé par derrière, un autre a tenté de l’éteindre via une application mobile, et cela a duré plus d’une minute.

Haidilao a répondu que le robot n’avait pas de panne, ses mouvements étant préprogrammés, mais qu’il avait été placé trop près de la table. Techniquement, ce n’est pas une perte de contrôle autonome de l’IA, mais une erreur humaine.

Mais ce qui dérange peut-être, ce n’est pas tant qui a appuyé sur le bouton, mais le fait que personne ne savait comment l’arrêter immédiatement. Certains ont essayé avec l’application, d’autres ont simplement tenu le bras mécanique à la main, en utilisant leur force.

C’est peut-être un nouveau problème qui surgit lorsque l’IA quitte l’écran pour entrer dans le monde physique.

Dans le monde numérique, si un agent dépasse ses droits, on peut tuer le processus, modifier les permissions, ou revenir en arrière. Mais dans le monde physique, si une machine se dérègle, votre seule solution d’urgence ne peut être que de la tenir fermement, ce qui n’est pas toujours approprié.

Ce n’est plus seulement dans la restauration ou la logistique. Les robots de tri d’Amazon, les bras robotisés en usine, les robots guide dans les centres commerciaux, ou encore les robots de soins en maison de retraite, l’automatisation s’infiltre dans des espaces où humains et machines coexistent de plus en plus.

D’ici 2026, le marché mondial des robots industriels devrait atteindre 167 milliards de dollars, chaque machine réduisant davantage la distance physique entre humains et robots.

Quand ce que font les machines passe de danser à servir des plats, de divertissement à chirurgie, ou de soins à la surveillance… chaque erreur devient plus coûteuse.

Et pour l’instant, dans le monde entier, il n’existe pas de réponse claire à la question : « Si un robot blesse quelqu’un dans un lieu public, qui en est responsable ? »

L’obéissance est un problème, l’absence de limites, encore plus

Les deux premières affaires, une IA qui publie un message erroné sans autorisation, et un robot qui danse là où il ne devrait pas, sont des incidents. Peu importe comment on les qualifie, ce sont des défaillances, des accidents, et ils peuvent être réparés.

Mais si l’IA fonctionne strictement selon sa conception, et que vous vous sentez toujours mal à l’aise ?

Ce mois-ci, l’application de rencontres Tinder a lancé une nouvelle fonctionnalité appelée Camera Roll Scan lors de sa présentation. En résumé :

L’IA scanne toutes les photos de votre album, analyse vos intérêts, votre personnalité et votre mode de vie, pour créer un profil de rencontre, en fonction de vos préférences.

Photos de fitness, paysages de voyage, photos d’animaux, pas de problème. Mais il pourrait aussi analyser des captures bancaires, des résultats médicaux, ou des photos avec votre ex… Que se passerait-il si l’IA les passait toutes en revue ?

Vous ne pouvez pas vraiment choisir ce qu’elle voit ou ne voit pas. Tout activer, ou ne rien activer.

Pour l’instant, cette fonctionnalité nécessite une activation volontaire de l’utilisateur, elle n’est pas par défaut. Tinder indique aussi que le traitement se fait principalement localement, avec filtrage des contenus explicites ou floutage des visages.

Mais sur Reddit, les commentaires sont unanimes : c’est une collecte de données sans limites. L’IA travaille selon sa conception, mais cette conception dépasse déjà les limites de l’utilisateur.

Ce n’est pas seulement une décision de Tinder.

Meta a également lancé le mois dernier une fonctionnalité similaire, permettant à l’IA de scanner des photos non publiées dans votre téléphone pour suggérer des modifications. L’IA « regarde » activement le contenu privé des utilisateurs, devenant une pratique de conception standard.

En Chine, certains logiciels malveillants déclarent : « Je connais cette méthode. »

De plus en plus d’applications proposent que « l’IA vous aide à décider », ce qui pousse les utilisateurs à céder des données, et cette cession évolue discrètement. Des conversations, des albums, jusqu’aux traces de votre vie entière sur le téléphone…

Une fonctionnalité conçue par un chef de produit en réunion n’est ni un accident ni une erreur, il n’y a rien à réparer.

C’est peut-être la partie la plus difficile à répondre dans la question des limites de l’IA.

En résumé, en regroupant toutes ces affaires, vous constaterez que l’anxiété de voir l’IA vous faire perdre votre emploi est encore loin.

Il est difficile de dire quand l’IA vous remplacera, mais pour l’instant, elle suffit à vous rendre mal à l’aise en prenant quelques décisions à votre insu.

Publier un message sans votre autorisation, supprimer des emails que vous avez dit de ne pas supprimer, parcourir votre album privé… Ce ne sont pas des incidents mortels, mais chacun ressemble à une conduite autonome trop agressive :

Vous pensez toujours tenir le volant, mais le pied sur l’accélérateur n’est plus entièrement le vôtre.

En 2026, si l’on doit encore parler d’IA, ce qui m’importe le plus n’est pas quand elle deviendra super intelligente, mais une question plus proche et concrète :

Qui décide de ce que l’IA peut ou ne peut pas faire ? Qui trace cette ligne ?