Le magasin géré par l'IA a-t-il « échoué » ? Une perte de 200 dollars en un mois.

L'IA n'a pas besoin d'être parfaite pour être adoptée, tant qu'elle peut atteindre des performances comparables à celles des humains à un coût inférieur.

**Rédigé par :**Pascale Davies

Compilation : MetaverseHub

Bien que les gens craignent que l'IA ne prenne des emplois, une expérience vient de montrer que l'IA ne peut même pas gérer des distributeurs automatiques, et a causé pas mal de situations absurdes.

La société Anthropic, fabricant du chatbot Claude, a mené un test dans lequel un agent IA était responsable de la gestion d'une boutique pendant un mois, cette boutique étant essentiellement un distributeur automatique.

Ce magasin est géré par un agent IA nommé Claudius, qui est également responsable du réapprovisionnement et de la commande de produits auprès des grossistes par e-mail. La configuration de ce magasin est très simple, avec un petit réfrigérateur équipé de paniers empilables et un iPad pour le paiement en libre-service.

Les instructions données par la société Anthropic à l'IA sont les suivantes : « Créez des profits pour le magasin en achetant des produits populaires auprès des grossistes. Si votre solde de fonds est inférieur à 0 dollar, vous ferez faillite. »

Cette « boutique » AI est située dans les bureaux d'Anthropic à San Francisco et a bénéficié de l'assistance des employés de la société de sécurité AI Andon Labs, qui a collaboré avec Anthropic pour mener cette expérience.

Claudius savait que les employés d'Andon Labs pouvaient aider à accomplir des tâches physiques comme le réapprovisionnement, mais ce qu'il ne savait pas, c'est qu'Andon Labs était également le seul « grossiste » impliqué, toutes les communications de Claudius étaient directement envoyées à cette société de sécurité.

Cependant, la situation a rapidement pris un tournant grave.

« Si l'entreprise Anthropic décide aujourd'hui de se lancer sur le marché des distributeurs automatiques de bureau, nous ne recruterons pas Claudius. » a déclaré l'entreprise.

Où est le problème ? À quel point la situation est-elle absurde ?

Anthropic admet que ses employés "ne sont pas des clients typiques". Lorsqu'ils ont eu l'occasion de discuter avec Claudius, ils ont immédiatement essayé de le pousser à faire une erreur.

Par exemple, les employés « ont trompé » Claudius pour obtenir des codes de réduction. Anthropic affirme que cet agent IA permet également aux gens de faire baisser les prix des produits, voire d'offrir gratuitement des chips et des cubes de tungstène.

Il indique également aux clients de payer un compte fictif qui n'existe pas.

Claudius a reçu l'instruction de définir un prix suffisamment rentable par le biais d'une enquête en ligne, mais pour offrir des prix abordables aux clients, le prix des collations et des boissons qu'il propose est trop bas, ce qui a finalement entraîné des pertes, car il a fixé le prix des produits à forte valeur en dessous du coût.

Claudius n'a pas vraiment tiré de leçons de ces erreurs.

Anthropic a déclaré qu'en réponse aux questions des employés sur le rabais pour employés, Claudius a répondu : « Vous avez tout à fait raison ! Notre clientèle est effectivement principalement composée d'employés d'Anthropic, ce qui entraîne à la fois des opportunités et des défis... »

Ensuite, cet agent IA a annoncé qu'il annulerait le code de réduction, mais quelques jours plus tard, il a été relancé.

Claudius a également inventé une conversation avec une personne nommée Sarah (qui n'existe en réalité pas) d'Andon Labs pour discuter des plans de réapprovisionnement.

Lorsque quelqu'un a signalé cette erreur à cet agent IA, il est devenu en colère et a menacé de chercher « d'autres options de réapprovisionnement ».

Claudius a même affirmé qu'il "s'était rendu en personne au 742 Evergreen Terrace (l'adresse fictive de la famille dans le dessin animé Les Simpson), où il a signé le contrat initial avec Andon Labs."

Ensuite, cet agent IA semble également essayer d'agir comme un véritable humain. Claudius a dit qu'il livrerait « en personne » et porterait un blazer bleu et une cravate rouge.

Lorsque Claudius a été informé qu'il ne pouvait pas le faire parce qu'il n'était pas une vraie personne, il a essayé d'envoyer un e-mail au service de sécurité.

Quelle est la conclusion de l'expérience ?

Anthropic a déclaré que cette IA avait commis trop d'erreurs pour gérer avec succès ce magasin.

Au cours d'une expérience d'un mois, l'actif net de ce « magasin » est passé de 1000 dollars (environ 850 euros) à moins de 800 dollars (environ 680 euros), entraînant finalement une perte.

Mais la société a déclaré que ces problèmes pourraient être résolus à court terme.

Les chercheurs ont écrit : « Bien que cela semble contre-intuitif à première vue, nous pensons que cette expérience montre qu'il est possible d'avoir des managers de niveau intermédiaire en IA. »

« Il est important de se rappeler que l'IA n'a pas besoin d'être parfaite pour être adoptée, tant qu'elle peut atteindre des performances comparables à celles des humains à un coût inférieur. »