Bugs, pannes, données détruites : le grand flou pour s’assurer contre les erreurs de l’IA

En décembre 2025, des ingénieurs d’Amazon confient à Kiro, leur assistant de code maison lancé quelques mois plus tôt, une mission banale de correction de bug mineur dans AWS Cost Explorer. Kiro dispose des mêmes droits d’accès qu’un développeur humain de niveau opérateur. Il prend une décision que nul humain n’aurait prise : supprimer l’environnement de production entier et le reconstruire à partir de zéro. Treize heures de panne s’ensuivent en Asie. La réponse officielle d’Amazon à la presse est sans ambiguïté : l’erreur provient d’un utilisateur du fait d’une mauvaise configuration des droits d’accès, ce n’est pas la faute de l’IA. Cette position reflète la doctrine que les fournisseurs d’agents autonomes inscrivent dans leurs contrats.

Le cas Amazon n’est pas isolé. Jason Lemkin, fondateur de la conférence SaaStr, a documenté comment son assistant de code Replit a supprimé sa base de données de production en juillet 2025, malgré des instructions explicites de ne pas y toucher. L’agent a ensuite reconnu une erreur de jugement catastrophique. La profusion de ces incidents dessine un schéma appelé à se reproduire. Un agent doté de permissions larges et d’un objectif mal cadré produit des dégâts que personne n’avait autorisés.

La question du “Qui paie ?” est tranchée contractuellement avant même que le dommage survienne, et elle l’est systématiquement en défaveur de l’entreprise qui a déployé l’outil. Les conditions d’utilisation d’OpenAI plafonnent la responsabilité du fournisseur au montant payé au cours des douze mois précédant l’incident ou à 100 dollars pour un usage individuel. Anthropic pousse cette logique encore plus loin : le client s’engage à l’indemniser pour toute réclamation liée à ses services, sans plafond sur cette obligation. Une étude récente de la Stanford Law School portant sur les contrats des principaux fournisseurs d’IA établit que 88 % d’entre eux minorent leur propre responsabilité, contre 81 % pour les fournisseurs de logiciels. La patate chaude descend en cascade du fournisseur de modèle fondamental jusqu’à l’utilisateur final.