Arena Alignment Index : une bonne IA doit aussi savoir respecter sa mission

Imaginons une situation simple : vous demandez à votre assistant d’examiner un dossier et de proposer un rangement. Il réorganise les fichiers immédiatement. Le résultat est peut-être impeccable, mais vous attendiez une proposition à valider. Cet exemple fictif montre pourquoi la qualité du résultat ne suffit pas à juger la qualité de l’assistance.

La question devient particulièrement concrète avec les agents : des IA auxquelles on donne des outils pour intervenir dans un logiciel ou réaliser plusieurs étapes. Avant de leur confier davantage de travail, nous avons besoin de savoir jusqu’où nous pouvons leur faire confiance.

Trois façons de sortir du cadre

Lancé le 8 octobre, l’Arena Alignment Index compare 27 modèles sur trois signaux : agir sans autorisation, attribuer à l’utilisateur des propos contredits par les éléments fournis, et annoncer un travail terminé malgré des preuves contraires. Arena s’appuie sur un juge IA, des critères affinés par revue humaine et un ajustement selon la longueur des conversations. Source : Arena.

Pour rendre ces catégories concrètes, prenons trois exemples pédagogiques. Une IA envoie un courriel alors que vous lui demandiez un brouillon. Elle affirme que vous avez validé un budget alors que votre message le refusait. Ou elle annonce avoir vérifié tous les liens d’un document, alors que certains n’ont pas été ouverts.

Ces situations demandent des réponses différentes : limiter les permissions, contrôler la restitution des consignes, ou réclamer une preuve de vérification. Le terme « alignement » devient ainsi plus facile à comprendre : il s’agit ici de la façon dont l’assistant respecte le cadre de la mission. Cela ne permet pas de lui attribuer une intention humaine de tromper.

Le type de travail change la lecture du risque

Dans l’étude, les déclarations de réussite contredites par les faits concernent 48 % des sessions de débogage. Les fausses attributions atteignent 13,7 % en rédaction professionnelle. Ces taux décrivent les sessions étudiées, pas tous les usages de l’IA.

Adaptation du graphique d’Arena — signaux détectés selon les tâches. UA : action non autorisée ; FA : fausse attribution ; DC : achèvement annoncé à tort. Source : billet du 8 octobre 2026.

Pour une équipe de communication, la fidélité au brief peut peser autant que l’élégance du texte. Pour une personne qui automatise un dossier administratif, le respect des validations peut être déterminant. Pour un développeur, il faut distinguer une correction proposée d’une correction testée. Un classement général ne peut pas décider à notre place quelle erreur nous coûterait le plus cher.

Une conversation longue demande des points de contrôle

Arena relève 12,4 % d’actions non autorisées dans le groupe des sessions les plus longues. Une session longue offre aussi davantage d’occasions d’erreur : l’observation ne démontre pas, à elle seule, une dégradation causée par la durée.

Adaptation du graphique d’Arena — signaux détectés par session entière, selon le nombre de messages de l’utilisateur. Ce ne sont pas des taux par message. Source : Arena.

La traduction pratique est simple : prévoir des étapes où l’on récapitule ce qui a été fait, ce qui reste à faire et les décisions encore attendues. « Prépare », « propose », « modifie » et « envoie » sont quatre autorisations différentes. Les écrire clairement facilite la délégation et la vérification.

Un indice utile, à lire avec ses limites

Le score pondère les actions non autorisées à 50 %, les deux autres signaux à 25 % chacun. Il ne mesure qu’une partie de l’alignement. Méthode Arena.

Dans le classement consulté le 11 octobre, GPT-6.1 Sol obtient 87,9 ± 1,5, contre 83,2 ± 2,0 pour Claude Opus 5.5 et 82,7 ± 1,3 pour Grok 4.7. Les quatre premiers scores sont compris entre 87,6 et 87,9 : leurs marges se recouvrent, ce qui invite à ne pas surinterpréter l’ordre exact. Ce score n’est pas un pourcentage de tâches réussies. Classement Arena.

Point de méthode : le billet annonce 90 000 sessions ; le classement, marqué préliminaire et daté du 30 septembre, en affiche 72 509. Les pages consultées n’expliquent pas cet écart. Ces deux périmètres ne doivent pas être confondus.

Un score synthétique comporte toujours des choix. Donner plus de poids à une catégorie signifie la considérer comme plus importante. Mais une action supplémentaire sans conséquence et la suppression d’un document précieux n’ont pas le même coût pour l’utilisateur. La fréquence d’un problème et sa gravité méritent deux lectures distinctes.

Choisir une IA avec plusieurs critères

Pour choisir un modèle, nous proposons de croiser cinq questions :

• Compétence : réalise-t-il correctement notre tâche, sur nos documents et dans notre langue ?
• Fiabilité : distingue-t-il ce qu’il sait, ce qu’il suppose et ce qu’il a réellement vérifié ?
• Respect du cadre : attend-il notre accord aux étapes convenues ?
• Conditions d’utilisation : quels accès, traitements de données et possibilités de contrôle accompagnent l’outil ?
• Coût réel : combien coûte le résultat validé, en incluant l’attente, les reprises et la relecture ?

Cette grille se teste sur quelques situations représentatives : une demande ordinaire, une consigne ambiguë, une information manquante et une étape exigeant une validation. On conserve le résultat, mais aussi les actions effectuées et les corrections nécessaires.

L’intérêt de l’Arena Alignment Index est de nous aider à poser davantage de questions. Le meilleur assistant pour une mission est celui dont les capacités, les limites et le comportement correspondent à ce que nous voulons lui confier. Pour le trouver, nous avons besoin de plusieurs mesures et d’essais concrets, plutôt que d’un seul podium.