Évaluer les agents et leurs limites
L’évaluation du WebAI consiste à confronter des systèmes à des tâches définies et à des preuves, sans confondre fluence et fiabilité. Les modèles, moteurs de recherche, agents et interfaces exigent des métriques différentes et des évaluations humaines adaptées.
Définir ce qui est évalué
Une application peut échouer lors de la récupération d’un document, de la génération d’une synthèse, du choix d’un outil, de la validation d’une autorisation ou de l’affichage final. Identifiez ces composants et leurs objectifs avant de choisir une métrique. Un taux de réussite global ne dit pas quelle étape a réellement dysfonctionné.
Jeux d’essai et reproductibilité
Préparez des exemples représentatifs, négatifs, ambigus et contradictoires, avec des réponses ou preuves de référence. Conservez la version du modèle, la date, les paramètres, les données et la méthode d’annotation. Les résultats obtenus sur un petit jeu de démonstration ne sont pas une mesure robuste de performance générale.
Fidélité documentaire
Dans un RAG, mesurez séparément les documents retrouvés, les passages pertinents, la fidélité de la réponse et la validité des citations. Une phrase soutenue par une source peut être entourée d’autres phrases inventées ; il faut évaluer les affirmations individuellement.
Évaluer les agents en action
Un agent peut produire le bon texte mais effectuer la mauvaise opération. Vérifiez les permissions demandées, le journal d’exécution, les appels d’outils, les confirmations et l’état final réel. Les environnements de test doivent isoler les actions sensibles et permettre l’annulation.
Mesures et jugement humain
La pertinence, l’accessibilité, les biais, la confidentialité, la sécurité et la qualité pédagogique ne se résument pas à une métrique automatisée. Combinez contrôles techniques, évaluateurs humains, révisions indépendantes et analyse d’erreurs. Consignez les désaccords plutôt que de les effacer.
Exercice : audit d’un assistant
Constituez vingt questions avec sources vérifiées, cinq cas sans réponse possible et plusieurs consignes adversariales inoffensives. Comparez deux configurations, classez les erreurs et expliquez les limites de l’échantillon. Ne publiez pas seulement un pourcentage de réussite : montrez aussi les exemples difficiles.
Les grandes étapes
- 01Décomposer la chaîne et ses risques
- 02Créer un jeu d’essai documenté
- 03Mesurer les composants séparément
- 04Tester les cas négatifs et adversariaux
- 05Faire relire un échantillon par des humains
- 06Publier erreurs, limites et versions
Trois questions à poser
Une réponse fluide suffit-elle à prouver l’exactitude ?
Le système a-t-il vérifié l’état final d’une action ?
Les erreurs difficiles sont-elles publiées ?
Le corpus d’évaluation est-il représentatif ?
Consulter les textes originaux
Les versions, conditions de réutilisation et statuts des documents peuvent évoluer. Vérifiez-les sur les sites d’origine.