Évaluer un système RAG de manière rigoureuse
Identifier les erreurs à chaque étape d’un système de recherche augmentée.
Indexer des preuves, pas seulement des phrases
Un système RAG sélectionne des passages candidats puis les transmet à un modèle pour composer une réponse. L’identité, l’édition, la date et les droits des documents doivent rester associés aux fragments indexés ; sinon la citation perd son contexte.
Séparer rappel et fidélité
Un système peut retrouver les bons passages sans produire une réponse fidèle, ou générer un texte plausible sur la base de passages non pertinents. Évaluez séparément récupération, classement, fidélité, exactitude de citation et abstention en l’absence de preuve.
Constituer un jeu d’évaluation
Préparez des questions positives, négatives, ambiguës et contradictoires avec leurs références de contrôle. Séparez les cas d’apprentissage, de réglage et d’évaluation afin de limiter l’adaptation aux exemples de test.
Mesurer les défaillances
Une citation inventée est un défaut différent d’une récupération non pertinente. Présentez les résultats par type d’erreur avec des exemples auditables et une date de la version du corpus et du modèle.
Répartition des échecs entre étapes
Un système RAG peut retrouver une source pertinente mais en déformer une nuance, ou retrouver un passage inadapté et rédiger une réponse convaincante. L’évaluation distingue couverture du corpus, récupération des documents, classement, fidélité des réponses et précision des citations. Les cas sans preuve doivent être représentés afin de mesurer la capacité à signaler une incertitude plutôt qu’à inventer.
Exercice : matrice d’évaluation vérifiable
Préparez un tableau où chaque question est liée à des extraits attendus, une réponse possible et un niveau de confiance évalué par un humain. Pour chaque sortie, documentez les passages réellement retrouvés et les affirmations non soutenues. Comparez plusieurs variantes du découpage ou du classement en gardant le jeu de test fixe, puis publiez les erreurs qui résistent aux améliorations.
Les grandes étapes
- 01Préparer des questions témoins
- 02Mesurer la récupération
- 03Évaluer la fidélité
- 04Tracer les versions
Trois questions à poser
Les passages récupérés sont-ils réellement pertinents ?
Chaque citation soutient-elle son affirmation ?
Le système s’abstient-il quand les preuves manquent ?
Consulter les textes originaux
Les versions, conditions de réutilisation et statuts des documents peuvent évoluer. Vérifiez-les sur les sites d’origine.