Promptfoo
Promptfoo permet de construire des évaluations et tests de robustesse pour des applications utilisant des modèles de langage. Il peut documenter des scénarios adversariaux contrôlés.
Cette fiche est un guide documentaire, pas une certification ni un partenariat. La disponibilité, les fonctions, les licences et les prix peuvent évoluer. Les sources thématiques expliquent un contexte technique : elles ne constituent pas une approbation de cet outil par leurs auteurs.
Présentation détaillée et domaine d’application
Promptfoo permet de construire des évaluations et tests de robustesse pour des applications utilisant des modèles de langage. Il peut documenter des scénarios adversariaux contrôlés.
Les mesures de qualité doivent porter sur des jeux de test représentatifs avec versions, conditions de comparaison et classes d’erreurs. Un score unique peut dissimuler les échecs importants pour l’accessibilité, la sécurité ou la fidélité documentaire.
Ce profil éclaire le rôle de la solution dans une architecture WebAI : production, récupération, exécution, orchestration, évaluation ou vérification. Le choix dépend des données, des capacités observées et de la facilité à expliquer les résultats.
Un scénario de mise en pratique
Définir des jeux d’essai de réponses sourcées et de résistance aux instructions injectées dans des textes non fiables.
Notez la question initiale, les données utilisées, les paramètres, la version logicielle, la sortie réellement obtenue et les modifications apportées. Conservez la distinction entre résultat reproductible, interprétation pédagogique et performance non mesurée.
Limites, précautions et coûts cachés
Les jeux de tests doivent être maintenus et les résultats interprétés selon le modèle ; aucun outil ne garantit la sécurité.
Avant un déploiement réel, vérifiez auprès du fournisseur la licence de l’outil, celle des modèles ou ressources associés, la politique de confidentialité, le statut des fonctionnalités nécessaires et les exigences d’accessibilité. Les estimations non datées ne doivent pas être traitées comme des faits actuels.
Trois questions avant de choisir cet outil
- 01
Les jeux de test sont-ils reproductibles ?
- 02
Quels cas échoués ont été conservés ?
- 03
Une revue humaine complète-t-elle les métriques ?
Tester la solution étape par étape
- 01
Définir la tâche, les données permises et les utilisateurs concernés.
- 02
Lire la documentation du fournisseur et les conditions de réutilisation.
- 03
Construire un exemple réduit avec données fictives ou autorisées.
- 04
Mesurer les erreurs, la performance et les résultats réellement observés.
- 05
Documenter les versions, les limites et la décision humaine avant publication.
Pour les actions de modification, d’envoi ou de publication, prévoyez une confirmation explicite et une vérification de l’état final.
Site officiel, documentation et sources complémentaires
Les trois références complémentaires ci-dessous servent à vérifier des aspects techniques ou à approfondir le contexte de l’outil. Leurs auteurs n’ont pas nécessairement évalué ni recommandé cette solution.