Évaluer les risques du Web génératif
Structurer l’évaluation plutôt que se reposer sur une liste de promesses.
Un cadre plutôt qu’une certification
Le NIST AI RMF et son profil consacré à l’IA générative proposent des catégories et actions de gestion des risques. Leur usage est volontaire et ne constitue pas à lui seul une garantie de conformité juridique ou de fiabilité du système.
Identifier le système réel
Précisez qui utilise le Web génératif, pour quelle tâche, avec quels modèles, données, droits et effets. Un générateur de brouillons ne présente pas le même profil de risque qu’un agent autorisé à effectuer des opérations sensibles.
Mesurer le fonctionnement
Évaluez exactitude, informations incomplètes, confidentialité, transparence, accessibilité, coûts et capacité d’escalade. Testez des cas courants et des situations adversariales, puis consignez les taux d’erreur et les limites.
Suivre le cycle de vie
Les changements de modèle, de source ou de protocole peuvent modifier les risques. Assignez des propriétaires, prévoyez une revue périodique et conservez un historique des incidents et corrections.
Des risques attachés à un système réel
Le cadre NIST sur la gestion des risques propose des catégories et pratiques permettant de réfléchir à la gouvernance des systèmes d’IA. Il ne dispense pas de décrire le cas d’usage : un outil de brouillon sur un corpus public n’a pas le même impact qu’un agent muni d’accès financiers ou de données sensibles. Les risques doivent être reliés à leurs propriétaires, mesures et contrôles.
Registre des risques évolutif
Créez une grille recensant erreurs factuelles, divulgations, biais, dépendances, accessibilité et effets d’action. Pour chaque risque, notez probabilité évaluée, dommage possible, mesure prévue, responsable et résultat du dernier test. Relisez le registre après un changement de modèle, fournisseur, corpus ou protocole. Un document figé ne reflète pas un système qui évolue.
Les grandes étapes
- 01Décrire le cas d’usage
- 02Identifier les dommages possibles
- 03Tester les mesures
- 04Planifier la revue
Trois questions à poser
Qui valide le registre de risques ?
Les changements sont-ils tracés ?
Le cadre volontariste est-il présenté comme une certification ?
Consulter les textes originaux
Les versions, conditions de réutilisation et statuts des documents peuvent évoluer. Vérifiez-les sur les sites d’origine.