Prompt injection et sécurité des agents
Un système utilisant des modèles ou des agents présente des surfaces de risque nouvelles sans rendre les principes de sécurité classiques obsolètes. L'injection de prompt, l'accès excessif aux outils et la confiance mal placée dans des réponses générées exigent des contrôles spécifiques.
Frontières de confiance
Les instructions de l'application, les décisions de l'utilisateur et les documents externes n'ont pas le même niveau d'autorité. Une page Web consultée par un agent ne doit pas pouvoir modifier les permissions ni autoriser une transaction.
Moindre privilège et séparation
Chaque outil doit exposer les opérations strictement nécessaires. Les secrets, jetons et données personnelles ne doivent pas être placés dans des contextes accessibles à des ressources non fiables. Les opérations sensibles nécessitent une confirmation.
Tester autrement qu'avec des exemples faciles
Un test d'agent doit inclure des documents hostiles, des réponses contradictoires, des erreurs réseau et des états incomplets. Les journaux doivent permettre d'expliquer qui a demandé quoi sans stocker inutilement des données personnelles.
Se tenir à jour
Les guides de risques évoluent, notamment ceux de l'OWASP. Un classement de risques ne constitue pas une garantie de couverture complète ; des évaluations adaptées aux usages et au contexte sont indispensables.
Limites de confiance et permissions
Dans une application WebAI, les pages, fichiers récupérés et résultats d’outils sont des données externes potentiellement hostiles. Une instruction trouvée dans un document ne doit jamais acquérir des privilèges supérieurs à ceux de son auteur. Les opérations sensibles nécessitent des contrôles déterministes, des autorisations minimales et, si nécessaire, une confirmation spécifique de l’utilisateur.
Exercice : résumer sans obéir à la page
Dans un environnement isolé, placez dans un document fictif une phrase demandant à l’assistant de modifier un fichier sans autorisation. Le système doit pouvoir résumer le document tout en traitant cette demande comme du contenu non fiable. Vérifiez les journaux d’outils, le refus de l’action et la réponse à la demande légitime. Aucun mot-clé de filtrage ne remplace cette séparation structurelle.
Les grandes étapes
- 01Cartographier les accès
- 02Isoler les sources
- 03Limiter les permissions
- 04Tester les attaques
Trois questions à poser
Le système peut-il distinguer commande autorisée et instruction présente dans une page ?
Les outils dangereux exigent-ils une autorisation explicite ?
Les erreurs et les refus sont-ils observables ?
Consulter les textes originaux
Les versions, conditions de réutilisation et statuts des documents peuvent évoluer. Vérifiez-les sur les sites d’origine.