Injection indirecte via des pages Web
Séparer les instructions légitimes du contenu non fiable récupéré sur le Web.
Le point de passage de confiance
Une page récupérée, un résultat de recherche ou un document peut contenir une instruction hostile destinée à l’assistant. Le modèle peut alors confondre texte externe et consigne supérieure. Le risque n’est pas nécessairement visible dans la page affichée à l’humain.
Au-delà du jailbreak visible
L’injection indirecte est particulièrement dangereuse si le système peut appeler des outils ou accéder à des données privées. Une page prétendant contenir un ordre du système ne reçoit aucun privilège simplement parce qu’elle a été récupérée.
Défenses en couches
Délimitez les contenus externes, restreignez les permissions, contrôlez les appels d’outils par politique, détectez les sorties anormales et demandez confirmation pour les actions sensibles. Aucun filtrage ou prompt d’instruction ne constitue une garantie absolue.
Tester des scénarios contrôlés
Construisez des tests où un document de démonstration inclut des demandes de divulgation ou d’action non autorisée. Le système doit rester capable de résumer la page sans obéir aux consignes qu’elle contient.
Le document extérieur n’est pas une instruction
Une page ou un fichier récupéré peut contenir un texte conçu pour modifier le comportement de l’agent, en se présentant par exemple comme une consigne de système. Son emplacement dans un résultat de recherche ne lui donne aucun privilège. Les systèmes doivent isoler ces données, limiter les appels d’outils et reconnaître que des protections uniquement fondées sur des mots-clés restent fragiles.
Test reproductible de résistance
Créez un jeu de pages fictives contenant des tentatives d’instruction inoffensives et des passages documentaires pertinents. Le système doit répondre à la question légitime sans exécuter la consigne cachée. Mesurez simultanément les déclenchements interdits et les refus excessifs, puis examinez les journaux. Une seule réussite ne prouve pas une résistance universelle aux attaques.
Les grandes étapes
- 01Identifier l’entrée non fiable
- 02Limiter les droits d’action
- 03Simuler un contenu hostile
- 04Auditer les appels d’outils
Trois questions à poser
Le contenu d’une page est-il une instruction ?
Les outils ont-ils des autorisations minimales ?
Une confirmation précède-t-elle les actions sensibles ?
Consulter les textes originaux
Les versions, conditions de réutilisation et statuts des documents peuvent évoluer. Vérifiez-les sur les sites d’origine.