Banana Navy
Catalogue EN
Lab · Threat modeling IA · Fiche détaillée

Sortie de modèle non traitée

réutiliser la réponse du modèle en aval sans la valider, jusqu'aux composants critiques.

FicheF22
CatégorieAI1-TB7 → AI6-TB7 (sortie pilotant une action)
Couches14 · LLM Interpretation, 15 · Policy Engine, 16 · Workflow Execution
Systèmevoicebot IA

traiter la sortie du modèle comme une entrée non fiable.

La menace

la réponse du LLM est réutilisée en aval sans validation : rendu HTML/JS (XSS), construction de requête (SQLi), chaîne passée à un shell ou un interpréteur (exécution de code), entrée d'un outil ou d'une API (injection de commande d'outil), URL construite (SSRF). La sortie étant influençable par l'attaquant (via injection, voir F15/F16), elle devient le vecteur de l'impact : le vrai dommage a lieu au composant en aval.

Angle mortPourquoi les grilles classiques la ratent

les grilles valident l'entrée du prompt, jamais la sortie ; elles traitent la réponse du modèle comme des données fiables qui s'écoulent vers les composants. Or une sortie non assainie transforme une injection en conséquence réelle (XSS, SQLi, RCE, abus d'outil) dès qu'elle touche un composant critique.

MitigationSolution proposée

traiter la sortie du modèle comme une entrée non fiable. Validation et assainissement par composant : échappement HTML/JS, requêtes paramétrées, allowlist de sorties et schémas typés pour les outils, pas d'exécution directe de la réponse, isolation des contextes (CSP), journalisation du flux sortie vers composants.

Le contrôle proposé
aucune sortie du modèle n'atteint un composant critique sans passer un validateur déterministe.

Preuve attendue
une sortie manipulée (via injection) ne produit aucune action ni effet nocif sur composant ; test de bout en bout entrée adverse, sortie, composant.

SourcesRéférences et recherche publique

MITRE ATLAS 2026.07AML.T0051 LLM Prompt Injection (enchaîné) · AML.T0053 AI Agent Tool Invocation (sortie pilotant un outil)
OWASP GenAIOWASP GenAI LLM05:2025 Improper Output Handling
Recherche publiqueGreshake et al., "Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection" (arXiv 2302.12173) ; "From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?" (arXiv 2308.01990) : une sortie influençable atteint un composant sans garde-fou de sortie.
couche 14 · LLM Interpretationcouche 15 · Policy Enginecouche 16 · Workflow Execution

Lire les 20 couches de sécurité

MITRE ATLAS 2026.07 · OWASP GenAI · risk-voicebot