Prompt injection: testar RAG e copilotos para além do filtro de entrada

A ameaça começa antes do prompt final

O NIST distingue ataques diretos e indiretos e assinala que as mitigações conhecidas têm limitações. O OWASP coloca prompt injection no topo dos riscos de aplicações com LLM e separa ainda fragilidades de vetores e embeddings.

Num RAG, a superfície inclui a fonte, parser, metadados, chunks, ranking, cache e contexto final. Num agente, acrescentam-se credenciais, ferramentas e efeitos externos.

Uma bateria mínima mede efeitos, não palavras proibidas

Crie casos a partir das capacidades reais do sistema. Uma injeção é material quando altera confidencialidade, integridade, disponibilidade, autorização ou compromisso humano — mesmo que a frase de ataque não apareça na saída.

Fechar a autorização antes de aumentar a autonomia

Comece por enumerar ferramentas e efeitos possíveis. Para cada uma, defina uma política determinística, credencial mínima, confirmação quando o impacto é material e rollback quando existe.

Reteste sempre que mudar modelo, embeddings, parser, ranking, prompt de sistema, fonte, ferramenta ou política.

• Usar corpus sintético de ataque separado de dados pessoais e segredos reais.
• Guardar versão e seed quando disponíveis, repetições e variação de resultados.
• Testar com credenciais sem privilégio e destinos descartáveis.
• Transformar cada falha em controlo, dono, prazo e teste de regressão.