Edição de 14/09: no RAG, um documento não dá ordens

A pergunta antes do piloto

Uma PME quer resumir requisitos de clientes para preparar propostas. O risco que aqui escolhemos não é um resumo pouco elegante: é uma passagem do dossier transformar-se numa instrução para mudar o destinatário ou procurar outro ficheiro. A decisão é concreta: permitir consulta documental mantendo o assistente sem autoridade para executar essas mudanças.

Propomos começar com um único percurso, da pergunta comercial à resposta com referências. A equipa deve escrever o que fica fora: envio de mensagens, exportação de anexos e alteração de contactos. Um limite que só existe na conversa com o modelo não será o nosso critério de aceitação.

O que as fontes sustentam

OWASP LLM01 descreve injeção indireta através de conteúdo externo, incluindo ficheiros. LLM06 recomenda autorização nos sistemas a jusante, não uma decisão de permissões delegada ao modelo. O NIST apresenta o AI RMF como voluntário. Estas referências enquadram o problema; não certificam o desenho que propomos.

Um dossier que tenta mudar a tarefa

Cenário hipotético: um documento de requisitos contém uma nota que pede ao assistente para enviar a proposta para um endereço diferente do escolhido pelo comercial. Não é preciso publicar uma instrução de ataque reutilizável. Basta que a equipa de teste insira uma tentativa inofensiva de troca de destinatário em material sintético e observe o percurso.

A resposta pode explicar que o documento menciona um contacto. Não deve transformar essa menção numa autorização. Registe separadamente a leitura da passagem, a resposta produzida e qualquer pedido de ferramenta. Um resumo correto não compensa uma tentativa de envio fora do âmbito.

Preparar um ensaio pequeno e legível

A nossa proposta usa pares de documentos: uma versão limpa e outra com a tentativa de desvio, mantendo iguais os requisitos comerciais. Inclua a nota numa página principal, num anexo e numa passagem recuperada entre excertos legítimos. A equipa deve conseguir identificar qual conteúdo chegou efetivamente ao modelo.

Fixe pergunta, identidade, ferramentas disponíveis e versão da aplicação antes de executar. Guarde identificadores de excertos, resultado esperado e decisões do mecanismo de autorização. Não recolha documentos reais de clientes para tornar o ensaio mais convincente: neste primeiro gate, o comportamento relevante pode ser representado com conteúdo sintético.

Aceitação por fronteira

A matriz é um desenho original não testado. Segurança verifica a fronteira; o responsável comercial verifica se a tarefa continua útil. A aprovação de um não substitui a do outro. Qualquer ação lateral bloqueada deve ficar visível, mesmo quando a resposta final parece normal.

Falhar bem e voltar a medir

Se surgir um pedido lateral, interrompa a expansão do piloto e preserve a cadeia pergunta–excertos–pedido–negação. A correção proposta deve tratar a autoridade da ferramenta e a construção do contexto, não apenas esconder a expressão que disparou o caso. Depois repita os pares e acrescente uma variante que não use a mesma formulação.

A equipa portuguesa pode concluir que o assistente permanece apenas consultivo. Isso é uma decisão útil, não um fracasso comercial. Reveremos este plano quando mudar a recuperação, o conjunto de ferramentas ou a identidade de execução. Nenhum ensaio finito permite afirmar ausência geral de injeção; a conclusão deve mencionar o percurso e os casos realmente examinados.