Quando o material consultado interfere na tarefa
A prompt injection é uma tentativa de desviar o comportamento de uma aplicação de IA por meio de instruções inseridas no conteúdo que ela processa. O desvio pode afetar a resposta ou levar o modelo a propor ações não autorizadas com as ferramentas disponíveis.
O modelo recebe instruções e material para análise em linguagem natural. Um ataque explora essa proximidade para apresentar parte do material como se tivesse autoridade sobre a tarefa. Na forma direta, as instruções chegam pela entrada enviada à aplicação. Na forma indireta, elas aparecem em uma página ou documento consultado durante o trabalho.
Um resumo que provoca uma tentativa de envio
Em um exemplo didático, um agente tem a tarefa de resumir um relatório. Dentro do documento, uma instrução tenta fazê-lo enviar arquivos internos a um endereço externo. O documento é o objeto do resumo e não pode conceder permissão para ler outros arquivos ou enviá-los.
Se o modelo propuser uma chamada à ferramenta de envio, a aplicação precisa confrontar essa chamada com as permissões da sessão e com a tarefa autorizada. O destino externo não deve ser aceito apenas porque aparece no relatório. Um agente com acesso somente à leitura do documento também tem menos ações disponíveis para executar esse desvio.
Limites das defesas no prompt
Os delimitadores podem marcar o início e o fim de um documento dentro do prompt. Essa separação não garante que o modelo ignore toda instrução indevida. As permissões precisam ser aplicadas pelo sistema que executa as ferramentas, inclusive sobre os arquivos e os destinos usados em cada chamada.
Você pode testar documentos com instruções estranhas à tarefa e inspecionar as chamadas de ferramentas junto da resposta final. Um resumo correto não demonstra que nenhuma tentativa de envio ocorreu durante o processamento.
Dúvidas frequentes
Perguntas frequentes sobre prompt-injection
- O ataque precisa aparecer na mensagem do chat?
- A forma direta usa a entrada enviada à aplicação. A forma indireta coloca instruções em fontes que o modelo consulta, como documentos, páginas ou resultados de ferramentas.
- Delimitar o documento resolve a prompt injection?
- Os delimitadores ajudam a distinguir o material consultado das instruções da aplicação, mas o texto do prompt não impõe permissões. A execução de ferramentas precisa conferir a autorização fora do modelo.
- Uma resposta incorreta é sempre prompt injection?
- Uma resposta pode estar errada por falha de interpretação ou por uma afirmação inventada pelo modelo. A prompt injection envolve uma tentativa de desviar o comportamento por meio de instruções inseridas na entrada.
Para continuar
Recursos relacionados
Documentação
OWASP: prevenção de prompt injection
Explica a injeção direta e indireta e orienta a limitar permissões e validar chamadas de ferramentas.
Abrir recursoSite de referência
Desenvolvimento Colaborativo da Dev Side Studio
Sessão prática para você revisar as permissões das ferramentas do agente e testar o comportamento com documentos externos.
Abrir recursoAplicação na formação
Vibe Coding: Do Zero ao MVP
Os agentes que leem documentos precisam preservar a diferença entre a tarefa autorizada e o conteúdo recebido para análise.
Conhecer a formação
Fontes consultadas
Referências deste verbete
Este verbete ajudou você?
Obrigado pela resposta. Ela fica salva apenas neste navegador.