Deduplicação

Definição

Deduplicação reconhece quando duas ocorrências representam o mesmo item ou evento. O fluxo escolhe um identificador, compara as ocorrências recebidas e trata as repetidas de forma específica. O objetivo é impedir que uma única ocorrência recebida duas vezes produza dois efeitos.

Como reconhecer a repetição

O ponto de partida é o identificador escolhido. Ao receber uma ocorrência, o fluxo confere se aquele identificador já apareceu e decide o destino da repetição, que pode ser descartar, ignorar ou registrar apenas uma vez. O registro dos identificadores vistos precisa persistir pelo tempo de reenvio do emissor, senão uma repetição posterior escapa da conferência.

if (vistos.has(aviso.eventoId)) {
return [] // repetição, nada a fazer
}
vistos.add(aviso.eventoId)

Cuidado com o conteúdo

Deduplicar pelo conteúdo errado pode descartar ocorrências reais e distintas, porque igualdade de campos nem sempre significa duplicação. O identificador precisa representar a ocorrência real, e o armazenamento dos identificadores já vistos deve acompanhar o intervalo de validade. Dois itens legítimos podem compartilhar o mesmo cliente e o mesmo valor sem serem a mesma ocorrência.

Janela de validade e verificação

A falha comum é usar um identificador com escopo curto demais: quando o registro de identificadores vistos expira antes do reenvio do emissor, a repetição passa a ser processada de novo. Para verificar, reenvie a mesma ocorrência em intervalos crescentes e observe quantas vezes o efeito se repete. Quando a segunda entrega volta a ser processada após a expiração da janela, o armazenamento precisa durar ao menos o período de reenvio do serviço, e a comparação entre o horário do reenvio e o limite do registro mostra a falha.

Aplicação na formação

n8n Experts

Na formação n8n Experts, deduplicação evita que um evento recebido mais de uma vez gere efeitos repetidos.

Conhecer a formação →