Removedor de linhas duplicadas

Como funciona a correspondência

A primeira ocorrência de cada linha é mantida, então a ordem original do texto permanece intacta.

Casos de uso comuns

• Limpeza de CSV. Cole uma única coluna (nomes, e-mails, SKUs) e remova repetições antes de religá-la às demais colunas.
• Listas de URLs. Consolide listas de URLs coletadas em que a mesma página aparece muitas vezes.
• Pesquisa de palavras-chave. Mesclar exportações de palavras-chave de várias ferramentas inevitavelmente produz duplicados.
• Listas de e-mail. Antes de importar para um CRM, remova duplicados exatos para evitar erros de “já existe”.
• Triagem de arquivos de log. Remova linhas de aviso repetidas para ver os problemas únicos.

O que a ferramenta não faz

• Sem deduplicação por coluna. Um CSV com email,name em que o e-mail se repete mas o nome difere mantém as duas linhas, porque as linhas completas são diferentes. Para deduplicar por uma coluna, extraia-a primeiro, remova os duplicados dela e use-a como chave para filtrar o arquivo original.
• Sem proteção de cabeçalho. Cada linha é tratada como dados, então uma linha de cabeçalho repetida é removida como qualquer outra.
• Sem correspondência aproximada. Linhas que diferem por um erro de digitação, espaços internos ou pontuação não são unidas.

Dicas

• Normalize antes de comparar. Passe para minúsculas e remova a pontuação ao redor para que “Apple, “, “ apple “ e “Apple” contem como uma entrada.
• Guarde uma cópia do texto original antes de limpezas grandes.
• Confira as estatísticas. Se você esperava 10 por cento de duplicados e 80 por cento foram removidos, algo está errado com a entrada.