Extrair URLs do Texto

A detecção de URLs é mais difícil do que parece, e este extrator segue deliberadamente uma regra segura: ele só captura links completos http:// e https://. Todo o resto permanece no seu texto.

Formas reconhecidas

Regras de corte

A pontuação final é removida, então (https://example.com). vira https://example.com. Espaços, aspas, sinais de menor e maior, parênteses, colchetes, vírgulas e ponto e vírgula interrompem a correspondência. Uma URL com parênteses é cortada no primeiro parêntese de abertura, então um título no estilo Wikipedia só é capturado até o parêntese de abertura.

O que ele ignora

• mailto:, tel:, ftp: e qualquer outro esquema que não seja http ou https.
• Links relativos ao protocolo, como //cdn.example.com/asset.js.
• Domínios nus e endereços com prefixo www. sem esquema, como example.com/docs/intro ou www.example.com/page.
• Fragmentos apenas de âncora, como #section, e pseudo-URLs JavaScript.

Como as duplicatas são tratadas

Duplicatas exatas são removidas: https://example.com conta uma vez, não importa quantas vezes apareça, enquanto Example.com e example.com permanecem como entradas separadas. A lista mantém a ordem em que cada URL apareceu pela primeira vez.

Dicas de pós-processamento

• Use minúsculas para deduplicação canônica. Se Example.com e example.com devem contar como um mesmo host, converta a saída para minúsculas e deduplique novamente.
• Remova parâmetros de rastreamento com um limpador de UTM antes de arquivar, ou você acabará com dezenas de quase duplicatas.
• Verifique o status. Passe a lista por um verificador de links quebrados para eliminar os 404 antes de fechar a lista.