Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Cómo puedo encontrar líneas duplicadas en un archivo de texto e imprimirlas?
Intereting Posts
Error al encontrar la cadena de la etiqueta de versión. El archivo debe ser actualizado ¿Cómo convertir una cadena de tiempo H: MM: SS a segundos en Python? Python: ¿Cómo cargar un módulo dos veces? Suma / Promedio de un atributo de una lista de objetos en Python Usando la esfinge con Markdown en lugar de RST Python, ¿por qué i = + 1 no produce un bucle infinito? Mantener los parámetros de URL en orden al codificar con urllib Pandas de Python dividen el dataframe por múltiples rangos de índice django rest marco lista consulta personalizar json array respuesta de resultado debido al formateo de fecha ¿Cómo enumerar las propiedades de un objeto en Python? ¿Cómo configurar Eclipse para PyDev? Python no aparece en la ventana de Preferencias Excluir campos en el administrador de Django para usuarios que no sean superusuario ImportError: ningún módulo llamado pysqlite2 La aplicación del matraz se cuelga mientras se procesa la solicitud Procesamiento paralelo en python

¿Cómo puedo encontrar líneas duplicadas en un archivo de texto e imprimirlas?

Tengo un archivo de texto con unas 1,200 filas. Algunos de ellos son duplicados.

¿Cómo podría encontrar las líneas duplicadas en el archivo (pero sin preocuparme por el caso) y luego imprimir el texto de la línea en la pantalla, para poder ir y encontrarlo? No quiero eliminarlos ni nada, solo encontrar qué líneas pueden ser.

Esto es bastante fácil con un set: 

with open('file') as f: seen = set() for line in f: line_lower = line.lower() if line_lower in seen: print(line) else: seen.add(line_lower)

Como solo hay 1200 líneas, también puedes usar collections.Counter() : 

 >>> from collections import Counter >>> with open('data1.txt') as f: ... c=Counter(c.strip().lower() for c in f if c.strip()) #for case-insensitive search ... for line in c: ... if c[line]>1: ... print line ...

Si data1.txt es algo como esto: 

 ABC abc aBc CAB caB bca BcA acb

la salida es: 

 cab abc bca

Encontrar duplicados insensibles a mayúsculas y minúsculas

Esto no le dará números de línea, pero le dará una lista de líneas duplicadas que luego puede investigar más a fondo. Por ejemplo: 

 tr 'AZ' 'az' < /tmp/foo | sort | uniq -d

Ejemplo de archivo de datos 

 # /tmp/foo one One oNe two three

El ducto listado arriba producirá correctamente:

uno

Encontrar los números de línea

A continuación, puede grep para los números de línea relacionados de esta manera: 

 grep --ignore-case --line-number one /tmp/foo