Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Cómo puedo encontrar líneas duplicadas en un archivo de texto e imprimirlas?
Intereting Posts
Cómo instalar lxml en Windows Generando la página del manual de CLI en Python Python – ¿Crear lista con números entre 2 valores? ¿Cambiar un carácter en una cadena? numpy.loadtxt Saltando múltiples filas Python Pandas: aplicar una función con argumentos a una serie. Automatización de Excel desde Python Lidiando con la fragmentación de la memoria de GPUs en Theano Intentando entender el bucle de Python usando el guión bajo y la entrada ¿Cómo manejar una solicitud GET de HTTP a un archivo en Tornado? Iniciar una aplicación matraz en hilo separado Python Pandas read_sql_query “error” Ninguno tipo “no es iterable” Comprobando el correo electrónico con Python Unittest setUp / tearDown para varias pruebas ¿Cómo usar la función max en python? Estoy recibiendo TypeError

¿Cómo puedo encontrar líneas duplicadas en un archivo de texto e imprimirlas?

Tengo un archivo de texto con unas 1,200 filas. Algunos de ellos son duplicados.

¿Cómo podría encontrar las líneas duplicadas en el archivo (pero sin preocuparme por el caso) y luego imprimir el texto de la línea en la pantalla, para poder ir y encontrarlo? No quiero eliminarlos ni nada, solo encontrar qué líneas pueden ser.

Esto es bastante fácil con un set: 

with open('file') as f: seen = set() for line in f: line_lower = line.lower() if line_lower in seen: print(line) else: seen.add(line_lower)

Como solo hay 1200 líneas, también puedes usar collections.Counter() : 

 >>> from collections import Counter >>> with open('data1.txt') as f: ... c=Counter(c.strip().lower() for c in f if c.strip()) #for case-insensitive search ... for line in c: ... if c[line]>1: ... print line ...

Si data1.txt es algo como esto: 

 ABC abc aBc CAB caB bca BcA acb

la salida es: 

 cab abc bca

Encontrar duplicados insensibles a mayúsculas y minúsculas

Esto no le dará números de línea, pero le dará una lista de líneas duplicadas que luego puede investigar más a fondo. Por ejemplo: 

 tr 'AZ' 'az' < /tmp/foo | sort | uniq -d

Ejemplo de archivo de datos 

 # /tmp/foo one One oNe two three

El ducto listado arriba producirá correctamente:

uno

Encontrar los números de línea

A continuación, puede grep para los números de línea relacionados de esta manera: 

 grep --ignore-case --line-number one /tmp/foo