Interceptación en tiempo real de stdout de otro proceso en Python

Me gustaría ejecutar un proceso del sistema, interceptar la salida y modificarla en tiempo real, línea por línea, en un script de Python.

Mi mejor bash, que espera a que se complete el proceso antes de imprimir, es:

#!/usr/bin/env python import subprocess cmd = "waitsome.py" proc = subprocess.Popen(cmd, shell=True, bufsize=256, stdout=subprocess.PIPE) for line in proc.stdout: print ">>> " + line.rstrip() 

El script waitsome.py simplemente imprime una línea cada medio segundo:

 #!/usr/bin/env python import time from sys import stdout print "Starting" for i in range(0,20): time.sleep(0.5) print "Hello, iteration", i stdout.flush() 

¿Existe una solución fácil de subprocess para permitir la iteración de la salida en tiempo real? ¿Tengo que usar hilos?

Érase una vez, escribí en Perl, y esto fue pan comido:

 open(CMD, "waitsome.py |"); while () { print ">>> $_"; } close(CMD); 

El bucle sobre un archivo, inevitablemente, amortigua las cosas en partes bastante grandes, un problema conocido con todas las implementaciones de Python 2. *. Funciona según lo previsto en Python 3.1, con el bucle final siendo ligeramente diferente:

 for line in proc.stdout: print(">>> " + str(line.rstrip())) 

Si la actualización a Python 3.1 no es práctica (¡y sé que a menudo lo será!), Vaya por el otro lado y escriba el bucle de manera anticuada: la siguiente versión del bucle funciona como lo desea en Python 2. * :

 while True: line = proc.stdout.readline() if not line: break print ">>> " + line.rstrip() 

Todo esto se puede encapsular en un iterador como:

 def subprocess_readlines(out): while True: line = out.readline() if not line: return yield line 

Y llamado como:

 for line in proc.stdout: print ">>>", line.rstrip()