RuntimeError en ventanas que intentan multiprocesamiento de Python

Estoy probando mi primer progtwig formal de python usando subprocesamiento y multiprocesamiento en una máquina con Windows. Sin embargo, no puedo iniciar los procesos; Python da el siguiente mensaje. La cosa es que no estoy lanzando mis hilos en el módulo principal . Los hilos se manejan en un módulo separado dentro de una clase.

EDITAR : Por cierto, este código funciona bien en Ubuntu. No del todo en las ventanas

RuntimeError: Attempt to start a new process before the current process has finished its bootstrapping phase. This probably means that you are on Windows and you have forgotten to use the proper idiom in the main module: if __name__ == '__main__': freeze_support() ... The "freeze_support()" line can be omitted if the program is not going to be frozen to produce a Windows executable. 

Mi código original es bastante largo, pero pude reproducir el error en una versión abreviada del código. Se divide en dos archivos, el primero es el módulo principal y hace muy poco más que importar el módulo que maneja procesos / subprocesos y llama a un método. El segundo módulo es donde está la carne del código.


testMain.py:

 import parallelTestModule extractor = parallelTestModule.ParallelExtractor() extractor.runInParallel(numProcesses=2, numThreads=4) 

parallelTestModule.py:

 import multiprocessing from multiprocessing import Process import threading class ThreadRunner(threading.Thread): """ This class represents a single instance of a running thread""" def __init__(self, name): threading.Thread.__init__(self) self.name = name def run(self): print self.name,'\n' class ProcessRunner: """ This class represents a single instance of a running process """ def runp(self, pid, numThreads): mythreads = [] for tid in range(numThreads): name = "Proc-"+str(pid)+"-Thread-"+str(tid) th = ThreadRunner(name) mythreads.append(th) for i in mythreads: i.start() for i in mythreads: i.join() class ParallelExtractor: def runInParallel(self, numProcesses, numThreads): myprocs = [] prunner = ProcessRunner() for pid in range(numProcesses): pr = Process(target=prunner.runp, args=(pid, numThreads)) myprocs.append(pr) # if __name__ == 'parallelTestModule': #This didnt work # if __name__ == '__main__': #This obviously doesnt work # multiprocessing.freeze_support() #added after seeing error to no avail for i in myprocs: i.start() for i in myprocs: i.join() 

En Windows, los subprocesos importarán (es decir, ejecutarán) el módulo principal al inicio. if __name__ == '__main__': insertar un if __name__ == '__main__': guard en el módulo principal para evitar la creación recursiva de subprocesos.

testMain.py modificado:

 import parallelTestModule if __name__ == '__main__': extractor = parallelTestModule.ParallelExtractor() extractor.runInParallel(numProcesses=2, numThreads=4) 

Intente poner su código dentro de una función principal en testMain.py

 import parallelTestModule if __name__ == '__main__': extractor = parallelTestModule.ParallelExtractor() extractor.runInParallel(numProcesses=2, numThreads=4) 

Ver los documentos :

 "For an explanation of why (on Windows) the if __name__ == '__main__' part is necessary, see Programming guidelines." 

que dicen

“Asegúrese de que el módulo principal pueda ser importado de manera segura por un nuevo intérprete de Python sin causar efectos secundarios no deseados (como comenzar un nuevo proceso)”.

… usando if __name__ == '__main__'

Aunque las respuestas anteriores son correctas, hay una pequeña complicación que ayudaría a comentar.

En caso de que su módulo principal importe otro módulo en el que las variables globales o las variables de miembro de clase se definan y se inicialicen (o utilicen) algunos objetos nuevos, es posible que tenga que condicionar esa importación de la misma manera:

 if __name__ == '__main__'': import my_module