Articles of multiprocesamiento

Proceso frente a subproceso en relación con el uso de Queue () / deque () y la variable de clase para la comunicación y la “píldora venenosa”

Me gustaría crear un subproceso o un proceso que se ejecute para siempre en un bucle While True. Necesito enviar y recibir datos al trabajador en forma de colas, ya sea un multiprocessing.Queue () o collections.deque (). Prefiero usar collections.deque () ya que es significativamente más rápido. También necesito poder matar al trabajador con el […]

SQLite3 y multiprocesamiento

Noté que sqlite3 no es realmente capaz ni confiable cuando lo uso en un entorno de multiprocesamiento. Cada proceso intenta escribir algunos datos en la misma base de datos, de modo que múltiples subprocesos utilizan una conexión. Lo intenté con la opción check_same_thread = False, pero el número de inserciones es bastante aleatorio: a veces […]

Problema al implementar el progtwig Python (empaquetado con py2exe)

Tengo un problema: utilicé py2exe para mi progtwig y funcionó en mi computadora. Lo empaqué con Inno Setup (aún funcionaba en mi computadora), pero cuando lo envié a una computadora diferente, recibí el siguiente error al intentar ejecutar la aplicación: “Falló CreateProcess; código 14001”. La aplicación no se ejecutará. (Nota: estoy usando wxPython y el […]

Función que multiprocesa otra función.

Estoy realizando análisis de series de tiempo de simulaciones. Básicamente, está haciendo las mismas tareas para cada paso de tiempo. Como hay un gran número de pasos de tiempo, y como el análisis de cada uno de ellos es independiente, quise crear una función que pueda multiprocesar otra función. Este último tendrá argumentos, y devolverá […]

El grupo de multiprocesamiento de Python se cuelga en una llamada de mapa

Tengo una función que analiza un archivo e inserta los datos en MySQL usando SQLAlchemy. He estado ejecutando la función secuencialmente en el resultado de os.listdir() y todo funciona perfectamente. Debido a que la mayor parte del tiempo se dedica a leer el archivo y escribir en la base de datos, quería usar el multiprocesamiento […]

Proceso zombie en daemon multiproceso python

Después de investigar los demonios de Python, este recorrido parecía ser el más robusto: http://www.jejik.com/articles/2007/02/a_simple_unix_linux_daemon_in_python/ Ahora estoy tratando de implementar un grupo de trabajadores dentro de la clase daemon que creo que está funcionando (no he probado el código a fondo), excepto que en el cierre obtengo un proceso zombie. He leído que debo esperar […]

El multiprocesamiento produce un proceso difunto.

Utilizo Tornado como un servidor web, el usuario puede enviar una tarea a través de la página de inicio, después de la auditoría pueden iniciar la tarea enviada. En esta situación, quiero iniciar un subproceso asíncrono para manejar la tarea, por lo que escribo el siguiente código en un controlador de solicitudes: def task_handler(): // […]

Los procesos de multiprocesamiento de Python duermen después de un tiempo.

Tengo una secuencia de comandos que se ejecuta a través de un directorio y busca todos los archivos con un final dado (es decir, .xml) para las cadenas dadas y las reemplaza. Para lograr esto utilicé la biblioteca de multiprocesamiento de python. Como ejemplo, estoy usando 1100 archivos .xml con aproximadamente 200 MB de datos. […]

Python, utiliza el multiprocesamiento para acelerar aún más una función de cython

el código que se muestra aquí se simplifica pero activa el mismo PicklingError. Sé que hay mucha discusión sobre lo que puede y no puede ser decapado, pero encontré la solución de ellos. Escribo un script de cython simple con la siguiente función: def pow2(int a) : return a**2 La comstackción está funcionando, puedo llamar […]

Lista adjunta de multiprocesamiento de Python

Tenga una pregunta rápida sobre una variable compartida entre varios procesos utilizando Multiprocessing.Pool (). ¿Me encontraré con algún problema si actualizo una lista global desde varios procesos? Es decir, si dos de los procesos intentaran actualizar la lista al mismo tiempo. He visto documentación sobre el uso de un candado para cosas similares, pero me […]