Articles of multiproceso

Python no genera salida cuando se usa pool.map_async

Estoy experimentando problemas muy extraños al trabajar con los datos dentro de mi función que me llama pool.map. Por ejemplo, el siguiente código funciona como se espera … import csv import multiprocessing import itertools from collections import deque cur_best = 0 d_sol = deque(maxlen=9) d_names = deque(maxlen=9) **import CSV Data1** def calculate(vals): #global cur_best sol […]

¿Cómo capturar la salida de un script de shell que se ejecuta en un proceso separado, en un wxPython TextCtrl?

Un script de shell de larga ejecución produce stdout y stderr, que me gustaría mostrar en un control de texto en una GUI. Esto es posible mediante el uso de hilos y la separación del hilo GUI del hilo del script de shell. Sin embargo, cuando implemento multiprocesamiento, golpeo un obstáculo. Aquí está mi código […]

Usando multiprocesamiento para encontrar rutas de red

Actualmente estoy usando la función networkx * all_simple_paths * para encontrar todas las rutas dentro de una red G, para un conjunto dado de nodos de origen y destino. En redes más grandes / densas, este proceso es increíblemente intensivo. Me gustaría saber si es posible que se pueda usar multiprocesamiento en este problema, y […]

python2.5 multiprocesamiento de grupo

Tengo python2.5 y multiprocesamiento (obtenga de http://code.google.com/p/python-multiprocessing/ ) Este código simple (obtener de los documentos), funciona de manera muy extraña de vez en cuando, a veces está bien, pero a veces deja pasar el tiempo de espera o cuelga mi Windows (Vista), solo restablecer ayuda 🙂 ¿Por qué puede pasar esto? from multiprocessing import Pool […]

Python, Threads, GIL y C ++

¿Hay alguna manera de hacer que boost :: python controle Python GIL para cada interacción con python? Estoy escribiendo un proyecto con boost :: python. Estoy intentando escribir un contenedor de C ++ para una biblioteca externa y controlar la biblioteca de C ++ con scripts de Python. No puedo cambiar la biblioteca externa, solo […]

PyQt SimpleHTTPServer: la GUI se bloquea al iniciar el servidor

Estoy tratando de crear una aplicación de escritorio simple usando PyQt que ejecute un SimpleHTTPServer al hacer clic en el botón de inicio del servidor. He intentado usar subprocesos (tanto los de Python como los de Qthread) y entiendo que esto no es posible ya que tiene problemas con la GIL. Aquí está el código […]

Con Jug, ¿cómo ejecutar bucles nesteds en modo multiprocesamiento?

por ejemplo, el siguiente código solo ejecuta la tarea en 1 proceso: from jug import TaskGenerator evaluate = TaskGenerator(evaluate) for p0 in [1,2,3]: for p1 in xrange(10): for p2 in xrange(10,20): for p3 in [True, False]: for p4 in xrange(100): results.append(evaluate(p0,p1,p2,p3,p4)) ¿Dónde debo indicar el número de procesos? ¡Gracias!

Python: ¿Cómo combinar una encuesta de proceso y un servidor WebSocket sin locking?

Tengo una idea. Escriba un RPC basado en WebSocket que procesaría los mensajes de acuerdo con el siguiente escenario. El cliente se conecta a un servidor WS (web socket) El cliente envía un mensaje al servidor WS El servidor WS coloca el mensaje en la cola entrante (puede ser una cola de multiprocesamiento. Cita o […]

Variables de apio trabajador compartiendo problemas

Estoy usando Python y apio en un proyecto. En el proyecto, tengo dos archivos: celeryconfig.py BROKER_URL = “amqp://guest:guest@localhost:5672//” CELERY_RESULT_BACKEND = “amqp” CELERY_IMPORTS = (“example”,) CELERYD_CONCURRENCY = 2 y example.py from celery.task import task import hashlib md5 = hashlib.md5() @task def getDigest(text): print ‘Using md5 – ‘,md5 md5.update(text) return md5.digest() En celeryconfig.py , configuré CELERYD_CONCURRENCY en […]

Emisión de señales desde un QRunnable

Estoy tratando de enviar una señal desde un QRunnable a mi QObject principal, pero por alguna razón no los está recibiendo. ¿Es esta la manera correcta de hacer esto? Aquí hay un pequeño caso de prueba: import sys from PyQt4.QtGui import QApplication from PyQt4.QtCore import QThreadPool, QObject, QRunnable, pyqtSignal class WorkerSignals(QObject): result = pyqtSignal(int) class […]