¿Hay una manera de reenviar una parte de los datos para su procesamiento, si el cálculo original falló, usando un grupo simple? import random from multiprocessing import Pool def f(x): if random.getrandbits(1): raise ValueError(“Retry this computation”) return x*x p = Pool(5) # If one of these f(x) calls fails, retry it with another (or same) […]
Actualmente estoy tratando de aprender Redes con Python asyncore y pyqt4. Codifiqué un pequeño servidor, que básicamente escucha en algún puerto, y reenvía todos los mensajes que recibe al remitente. Dado que tanto QApplication.exec_() como asyncore.loop() son funciones que nunca regresan, no pude iniciarlas en un solo hilo, así que asyncore.loop() en un hilo de […]
Me gustaría tener una consola interactiva en un script de un solo hilo que tenga varias conexiones TCP abiertas. Esto significa que no puedo tener una entrada estándar que bloquee el hilo. ¿Hay una forma fácil de hacer esto? ¿O debería simplemente poner la consola en su propio hilo y terminar con ella?
Si invoco un proceso con subprocess.Popen en Python de la siguiente manera: myproc = subprocess.Popen(…).communicate() ¿Cuál es la forma correcta de ver su estado? ¿No es su salida a stdout o stderr, pero su estado de salida una vez que se termina (por ejemplo, 0 para el éxito u otro para el fracaso)?
Estoy siguiendo un tutorial sobre subprocesos simples. Dan este ejemplo y cuando trato de usarlo, recibo errores ininteligibles del intérprete. ¿Puedes decirme por qué esto no funciona? Estoy en WinXP SP3 w / Python 2.6 actual import thread def myfunction(mystring,*args): print mystring if __name__ == ‘__main__’: try: thread.start_new_thread(myfunction,(‘MyStringHere’,1)) except Exception as errtxt: print errtxt Ejecutando […]
En la siguiente secuencia de comandos, encuentro que los trabajos iniciados por GridSearchCV parecen bloquearse. import json import pandas as pd import numpy as np import unicodedata import re from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from sklearn.decomposition import TruncatedSVD from sklearn.linear_model import SGDClassifier import sklearn.cross_validation as CV from sklearn.grid_search […]
Hola a todos, ahora estoy usando multiprocesamiento en python. y me pregunto si existe algún tipo de variable de contador simple que cada proceso cuando haya terminado de procesar alguna tarea podría boost (más o menos como la cantidad de trabajo realizado en total). Busqué la API en busca de valor, no creo que sea […]
En Python, el módulo de multiprocessing se puede usar para ejecutar una función en un rango de valores en paralelo. Por ejemplo, esto produce una lista de las primeras 100000 evaluaciones de f. def f(i): return i * i def main(): import multiprocessing pool = multiprocessing.Pool(2) ans = pool.map(f, range(100000)) return ans ¿Se puede hacer […]
Estoy tratando de usar el multiprocesamiento con el dataframe de pandas, que es dividir el dataframe en 8 partes. aplique alguna función a cada parte usando apply (con cada parte procesada en un proceso diferente). EDIT: Aquí está la solución que finalmente encontré: import multiprocessing as mp import pandas.util.testing as pdt def process_apply(x): # do […]
Estoy escribiendo un progtwig que verá un directorio en particular para los nuevos archivos que contienen URL de descarga. Una vez que se detecta un nuevo archivo, se creará un nuevo proceso para realizar la descarga real mientras el padre sigue viendo el directorio. Estoy usando la interfaz de Process de multiprocessing . El problema […]