Articles of multiproceso de

Enviar el objeto socket al proceso en ejecución bifurcado (multiprocessing.Queue)

Estoy aprendiendo a usar HTML5 WebSockets y, como parte de eso, estoy escribiendo un servidor en Python para que pueda conocer la esencia de cómo funcionan. El otro día creé uno que funcionó bastante bien, pero quería expandirlo para que admitiera múltiples puntos finales, ya que cada punto final es un “servicio” diferente que puede […]

¿Hay alguna razón para usar threading.Lock en multiprocessing.Lock?

Si un proyecto de software es compatible con una versión de Python a la que se ha realizado una copia de seguridad del multiprocesamiento, ¿existe alguna razón para usar threading.Lock ? ¿Un locking multiprocessing no sería seguro para subprocesos también? Para el caso, ¿hay alguna razón para usar primitivas de sincronización de threading que también […]

¿Cómo uso argumentos de palabras clave con el grupo de multiprocesamiento python apply_async

Estoy tratando de familiarizarme con el módulo de multiprocesamiento de pythons, específicamente el método apply_async de Pool . Estoy tratando de llamar a una función con argumentos y argumentos de palabras clave. Si llamo a la función sin kwargs, está bien, pero cuando bash agregar un argumento de palabra clave, obtengo: TypeError: apply_async() got an […]

Aplicar la función a cada celda en DataFrame de manera múltiple en pandas

¿Es posible aplicar una función a cada celda en un DataFrame de forma múltiple en pandas? Soy consciente de pandas.DataFrame.applymap pero no parece permitir el multihilo nativo: import numpy as np import pandas as pd np.random.seed(1) frame = pd.DataFrame(np.random.randn(4, 3), columns=list(‘bde’), index=[‘Utah’, ‘Ohio’, ‘Texas’, ‘Oregon’]) print(frame) format = lambda x: ‘%.2f’ % x frame = […]

Python Multiprocesamiento de la lista de diccionario de comparación

Tengo una lista que contiene 700,000 artículos y un diccionario contiene 300,000 claves. Algunas de las claves de 300k están contenidas dentro de los 700k elementos almacenados en la lista. Ahora, he construido un simple bucle de comparación y manejo: # list contains about 700k lines – ids,firstname,lastname,email,lastupdate list = open(r’myfile.csv’,’rb’).readlines() dictionary = {} # […]

Enhebrado / Cola en Python

Tengo la intención de usar subprocesos / colas con python 2.5.2 Pero parece que python se congela en el comando queue.join () -. La salida del siguiente código es solo: ANTES import Queue import threading queue = Queue.Queue() class ThreadUrl(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self) self.queue = queue def run(self): while True: i = self.queue.get() print […]

¿Cómo sincronizar hilos en python?

Tengo dos hilos en python (2.7). Los comienzo al principio de mi progtwig. Mientras se ejecutan, mi progtwig llega al final y sale, matando mis dos hilos antes de esperar una resolución. Estoy tratando de averiguar cómo esperar a que ambos hilos terminen antes de salir. def connect_cam(ip, execute_lock): try: conn = TelnetConnection.TelnetClient(ip) execute_lock.acquire() ExecuteUpdate(conn, […]

Python Urllib UrlOpen Leer

Diga que estoy recuperando una lista de URL de un servidor utilizando la biblioteca Urllib2 de Python. Noté que tardé unos 5 segundos en obtener una página y que llevaría mucho tiempo terminar todas las páginas que quiero recostackr. Estoy pensando fuera de esos 5 segundos. La mayor parte del tiempo se consumía en el […]

Cómo utilizar hilos dentro de una ruta de matraz

Tengo una aplicación de matraz de python. Me gustaría utilizar la concurrencia al responder a una ruta específica sin crear subprocesos adicionales en cada solicitud. Hay una ruta definida de la siguiente manera: def sentence_numfound(path): nf = util.NumFound(path) return json.dumps(nf.results(path)) nf.results () necesita emitir varias solicitudes http antes de regresar, y me gustaría hacerlas en […]

¿Cuál es una forma segura de “enlazar” la variable de entorno en python?

Supongamos que tenemos una biblioteca A comportamiento de A bruja depende del valor de alguna variable de entorno. A_CONFIG_PATH realidad. Algunas de mis tareas usan esta biblioteca con diferentes A_CONFIG_PATH para cada tarea. Lo hago de una manera de import os import A def task(**kw): os.environ[‘A_CONFIG_PATH’] = ‘/home/me/current/task/config/path’ A.do_some_stuff(kw) Esta multa hasta que todas las […]