Articles of multiprocesamiento

Cómo evitar cargar un módulo padre en un proceso bifurcado con multiproceso Pythons

Cuando creas un Pool de procesos utilizando el multiprocessing de Python, esos procesos se dividirán y los globales en el proceso primario se mostrarán en los procesos secundarios, señalados en esta pregunta a continuación: ¿Cómo puedo restringir el scope de un proceso de multiprocesamiento? Esto parece incluir módulos importados. Eso es un problema para los […]

Escribir datos en un archivo hdf usando multiprocesamiento

Esto parece un problema simple, pero no puedo entenderlo. Tengo una simulación que se ejecuta en un bucle doble para y escribe los resultados en un archivo HDF. A continuación se muestra una versión simple de este progtwig: import tables as pt a = range(10) b = range(5) def Simulation(): hdf = pt.openFile(‘simulation.h5′,mode=’w’) for ii […]

¿Cómo matar a todos los trabajadores de Pool en multiproceso?

Quiero detener todos los hilos de un solo trabajador. Tengo un grupo de hilo con 10 trabajadores: def myfunction(i): print(i) if (i == 20): sys.exit() p = multiprocessing.Pool(10, init_worker) for i in range(100): p.apply_async(myfunction, (i,)) Mi progtwig no se detiene y los otros procesos continúan funcionando hasta que se completan las 100 iteraciones. Quiero detener […]

¿Es el apio tan eficiente en un sistema local como lo es el multiprocesamiento de python?

Estoy teniendo un poco de dificultad para decidir lo que sea para usar multiproceso Python o apio o pp para mi aplicación. Mi aplicación es muy pesada para la CPU, pero actualmente usa solo una CPU, así que necesito distribuirla entre todas las CPU disponibles (lo que me llevó a ver la biblioteca de multiprocesamiento […]

Tensorflow y multiprocesamiento: sesiones de paso

Recientemente he estado trabajando en un proyecto que utiliza una neural network para el control de robots virtuales. Usé tensorflow para codificarlo y funciona sin problemas. Hasta ahora, utilicé simulaciones secuenciales para evaluar qué tan buena es la neural network, sin embargo, quiero ejecutar varias simulaciones en paralelo para reducir la cantidad de tiempo que […]

python -> módulo de multiprocesamiento

Esto es lo que estoy tratando de lograr: Tengo alrededor de un millón de archivos que necesito para analizar y agregar el contenido analizado a un solo archivo. Dado que un solo proceso lleva años, esta opción está fuera. No usar hilos en Python ya que esencialmente se trata de ejecutar un solo proceso (debido […]

Mapa de pool de Python y elección de número de procesos.

Al establecer el número de procesos, me gustaría ver cuántos subprocesos puedo usar en mi máquina. ¿Cómo puedo encontrar esto? ¿Hay una manera de determinar el número de hilos disponibles para mí?

Cola rápida de matrices de solo lectura numpy

Tengo un trabajo de multiprocesamiento en el que estoy poniendo en cola los arreglos de solo lectura de números, como parte de un canal de producción para el consumidor. Actualmente están siendo decapados, porque este es el comportamiento predeterminado de multiprocessing.Queue Es el valor que ralentiza el rendimiento. ¿Hay alguna forma en Pythonic para pasar […]

Profundidad máxima de recursión superada. Multiprocesamiento y bs4

Estoy tratando de hacer que un analizador use beautifulSoup y multiprocesamiento. Tengo un error: RecursionError: máxima profundidad de recursión superada Mi código es: import bs4, requests, time from multiprocessing.pool import Pool html = requests.get(‘https://www.avito.ru/moskva/avtomobili/bmw/x6?sgtd=5&radius=0’) soup = bs4.BeautifulSoup(html.text, “html.parser”) divList = soup.find_all(“div”, {‘class’: ‘item_table-header’}) def new_check(): with Pool() as pool: pool.map(get_info, divList) def get_info(each): pass if […]

requests.get se bloquea cuando se llama en un multiprocessing.Pool

Tengo el siguiente código: def process_url(url): print ‘111’ r = requests.get(url) print ‘222’ # <– never even gets here return urls_to_download = [list_or_urls] PARALLEL_WORKERS = 4 pool = Pool(PARALLEL_WORKERS) pool.map_async(process_url, urls_to_download) pool.close() pool.join() Cada vez que hago esto, ejecuta los primeros cuatro elementos y luego simplemente se cuelga. No creo que sea un problema de […]