Articles of agrupación

Agrupamiento de multiprocesamiento dentro del proceso.

Cuando uso el siguiente código, el resultado del grupo siempre devuelve un tiempo de espera, ¿hay algo lógicamente incorrecto que esté haciendo? from multiprocessing import Pool, Process, cpu_count def add(num): return num+1 def add_wrap(num): new_num = ppool.apply_async(add, [num]) print new_num.get(timeout=3) ppool = Pool(processes=cpu_count() ) test = Process(target=add_wrap, args=(5,)).start() Estoy al tanto de este error y […]

Media o máxima agrupación con soporte de enmascaramiento en Keras

… print(‘Build model…’) model = Sequential() model.add(Embedding(max_features, 128)) model.add(LSTM(size, return_sequences=True, dropout_W=0.2 dropout_U=0.2)) model.add(GlobalAveragePooling1D()) model.add(Dense(1)) model.add(Activation(‘sigmoid’)) …. Necesito poder tomar la media o la máxima de los vectores para todos los pasos de tiempo en una muestra después de la capa LSTM antes de dar esta media o máxima a la capa densa en Keras. Creo […]

Python Pandas – encuentra grupo consecutivo con valores agregados máximos

Tengo un dataframe con fechas y enteros. import numpy as np import pandas as pd df = pd.DataFrame() df[‘dt’] = pd.date_range(“2017-01-01 12:00”, “2017-01-01 12:30″, freq=”1min”) df[‘val’] = np.random.choice(xrange(1, 100), df.shape[0]) Me da dt val 0 2017-01-01 12:00:00 33 1 2017-01-01 12:01:00 42 2 2017-01-01 12:02:00 44 3 2017-01-01 12:03:00 6 4 2017-01-01 12:04:00 70 5 […]

Combine varias filas (con algunos valores que no sean de cadena) con el mismo ID en una fila delimitada en pandas

Tengo un conjunto de datos como este: ID Name 1 a 1 b 1 2 1 3 2 er 2 get 2 better 3 123 3 cold 3 warm 3 sweet 3 heat y quiero agrupar estos datos para que la columna de datos “nombre” que tenga la misma “identificación” se fusione mediante un delimitador. […]

Cómo agrupar elementos de una matriz numpy con el mismo valor en matrices numpy separadas

Como de costumbre, soy un tyro en python. Sin embargo, tengo un gran proyecto de código. Es un modelo de flujo de superficie con autómatas celulares. De todos modos, también quiero incluir techos de construcción en mi modelo. Imagina que tienes un archivo ascii que indica edificios con 1s, mientras que el rest es 0. […]

Dividir lista de tuplas en listas de listas de tuplas

Tengo una lista de tuplas como: [(1,a),(2,b), (1, e), (3, b), (2,c), (4,d), (1, b), (0,b), (6, a), (8, e)] Quiero dividirlo en una lista de listas en cada “b” [[(1,a),(2,b)], [(1, e), (3, b)], [(2,c), (4,d), (1, b)], [(0,b)], [(6, a), (8, e)]] ¿Hay alguna forma pythonica de hacer esto?

Agregue un número de secuencia a cada elemento en un grupo usando Python

Tengo un dataframe de individuos que tienen registros múltiples. Quiero enumerar el registro en la secuencia para cada individuo en python. Esencialmente me gustaría crear la columna ‘secuencia’ en la siguiente tabla: patient date sequence 145 20Jun2009 1 145 24Jun2009 2 145 15Jul2009 3 582 09Feb2008 1 582 21Feb2008 2 987 14Mar2010 1 987 02May2010 […]

El grupo de multiprocesamiento se bloquea cuando hay una excepción en cualquiera de los hilos

Soy nuevo en Python y estoy intentando un progtwig multiprocessing.pool para procesar archivos, funciona bien siempre y cuando no haya excepciones. Si alguno de los subprocesos / procesos obtiene una excepción, todo el progtwig espera el subproceso. Fragmento del código: cp = ConfigParser.ConfigParser() cp.read(gdbini) for table in cp.sections(): jobs.append(table) #print jobs poolreturn = pool.map(worker, jobs) […]

Python multiprocessing.Pool kill * específico * proceso de ejecución prolongada o locking

Necesito ejecutar un grupo de muchas conexiones y consultas de bases de datos paralelas. Me gustaría usar un Multiprocessing.Pool o concurrent.futures ProcessPoolExecutor. Python 2.7.5 En algunos casos, las solicitudes de consulta tardan demasiado tiempo o nunca terminarán (proceso colgado / zombie). Me gustaría finalizar el proceso específico desde Multiprocessing.Pool o concurrent.futures ProcessPoolExecutor que ha caducado. […]

Grupo de multiprocesamiento Python dentro del proceso del daemon

Abrí una pregunta para este problema y no obtuve una respuesta lo suficientemente exhaustiva para resolver el problema (probablemente debido a una falta de rigor en la explicación de mis problemas, que es lo que estoy tratando de corregir): Proceso de Zombie en el daemon multiproceso de Python Estoy tratando de implementar un demonio de […]