Articles of performance

Aumento del rendimiento de operaciones de índice de matriz numpy altamente repetidas

En el código de mi progtwig, tengo arrays de valores numpy y numpy índices numpy . Ambos tipos están preasignados y predefinidos durante la inicialización del progtwig. Cada parte del progtwig tiene values una matriz en la que se realizan los cálculos, y tres matrices de índices idx_from_exch , idx_values e idx_to_exch . Hay en […]

Transformación de Fourier 3D comparativamente lenta de Python numpy

Para mi trabajo, necesito realizar transformaciones de Fourier discretas (DFT) en imágenes grandes. En el ejemplo actual, necesito un FT 3D para una imagen de 1921 x 512 x 512 (junto con FFT 2D de 512 x 512 imágenes). En este momento, estoy usando el paquete numpy y la función asociada np.fft.fftn () . El […]

pase una lista de texto en pandas str.replace a la vez en lugar de iterar elementos de lista individuales

La función de pandas str.replace tiene 2 parámetros, uno que se debe buscar y otro es el valor con el que se debe reemplazar. Digamos que tengo 2 listas como keyword y lookupId siguiente manera. lookupid = [‘##10##’,’##13##’,’##12##’,’##13##’] keyword = [‘IT Manager’, ‘Sales Manager’, ‘IT Analyst’, ‘Store Manager’] En lugar de iterar a través de […]

Ajuste del rendimiento de Postgresql y el uso de la memoria en un flujo de trabajo de Python

Yo uso Postgresql 9.4 para una base de datos modelo. Mi mesa se ve algo así: CREATE TABLE table1 ( sid INTEGER PRIMARY KEY NOT NULL DEFAULT nextval(‘table1_sid_seq’::regclass), col1 INT, col2 INT, col3 JSONB); Mi flujo de trabajo de Python 2.7 a menudo se ve así: curs.execute(“SELECT sid, col1, col2 FROM table1”) data = curs.fetchall() […]

Expresiones en vs regulares para verificar una lista negra de palabras: estimación del rendimiento de producción esperado

Tengo muchas páginas HTML en las que necesito verificar la existencia de palabras en la lista negra. Sé que la incorporada es mucho más rápida que las expresiones regulares, pero aquí estoy tratando de comparar muchas in una sola expresión regular. Ya que re.match () comprueba una coincidencia solo al principio de la cadena Utilicé […]

boolean_mask o producto de puntos dispersos en tensorflow

tl; dr, ¿cuál es la forma más eficiente de elegir dinámicamente algunas entradas de un tensor? Estoy tratando de implementar GCN sintáctica en Tensorflow. Básicamente, necesito tener una matriz de ponderación diferente para cada etiqueta (ignoremos los sesgos para esta pregunta) y elegir en cada ejecución las entradas relevantes a usar, esas serían elegidas por […]

Asignar una matriz NumPy de cadenas a enteros

Problema: Dada una matriz de datos de cadena dataSet = np.array([‘kevin’, ‘greg’, ‘george’, ‘kevin’], dtype=’U21′), Me gustaría una función que devuelva el conjunto de datos indexado indexed_dataSet = np.array([0, 1, 2, 0], dtype=’int’) y una tabla de consulta lookupTable = np.array([‘kevin’, ‘greg’, ‘george’], dtype=’U21′) tal que (lookupTable[indexed_dataSet] == dataSet).all() es verdad. Tenga en cuenta que […]

Pandas reemplazan / diccionario lentitud

Por favor, ayúdeme a comprender por qué esta operación de “reemplazo del diccionario” es lenta en Python / Pandas: # Series has 200 rows and 1 column # Dictionary has 11269 key-value pairs series.replace(dictionary, inplace=True) Las búsquedas en el diccionario deben ser O (1). Reemplazar un valor en una columna debe ser O (1). ¿No […]

¿Por qué mi aplicación Python está bloqueada con ‘sistema’ / kernel CPU time?

En primer lugar, no estaba seguro de si debería publicar esto como una pregunta de Ubuntu o aquí. Pero supongo que es más una pregunta de Python que una de sistema operativo. Mi aplicación Python se ejecuta sobre Ubuntu en un servidor AMD de 64 núcleos. Extrae imágenes de cámaras de 5 GigE a través […]

Numpy append: convierte automáticamente una matriz de la dimensión incorrecta

¿Hay alguna manera de hacer lo siguiente sin una cláusula if? Estoy leyendo un conjunto de archivos de netcdf con pupynere y quiero construir una matriz con una adición numpy. A veces, los datos de entrada son multidimensionales (consulte la variable “a” a continuación), a veces de una dimensión (“b”), pero el número de elementos […]