Articles of rendimiento de

¿Por qué este script de multiprocesamiento en python se ralentiza después de un tiempo?

Sobre la base de la secuencia de comandos de esta respuesta , tengo el siguiente escenario: una carpeta que contiene 2500 archivos de texto grandes (~ 55Mb cada uno), todos delimitados por tabulaciones. Web logs, básicamente. Necesito md5 hash la segunda ‘columna’ en cada fila de cada archivo, guardando los archivos modificados en otro lugar. […]

El código grep de Python es mucho más lento que el grep de la línea de comandos

Solo estoy revisando algunos archivos Xliff para el patrón approved=”no” . Tengo un script de Shell y un script de Python, y la diferencia en el rendimiento es enorme (para un conjunto de 393 archivos y un total de 3,686,329 líneas, 0,1s de tiempo de usuario para el script de Shell y 6,6 s para […]

Una tupla anidada más rápida para listar y regresar

Estoy intentando realizar una tupla para enumerar y enumerar para convertir tuplas en secuencias anidadas de profundidad y forma desconocidas. Las llamadas se hacen cientos de miles de veces, por lo que estoy tratando de exprimir la mayor velocidad posible. Cualquier ayuda es muy apreciada. Esto es lo que tengo hasta ahora … def listify(self, […]

Búsqueda de variables: por qué es ** con variables mucho más lentas que con valores

He leído que math.sqrt es más rápido que ** y hoy lo intenté. Pero lo interesante no era la diferencia de tiempo entre esos dos, sino la diferencia de tiempo entre ** con variables y ** con valores: value1 = 10.1 value2 = 0.5 %timeit value1 ** value2 # 1000000 loops, best of 3: 645 […]

Vectorizar u optimizar un bucle donde cada iteración depende del estado de la iteración anterior

Tengo un algoritmo que estoy implementando en python. El algoritmo podría ejecutarse 1.000.000 veces, así que quiero optimizarlo tanto como sea posible. La base en el algoritmo es tres listas ( energy , point y lista de valList ) y dos contadores p y e . Las dos listas de energy y point contienen números […]

¿Cómo maneja Python la memoria?

He estado buscando en una base de datos en memoria , y me puse a pensar, ¿cómo maneja Python la IO que no está vinculada a una conexión (e incluso los datos)? por ejemplo, hashes, sets, etc .; ¿Es esto una configuración en algún lugar, o se administra dinámicamente en función de los recursos; ¿Existen […]

los pandas llenan el problema de rendimiento

Tengo un dataframe con un índice múltiple (Fecha, Tiempo de entrada) y este dataframe puede contener algunos valores de NA en las columnas (Valor, Id). Quiero completar el valor de avance pero solo por fecha y no encuentro de ninguna manera hacer esto de una manera muy eficiente. Aquí está el tipo de dataframe que […]

Mal rendimiento numpy.cross ()

He estado haciendo algunas pruebas de rendimiento para mejorar el rendimiento de un proyecto de mascota que estoy escribiendo. Es una aplicación muy intensiva para hacer cálculos numéricos, así que he estado jugando con Numpy como una forma de mejorar el rendimiento computacional. Sin embargo, el resultado de las siguientes pruebas de rendimiento fue bastante […]

¿Por qué es más rápido crear un conjunto a partir de una lista concatenada que usar `.update`?

Al intentar responder ¿Cuál es la forma preferida de componer un conjunto de varias listas en Python , hice un análisis de rendimiento y llegué a una conclusión algo sorprendente? Utilizando python -m timeit -s ‘ import itertools import random n=1000000 random.seed(0) A = [random.randrange(1<<30) for _ in xrange(n)] B = [random.randrange(1<<30) for _ in […]

Sobrecarga de la creación de clases en Python: ¿Exactamente el mismo código que la clase dos veces más lento que el DS nativo?

Creé una clase de stack como un ejercicio en Python, usando todas las funciones de lista. Por ejemplo, Stack.push () es solo list.append (), Stack.pop () es list.pop () y Stack.isEmpty () es solo list == []. Estaba usando mi clase de Pila para implementar un convertidor de decimal a binario, y lo que noté […]