Articles of rendimiento de

¿Cuál es la forma más rápida de comparar dos listas grandes de 1 y 0 y devolver el recuento / porcentaje de diferencia?

Necesito un método para devolver rápidamente el número de diferencias entre dos listas grandes. El contenido de cada elemento de la lista es 1 o 0 (enteros únicos) y la cantidad de elementos en cada lista siempre será 307200. Esta es una muestra de mi código actual: list1 = # should be a list of […]

¿Cómo crear de manera eficiente una tabla dinámica?

Tengo un dataframe como este: import pandas as pd df = pd.DataFrame({“c0”: list(‘ABC’), “c1″: [” “.join(list(‘ab’)), ” “.join(list(‘def’)), ” “.join(list(‘s’))], “c2”: list(‘DEF’)}) c0 c1 c2 0 A ab D 1 B def E 2 C s F Quiero crear una tabla dinámica que se vea así: c2 c0 c1 A a D b D B […]

Realizar operaciones en todos los valores de una matriz numpy, haciendo referencia a i y j

Estoy tratando de mejorar el rendimiento numpy mediante la aplicación de operaciones en una matriz 2d, el problema es que el valor de cada elemento de la matriz depende de la ubicación i, j de ese elemento. Obviamente, la forma fácil de hacer esto es usar un bucle for nested, pero me preguntaba si podría […]

¿Cómo debo optimizar este progtwig enlazado de E / S del sistema de archivos?

Tengo un progtwig de python que hace algo como esto: Lee una fila de un archivo csv. Hacer algunas transformaciones en él. Divídalo en las filas reales como se escribirían en la base de datos. Escribe esas filas en archivos csv individuales. Vuelva al paso 1 a menos que el archivo haya sido totalmente leído. […]

¿Por qué lista por comprensión puede ser más rápido que el mapa () en Python?

Estoy analizando los problemas de rendimiento del bucle como las estructuras en Python y encontré las siguientes afirmaciones: Además del beneficio sintáctico de la comprensión de listas, a menudo son tan rápidas o más rápidas que el uso equivalente del mapa. ( Consejos de rendimiento ) Las comprensiones de la lista se ejecutan un poco […]

Python: cuenta las ocurrencias en una lista usando dict comprensión / generador

Quiero escribir algunas pruebas para analizar la eficacia de diferentes operaciones en python, a saber, una comparación de las comprensiones de diccionarios y los generadores de dictados. Para probar esto, pensé en probar un ejemplo simple: contar el número de palabras en una lista usando diccionarios. Ahora sé que puede hacerlo utilizando collections.Counter . collections.Counter […]

Python defaultdict (lista) de / serialización rendimiento

Estoy trabajando en un script que necesita procesar un léxico bastante grande (620 000 palabras) en el inicio. El léxico de entrada se procesa palabra por palabra en un defaultdict(list) , con las teclas que son letra bi y los trigtwigs y los valores como listas de palabras que contienen la letra clave n-gramo usando […]

¿La forma más rápida de convertir una matriz Numpy en un diccionario disperso?

Estoy interesado en convertir una matriz numpy en un diccionario disperso lo más rápido posible. Déjame elaborar: Dada la matriz: numpy.array([12,0,0,0,3,0,0,1]) Deseo producir el diccionario: {0:12, 4:3, 7:1} Como puede ver, simplemente estamos convirtiendo el tipo de secuencia en una asignación explícita de índices que son distintos de cero a sus valores. Para hacer esto […]

¿Qué hace el rendimiento sin valor en el administrador de contexto?

import contextlib import time @contextlib.contextmanager def time_print(task_name): t = time.time() try: yield finally: print task_name, “took”, time.time() – t, “seconds.” def doproc(): x=1+1 with time_print(“processes”): [doproc() for _ in range(500)] # processes took 15.236166954 seconds. ¿Cuándo se ejecuta doproc al usar este decorador?

¿Cómo comparo las funciones de Python en términos de rendimiento?

He escrito 2 funciones que hacen exactamente lo mismo, pero no sé cuál es más rápida y mejor. ¿Cómo comparo estas 2 funciones para ver cuál es mejor en términos de rendimiento y todo?