Articles of memoria de

Archivo de datos a la matriz está usando una gran cantidad de memoria

Estoy tomando un archivo de texto grande con valores separados por tabulaciones y los agrego a una matriz. Cuando ejecuto mi código en un archivo de 32 Mb, el consumo de memoria de Python pasa por el techo; utilizando alrededor de 500 Mb de RAM. Necesito poder ejecutar este código para un archivo de 2 […]

¿Cómo leer el archivo en orden inverso en python3.2 sin leer todo el archivo en la memoria?

Estoy analizando los archivos de registro en tamaño de 1 a 10 GB con python3.2, necesito buscar una línea con expresiones regulares específicas (algún tipo de marca de tiempo), y quiero encontrar el último evento. He intentado usar: for line in reversed(list(open(“filename”))) lo que resultó en un rendimiento muy malo (en los casos buenos) y […]

Producto cartesiano de grandes iteradores (itertools).

De una pregunta anterior aprendí algo interesante. Si el producto itertools.product de Python se alimenta de una serie de iteradores, estos iteradores se convertirán en tuplas antes de que comience el producto cartesiano. Las preguntas relacionadas miran el código fuente de itertools.product para concluir que, si bien no hay resultados intermedios almacenados en la memoria, […]

¿Aplicando SVD arroja un error de memoria instantáneamente?

Estoy tratando de aplicar SVD en mi matriz (3241 x 12596) que se obtuvo después de un procesamiento de texto (con el objective final de realizar el Análisis semántico latente) y no puedo entender por qué sucede esto ya que mi máquina de 64 bits tiene 16GB RAM. En el momento en svd(self.A) se llama […]

Python 2.6 GC parece limpiar objetos, pero la memoria no se libera

Tengo un progtwig escrito en Python 2.6 que crea un gran número de instancias de corta duración (es un problema clásico de productor-consumidor). Noté que el uso de memoria según lo informado por top y pmap parece boost cuando se crean estas instancias y nunca vuelve a bajar. Me preocupaba que algún módulo de python […]

Mida (máximo) el uso de memoria con IPython, como timeit pero memit

Tengo una tarea simple: además de medir el tiempo que lleva ejecutar un trozo de código en Python, necesito medir la cantidad de memoria que necesita un trozo de código dado. IPython tiene una utilidad agradable llamada timeit que funciona así: In [10]: timeit 3 + 3 10000000 loops, best of 3: 24 ns per […]

Cómo encontrar el uso de la CPU y el uso de la memoria después de ejecutar un script de Python

Estoy trabajando en Python, tuve un script en Python que lee los datos de un archivo de texto y los guarda en la base de datos. Tengo algunos requisitos como para encontrar debajo de 3 puntos 1. Total execution time taken by the script for running 2. CPU utilization (For process performing by the python […]

Uso de memoria de subproceso en python

¿Cómo se puede medir / comparar el uso máximo de memoria de un subproceso ejecutado dentro de python?

Python: estadísticas de uso de memoria por tipo de objeto (o línea de código fuente)

Estoy haciendo algunos cálculos pesados ​​con Python (usando OpenCV y Numpy) y al final, acabo con un montón de uso de memoria (> 1GB), por lo que todas las referencias deben desaparecer y solo tengo el resultado final (que no debería ser más que unos pocos MB). Para depurar esto, sería bueno si pudiera obtener […]

Python: obtenga nombres de procesos, CPU, uso de memoria y uso máximo de memoria en Windows

Estoy deseando obtener una lista de todos los nombres de procesos, CPU, Uso de memoria y Uso máximo de memoria. Esperaba poder usar ctypes. Pero estoy feliz de escuchar cualquier otra opción. Gracias por tu tiempo.