Articles of memoria fugas

¿La liberación se maneja de manera diferente para arreglos de grandes y pequeños números?

Estoy intentando depurar un problema de memoria con mi gran aplicación Python. La mayoría de la memoria está en matrices numpy administradas por clases de Python, por lo que Heapy, etc., son inútiles, ya que no tienen en cuenta la memoria en las matrices numpy . Así que traté de rastrear manualmente el uso de […]

Los errores de Matplotlib dan como resultado una pérdida de memoria. ¿Cómo puedo liberar esa memoria?

Estoy ejecutando una aplicación django que incluye matplotlib y le permite al usuario especificar los ejes del gráfico. Esto puede dar como resultado ‘Error de desbordamiento: se ha excedido la complejidad de Agg’ Cuando eso sucede, hasta 100MB de RAM se atan. Normalmente fig.gcf() esa memoria usando fig.gcf() , plot.close() y gc.collect() , pero la […]

Marco de datos de pandas: ¿seleccionar filas y borrar memoria?

Tengo un gran dataframe de pandas (tamaño = 3 GB): x = read.table (‘big_table.txt’, sep = ‘\ t’, header = 0, index_col = 0) Debido a que estoy trabajando bajo restricciones de memoria, subconjunto el dataframe: rows = Calculate_rows () # una función que calcula qué filas necesito cols = Calculate_cols () # una función […]

Fuga de memoria utilizando el dataframe pandas

Estoy usando pandas.DataFrame en un código de múltiples hilos (en realidad, una subclase de DataFrame llamada Sound ). Me he dado cuenta de que tengo una pérdida de memoria, ya que el uso de la memoria de mi progtwig aumenta gradualmente a más de 10 millones, para finalmente alcanzar casi el 100% de la memoria […]

Encuentra todas las referencias a un objeto en python

¿Cuál es una buena manera de encontrar todas las referencias a un objeto en python? La razón por la que pregunto es que parece que tenemos una “pérdida de memoria”. Estamos cargando archivos de imágenes al servidor desde un navegador web. Cada vez que hacemos esto, el uso de memoria en el servidor aumenta proporcionalmente […]

python – la memoria no se devuelve al kernel

Tengo un script muy simple que asigna memoria, de la única referencia a un objeto de tamaño considerable, al mismo tiempo que imprime informes de heapy y pidstat . Después de ejecutar el script, heapy me dice que no debería haber mucha memoria en uso mientras que pidstat me dice lo contrario: from guppy import […]

Pérdida de memoria en la biblioteca ndb de Google

Creo que hay una pérdida de memoria en la biblioteca ndb pero no puedo encontrar dónde. ¿Hay alguna manera de evitar el problema descrito a continuación? ¿Tiene una idea más precisa de las pruebas para averiguar dónde está el problema? Así es como reproduje el problema: Creé una aplicación minimalista de Google App Engine con […]

¿Por qué no se libera la memoria al sistema después de grandes consultas (o series de consultas) en django?

En primer lugar, DEBUG = False en settings.py, así que no, las connections[‘default’].queries no crecen y crecen hasta que se agota toda la memoria. Comencemos con el hecho de que he cargado la tabla de User de django.contrib.auth.models.User con 10000 usuarios (cada uno llamado ‘test #’ donde # es un número entre 1 y 10000). […]

¿Cómo puedo liberar memoria después de crear figuras de matplotlib?

Tengo varias funciones de matlpotlib integradas en algunas tareas de django-apio. Cada vez que las tareas se llaman más RAM se dedica a python. En poco tiempo, Python está ocupando toda la memoria RAM. PREGUNTA: ¿Cómo puedo liberar esta memoria? ACTUALIZACIÓN 2 – Una segunda solución: Hice una pregunta similar específicamente sobre la memoria bloqueada […]

¿Fuga de memoria al usar cadenas <128KB en Python?

Título original: Fuga de memoria para abrir archivos <128KB en Python? Pregunta original Veo lo que creo que es una pérdida de memoria al ejecutar mi script de Python. Aquí está mi guión: import sys import time class MyObj(object): def __init__(self, filename): with open(filename) as f: self.att = f.read() def myfunc(filename): mylist = [MyObj(filename) for […]