Articles of memoria fugas

Gran pérdida de memoria en repetidas llamadas os.path.isdir?

He estado escribiendo algo que tiene que ver con la exploración de directorios y noté una pérdida de memoria grave al llamar a os.path.isdir, por lo que probé el siguiente fragmento de código: def func(): if not os.path.isdir(‘D:\Downloads’): return False while True: func() En unos pocos segundos, el proceso de Python alcanzó los 100 MB […]

¿Es esta una pérdida de memoria?

Estoy usando el módulo gc para depurar una fuga. Es un progtwig gui y he conectado esta función a un botón. He establecido la depuración más establecida en gc.SAVE_ALL > gc.collect() > > print gc.garbage y esta es la salida [(,), {‘__module__’: ‘ctypes._endian’, ‘__dict__’: , ‘__weakref__’: , ‘_length_’: 3, ‘_type_’: , ‘__doc__’: None}, , , […]

Perfil / monitoreo de memoria (python) en Google AppEngine

He estado trabajando con el motor de aplicaciones durante bastante tiempo, sé que hay appstats pero solo muestran datastore / memcache y otros no relacionados con las estadísticas de uso de memoria real. He intentado integrarme con AppTrace (con todas las versiones más recientes de los componentes) pero no puedo continuar, ya que recibo este […]

¿La liberación se maneja de manera diferente para arreglos de grandes y pequeños números?

Estoy intentando depurar un problema de memoria con mi gran aplicación Python. La mayoría de la memoria está en matrices numpy administradas por clases de Python, por lo que Heapy, etc., son inútiles, ya que no tienen en cuenta la memoria en las matrices numpy . Así que traté de rastrear manualmente el uso de […]

Los errores de Matplotlib dan como resultado una pérdida de memoria. ¿Cómo puedo liberar esa memoria?

Estoy ejecutando una aplicación django que incluye matplotlib y le permite al usuario especificar los ejes del gráfico. Esto puede dar como resultado ‘Error de desbordamiento: se ha excedido la complejidad de Agg’ Cuando eso sucede, hasta 100MB de RAM se atan. Normalmente fig.gcf() esa memoria usando fig.gcf() , plot.close() y gc.collect() , pero la […]

Marco de datos de pandas: ¿seleccionar filas y borrar memoria?

Tengo un gran dataframe de pandas (tamaño = 3 GB): x = read.table (‘big_table.txt’, sep = ‘\ t’, header = 0, index_col = 0) Debido a que estoy trabajando bajo restricciones de memoria, subconjunto el dataframe: rows = Calculate_rows () # una función que calcula qué filas necesito cols = Calculate_cols () # una función […]

Fuga de memoria utilizando el dataframe pandas

Estoy usando pandas.DataFrame en un código de múltiples hilos (en realidad, una subclase de DataFrame llamada Sound ). Me he dado cuenta de que tengo una pérdida de memoria, ya que el uso de la memoria de mi progtwig aumenta gradualmente a más de 10 millones, para finalmente alcanzar casi el 100% de la memoria […]

Encuentra todas las referencias a un objeto en python

¿Cuál es una buena manera de encontrar todas las referencias a un objeto en python? La razón por la que pregunto es que parece que tenemos una “pérdida de memoria”. Estamos cargando archivos de imágenes al servidor desde un navegador web. Cada vez que hacemos esto, el uso de memoria en el servidor aumenta proporcionalmente […]

python – la memoria no se devuelve al kernel

Tengo un script muy simple que asigna memoria, de la única referencia a un objeto de tamaño considerable, al mismo tiempo que imprime informes de heapy y pidstat . Después de ejecutar el script, heapy me dice que no debería haber mucha memoria en uso mientras que pidstat me dice lo contrario: from guppy import […]

Pérdida de memoria en la biblioteca ndb de Google

Creo que hay una pérdida de memoria en la biblioteca ndb pero no puedo encontrar dónde. ¿Hay alguna manera de evitar el problema descrito a continuación? ¿Tiene una idea más precisa de las pruebas para averiguar dónde está el problema? Así es como reproduje el problema: Creé una aplicación minimalista de Google App Engine con […]