Articles of memoria

Python: no se puede replicar una prueba en el uso de la memoria

Estaba tratando de replicar la prueba de uso de memoria aquí . Esencialmente, la publicación afirma que dado el siguiente fragmento de código: import copy import memory_profiler @profile def function(): x = list(range(1000000)) # allocate a big list y = copy.deepcopy(x) del x return y if __name__ == “__main__”: function() Invocando python -m memory_profiler memory-profile-me.py […]

Error de memoria insuficiente al leer el archivo csv en trozos

Estoy procesando un archivo csv que tiene un tamaño de 2.5 GB. La tabla de 2.5 GB se ve así: columns=[ka,kb_1,kb_2,timeofEvent,timeInterval] 0:’3M’ ‘2345’ ‘2345’ ‘2014-10-5′,3000 1:’3M’ ‘2958’ ‘2152’ ‘2015-3-22′,5000 2:’GE’ ‘2183’ ‘2183’ ‘2012-12-31′,515 3:’3M’ ‘2958’ ‘2958’ ‘2015-3-10′,395 4:’GE’ ‘2183’ ‘2285’ ‘2015-4-19′,1925 5:’GE’ ‘2598’ ‘2598’ ‘2015-3-17’,1915 Y quiero agruparme por ka y kb_1 para obtener el […]

Python: hacer un generador de listas JSON serializable

¿Cómo puedo concat una lista de archivos JSON en una enorme matriz JSON? Tengo 5000 archivos y 550 000 artículos de lista. Mi primer bash fue usar jq , pero parece que jq -s no está optimizado para una entrada grande. jq -s -r ‘[.[][]]’ *.js Este comando funciona, pero tarda demasiado en completarse y […]

Python: costo de la memoria de importar un módulo

El costo de la memoria obviamente depende de qué tan grande sea un módulo, pero solo estoy buscando una respuesta general: ¿Es generalmente caro o barato importar un módulo en Python? Si tengo algunas decenas de pequeños scripts que potencialmente permanecen en la memoria durante toda la duración de la aplicación, ¿cuánto va a acaparar […]

Consigue el uso de memoria de la computadora en Windows con Python

¿Cómo puedo saber cuál es el uso de memoria general de la computadora de Python, que se ejecuta en Windows XP?

Desbordamiento de memoria cuando se utiliza la carga numpy en un bucle

La carga en bucle sobre archivos npz provoca un desbordamiento de memoria (según la longitud de la lista de archivos). Ninguno de los siguientes parece ayudar Eliminar la variable que almacena los datos en el archivo. Utilizando mmap. llamando a gc.collect () (recolección de basura). El siguiente código debería reproducir el fenómeno: import numpy as […]

Theano: Falló la inicialización del dispositivo gpu! Razón = CNMEM_STATUS_OUT_OF_MEMORY

Estoy ejecutando el ejemplo kaggle_otto_nn.py de Keras con el backend de theano . Cuando configuro cnmem=1 , aparece el siguiente error: cliu@cliu-ubuntu:keras-examples$ THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32,lib.cnmem=1 python kaggle_otto_nn.py Using Theano backend. ERROR (theano.sandbox.cuda): ERROR: Not using GPU. Initialisation of device gpu failed: initCnmem: cnmemInit call failed! Reason=CNMEM_STATUS_OUT_OF_MEMORY. numdev=1 /usr/local/lib/python2.7/dist-packages/Theano-0.8.0rc1-py2.7.egg/theano/tensor/signal/downsample.py:6: UserWarning: downsample module has been moved to the theano.tensor.signal.pool […]

¿Hay un generador de perfiles de memoria para python2.7?

Necesitaba verificar las estadísticas de memoria de los objetos que uso en Python. Me encontré con guppy y pysizer, pero no están disponibles para python2.7. ¿Hay un generador de perfiles de memoria disponible para Python 2.7? Si no, ¿hay alguna manera de hacerlo yo mismo?

Archivo de carga de Python3 Flask en la memoria del servidor

Estoy usando Flask in Python3 como servidor web, y estoy usando la función de carga de Flask. Cargar un archivo en el servidor da como resultado un objeto werkzeug.datastructures.FileStorage . Una de las funciones en las que necesito este archivo, también debe poder abrir archivos desde objetos de ruta, por lo que en este momento […]

Gran uso de RAM variable de Python

Supongamos que hay una variable dict que crece mucho durante el tiempo de ejecución, hasta millones de pares clave: valor. ¿Esta variable se almacena en la memoria RAM, usando de manera efectiva toda la memoria disponible y ralentizando el rest del sistema? Pedirle al intérprete que muestre todo el dictado es una mala idea, pero […]