Articles of memoria

Reduzca el uso de memoria de este código Pandas de lectura de código Pandas y decapado

No puedo encontrar una manera de reducir aún más el uso de memoria para este progtwig. Básicamente, estoy leyendo archivos de registro JSON en un dataframe de pandas, pero: La función de append lista es lo que está causando el problema. Crea dos objetos diferentes en la memoria, causando un gran uso de memoria. .to_pickle […]

¿Cómo empaquetar secuencias de bits arbitrarias en Python?

Quiero codificar / comprimir algunos datos de imágenes binarias como una secuencia de bits. (En general, esta secuencia tendrá una longitud que no se ajusta perfectamente a un número entero de tipos de enteros estándar). ¿Cómo puedo hacer esto sin perder espacio? (Me doy cuenta de que, a menos que la secuencia de bits tenga […]

Python: no se puede replicar una prueba en el uso de la memoria

Estaba tratando de replicar la prueba de uso de memoria aquí . Esencialmente, la publicación afirma que dado el siguiente fragmento de código: import copy import memory_profiler @profile def function(): x = list(range(1000000)) # allocate a big list y = copy.deepcopy(x) del x return y if __name__ == “__main__”: function() Invocando python -m memory_profiler memory-profile-me.py […]

Error de memoria insuficiente al leer el archivo csv en trozos

Estoy procesando un archivo csv que tiene un tamaño de 2.5 GB. La tabla de 2.5 GB se ve así: columns=[ka,kb_1,kb_2,timeofEvent,timeInterval] 0:’3M’ ‘2345’ ‘2345’ ‘2014-10-5′,3000 1:’3M’ ‘2958’ ‘2152’ ‘2015-3-22′,5000 2:’GE’ ‘2183’ ‘2183’ ‘2012-12-31′,515 3:’3M’ ‘2958’ ‘2958’ ‘2015-3-10′,395 4:’GE’ ‘2183’ ‘2285’ ‘2015-4-19′,1925 5:’GE’ ‘2598’ ‘2598’ ‘2015-3-17’,1915 Y quiero agruparme por ka y kb_1 para obtener el […]

Python: hacer un generador de listas JSON serializable

¿Cómo puedo concat una lista de archivos JSON en una enorme matriz JSON? Tengo 5000 archivos y 550 000 artículos de lista. Mi primer bash fue usar jq , pero parece que jq -s no está optimizado para una entrada grande. jq -s -r ‘[.[][]]’ *.js Este comando funciona, pero tarda demasiado en completarse y […]

Python: costo de la memoria de importar un módulo

El costo de la memoria obviamente depende de qué tan grande sea un módulo, pero solo estoy buscando una respuesta general: ¿Es generalmente caro o barato importar un módulo en Python? Si tengo algunas decenas de pequeños scripts que potencialmente permanecen en la memoria durante toda la duración de la aplicación, ¿cuánto va a acaparar […]

Consigue el uso de memoria de la computadora en Windows con Python

¿Cómo puedo saber cuál es el uso de memoria general de la computadora de Python, que se ejecuta en Windows XP?

Desbordamiento de memoria cuando se utiliza la carga numpy en un bucle

La carga en bucle sobre archivos npz provoca un desbordamiento de memoria (según la longitud de la lista de archivos). Ninguno de los siguientes parece ayudar Eliminar la variable que almacena los datos en el archivo. Utilizando mmap. llamando a gc.collect () (recolección de basura). El siguiente código debería reproducir el fenómeno: import numpy as […]

Theano: Falló la inicialización del dispositivo gpu! Razón = CNMEM_STATUS_OUT_OF_MEMORY

Estoy ejecutando el ejemplo kaggle_otto_nn.py de Keras con el backend de theano . Cuando configuro cnmem=1 , aparece el siguiente error: cliu@cliu-ubuntu:keras-examples$ THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32,lib.cnmem=1 python kaggle_otto_nn.py Using Theano backend. ERROR (theano.sandbox.cuda): ERROR: Not using GPU. Initialisation of device gpu failed: initCnmem: cnmemInit call failed! Reason=CNMEM_STATUS_OUT_OF_MEMORY. numdev=1 /usr/local/lib/python2.7/dist-packages/Theano-0.8.0rc1-py2.7.egg/theano/tensor/signal/downsample.py:6: UserWarning: downsample module has been moved to the theano.tensor.signal.pool […]

¿Hay un generador de perfiles de memoria para python2.7?

Necesitaba verificar las estadísticas de memoria de los objetos que uso en Python. Me encontré con guppy y pysizer, pero no están disponibles para python2.7. ¿Hay un generador de perfiles de memoria disponible para Python 2.7? Si no, ¿hay alguna manera de hacerlo yo mismo?