Articles of memory

Ajuste del rendimiento de Postgresql y el uso de la memoria en un flujo de trabajo de Python

Yo uso Postgresql 9.4 para una base de datos modelo. Mi mesa se ve algo así: CREATE TABLE table1 ( sid INTEGER PRIMARY KEY NOT NULL DEFAULT nextval(‘table1_sid_seq’::regclass), col1 INT, col2 INT, col3 JSONB); Mi flujo de trabajo de Python 2.7 a menudo se ve así: curs.execute(“SELECT sid, col1, col2 FROM table1”) data = curs.fetchall() […]

Escribe iterativamente los nodos XML en Python

Hay muchas maneras de leer XML, tanto a la vez (DOM) como un bit a la vez (SAX). He usado SAX o lxml para leer iterativamente grandes archivos XML (por ejemplo, wikipedia dump, que está comprimido con 6.5GB). Sin embargo, después de realizar un procesamiento iterativo (en python con ElementTree) de ese archivo XML, quiero […]

Consumo de memoria de la función NumPy por desviación estándar.

Actualmente estoy usando los enlaces Python de GDAL para trabajar en conjuntos de datos raster bastante grandes (> 4 GB). Ya que cargarlos en la memoria a la vez no es una solución viable para mí, los leo en bloques más pequeños y hago los cálculos pieza por pieza. Para evitar una nueva asignación para […]

PyQt: dar padre al crear un widget?

Supongamos que quiero crear un cuadro de diálogo, un elemento secundario de mi progtwig principal: from PyQt4 import QtGui, QtCore class WizardJournal(QtGui.QDialog): def __init__(self, parent): super(WizardJournal, self).__init__(parent) self.parent = parent self.initUI() def initUI(self): self.parent.wizard = QtGui.QWidget() self.ok_button = QtGui.QPushButton(“OK”, self) self.vbox_global = QtGui.QVBoxLayout(self) self.vbox_global.addWidget(self.ok_button) self.paret.wizard.setLayout(self.vbox_global) self.parent.wizard.show() if __name__ == ‘__main__’: app = QtGui.QApplication(sys.argv) parent = […]

Pasar la estructura con los miembros del puntero al núcleo OpenCL usando PyOpenCL

Supongamos que tengo un kernel para calcular la sum de dos arreglos en cuanto a elementos. En lugar de pasar a, b y c como tres parámetros, los hago estructurar miembros de la siguiente manera: typedef struct { __global uint *a; __global uint *b; __global uint *c; } SumParameters; __kernel void compute_sum(__global SumParameters *params) { […]

Cómo concatenar múltiples pandas.DataFrames sin ejecutarse en MemoryError

Tengo tres DataFrames que estoy tratando de concatenar. concat_df = pd.concat([df1, df2, df3]) Esto resulta en un error de memoria. ¿Cómo puedo resolver esto? Tenga en cuenta que la mayoría de las preguntas similares existentes están relacionadas con las MemoryErrors que se producen al leer archivos grandes. No tengo ese problema He leído mis archivos […]

¿Cuánta memoria en la matriz numpy? ¿Es la RAM un factor limitante?

Estoy usando numpy para crear una matriz de cubos con lados de longitud 100, por lo que contiene un total de 1 millón de entradas. Para cada uno de los millones de entradas, estoy insertando una matriz de 100×100 cuyas entradas se componen de números generados aleatoriamente. Estoy usando el siguiente código para hacerlo: import […]

¿Cómo gestiona la aplicación (python) la memoria en todas las solicitudes (límite de memoria privada suave excedido)

Estoy experimentando Exceeded soft private memory limit error de Exceeded soft private memory limit ocasional en una amplia variedad de manejadores de solicitudes en el motor de aplicaciones. Entiendo que este error significa que la RAM utilizada por la instancia ha excedido la cantidad asignada, y cómo eso hace que la instancia se cierre. Me […]

¿Cómo uso `setrlimit` para limitar el uso de la memoria? RLIMIT_AS mata demasiado pronto; RLIMIT_DATA, RLIMIT_RSS, RLIMIT_STACK no mata en absoluto

Estoy tratando de usar setrlimit para limitar el uso de mi memoria en un sistema Linux, a fin de evitar que mi proceso setrlimit en la máquina (mi código estaba dañando los nodos en un clúster de alto rendimiento, porque un error provocó un consumo de memoria superior a 100). Gibraltar). Parece que no puedo […]

¿El mapeo de memoria disminuye con el tiempo, alternativas?

Tengo alrededor de 700 matrices almacenadas en el disco, cada una con alrededor de 70k filas y 300 columnas. Tengo que cargar partes de estas matrices con relativa rapidez, alrededor de 1k filas por matriz, en otra matriz que tengo en la memoria. La forma más rápida que encontré para hacer esto es usar mapas […]