Articles of memory

Forma eficiente de memoria para almacenar valores bool y NaN en pandas

Estoy trabajando con un conjunto de datos bastante grande (más de 4 GB), que importé en pandas . Algunas de las columnas de este conjunto de datos son simples indicadores de Verdadero / Falso, y, naturalmente, la forma más eficiente de almacenar estos datos es utilizar un tipo de código para esta columna. Sin embargo, […]

copiar lista en python

Mientras bash hacer una copia de una lista y hacer algunas cosas con la copia de la lista. De alguna manera mi lista original también se modifica. Ya he mirado diferentes asignaciones de memoria y diferentes formas de asignar las listas. Hasta ahora no hay suerte … ¿Alguna idea? row = 0 column = 0 […]

Ajuste del rendimiento de Postgresql y el uso de la memoria en un flujo de trabajo de Python

Yo uso Postgresql 9.4 para una base de datos modelo. Mi mesa se ve algo así: CREATE TABLE table1 ( sid INTEGER PRIMARY KEY NOT NULL DEFAULT nextval(‘table1_sid_seq’::regclass), col1 INT, col2 INT, col3 JSONB); Mi flujo de trabajo de Python 2.7 a menudo se ve así: curs.execute(“SELECT sid, col1, col2 FROM table1”) data = curs.fetchall() […]

Escribe iterativamente los nodos XML en Python

Hay muchas maneras de leer XML, tanto a la vez (DOM) como un bit a la vez (SAX). He usado SAX o lxml para leer iterativamente grandes archivos XML (por ejemplo, wikipedia dump, que está comprimido con 6.5GB). Sin embargo, después de realizar un procesamiento iterativo (en python con ElementTree) de ese archivo XML, quiero […]

Consumo de memoria de la función NumPy por desviación estándar.

Actualmente estoy usando los enlaces Python de GDAL para trabajar en conjuntos de datos raster bastante grandes (> 4 GB). Ya que cargarlos en la memoria a la vez no es una solución viable para mí, los leo en bloques más pequeños y hago los cálculos pieza por pieza. Para evitar una nueva asignación para […]

PyQt: dar padre al crear un widget?

Supongamos que quiero crear un cuadro de diálogo, un elemento secundario de mi progtwig principal: from PyQt4 import QtGui, QtCore class WizardJournal(QtGui.QDialog): def __init__(self, parent): super(WizardJournal, self).__init__(parent) self.parent = parent self.initUI() def initUI(self): self.parent.wizard = QtGui.QWidget() self.ok_button = QtGui.QPushButton(“OK”, self) self.vbox_global = QtGui.QVBoxLayout(self) self.vbox_global.addWidget(self.ok_button) self.paret.wizard.setLayout(self.vbox_global) self.parent.wizard.show() if __name__ == ‘__main__’: app = QtGui.QApplication(sys.argv) parent = […]

Pasar la estructura con los miembros del puntero al núcleo OpenCL usando PyOpenCL

Supongamos que tengo un kernel para calcular la sum de dos arreglos en cuanto a elementos. En lugar de pasar a, b y c como tres parámetros, los hago estructurar miembros de la siguiente manera: typedef struct { __global uint *a; __global uint *b; __global uint *c; } SumParameters; __kernel void compute_sum(__global SumParameters *params) { […]

Cómo concatenar múltiples pandas.DataFrames sin ejecutarse en MemoryError

Tengo tres DataFrames que estoy tratando de concatenar. concat_df = pd.concat([df1, df2, df3]) Esto resulta en un error de memoria. ¿Cómo puedo resolver esto? Tenga en cuenta que la mayoría de las preguntas similares existentes están relacionadas con las MemoryErrors que se producen al leer archivos grandes. No tengo ese problema He leído mis archivos […]

¿Cuánta memoria en la matriz numpy? ¿Es la RAM un factor limitante?

Estoy usando numpy para crear una matriz de cubos con lados de longitud 100, por lo que contiene un total de 1 millón de entradas. Para cada uno de los millones de entradas, estoy insertando una matriz de 100×100 cuyas entradas se componen de números generados aleatoriamente. Estoy usando el siguiente código para hacerlo: import […]

¿Cómo gestiona la aplicación (python) la memoria en todas las solicitudes (límite de memoria privada suave excedido)

Estoy experimentando Exceeded soft private memory limit error de Exceeded soft private memory limit ocasional en una amplia variedad de manejadores de solicitudes en el motor de aplicaciones. Entiendo que este error significa que la RAM utilizada por la instancia ha excedido la cantidad asignada, y cómo eso hace que la instancia se cierre. Me […]