Estoy trabajando con un conjunto de datos bastante grande (más de 4 GB), que importé en pandas . Algunas de las columnas de este conjunto de datos son simples indicadores de Verdadero / Falso, y, naturalmente, la forma más eficiente de almacenar estos datos es utilizar un tipo de código para esta columna. Sin embargo, […]
Mientras bash hacer una copia de una lista y hacer algunas cosas con la copia de la lista. De alguna manera mi lista original también se modifica. Ya he mirado diferentes asignaciones de memoria y diferentes formas de asignar las listas. Hasta ahora no hay suerte … ¿Alguna idea? row = 0 column = 0 […]
Yo uso Postgresql 9.4 para una base de datos modelo. Mi mesa se ve algo así: CREATE TABLE table1 ( sid INTEGER PRIMARY KEY NOT NULL DEFAULT nextval(‘table1_sid_seq’::regclass), col1 INT, col2 INT, col3 JSONB); Mi flujo de trabajo de Python 2.7 a menudo se ve así: curs.execute(“SELECT sid, col1, col2 FROM table1”) data = curs.fetchall() […]
Hay muchas maneras de leer XML, tanto a la vez (DOM) como un bit a la vez (SAX). He usado SAX o lxml para leer iterativamente grandes archivos XML (por ejemplo, wikipedia dump, que está comprimido con 6.5GB). Sin embargo, después de realizar un procesamiento iterativo (en python con ElementTree) de ese archivo XML, quiero […]
Actualmente estoy usando los enlaces Python de GDAL para trabajar en conjuntos de datos raster bastante grandes (> 4 GB). Ya que cargarlos en la memoria a la vez no es una solución viable para mí, los leo en bloques más pequeños y hago los cálculos pieza por pieza. Para evitar una nueva asignación para […]
Supongamos que quiero crear un cuadro de diálogo, un elemento secundario de mi progtwig principal: from PyQt4 import QtGui, QtCore class WizardJournal(QtGui.QDialog): def __init__(self, parent): super(WizardJournal, self).__init__(parent) self.parent = parent self.initUI() def initUI(self): self.parent.wizard = QtGui.QWidget() self.ok_button = QtGui.QPushButton(“OK”, self) self.vbox_global = QtGui.QVBoxLayout(self) self.vbox_global.addWidget(self.ok_button) self.paret.wizard.setLayout(self.vbox_global) self.parent.wizard.show() if __name__ == ‘__main__’: app = QtGui.QApplication(sys.argv) parent = […]
Supongamos que tengo un kernel para calcular la sum de dos arreglos en cuanto a elementos. En lugar de pasar a, b y c como tres parámetros, los hago estructurar miembros de la siguiente manera: typedef struct { __global uint *a; __global uint *b; __global uint *c; } SumParameters; __kernel void compute_sum(__global SumParameters *params) { […]
Tengo tres DataFrames que estoy tratando de concatenar. concat_df = pd.concat([df1, df2, df3]) Esto resulta en un error de memoria. ¿Cómo puedo resolver esto? Tenga en cuenta que la mayoría de las preguntas similares existentes están relacionadas con las MemoryErrors que se producen al leer archivos grandes. No tengo ese problema He leído mis archivos […]
Estoy usando numpy para crear una matriz de cubos con lados de longitud 100, por lo que contiene un total de 1 millón de entradas. Para cada uno de los millones de entradas, estoy insertando una matriz de 100×100 cuyas entradas se componen de números generados aleatoriamente. Estoy usando el siguiente código para hacerlo: import […]
Estoy experimentando Exceeded soft private memory limit error de Exceeded soft private memory limit ocasional en una amplia variedad de manejadores de solicitudes en el motor de aplicaciones. Entiendo que este error significa que la RAM utilizada por la instancia ha excedido la cantidad asignada, y cómo eso hace que la instancia se cierre. Me […]