Tengo un gran archivo csv de 3.5 go y quiero leerlo usando pandas. Este es mi código: import pandas as pd tp = pd.read_csv(‘train_2011_2012_2013.csv’, sep=’;’, iterator=True, chunksize=20000000, low_memory = False) df = pd.concat(tp, ignore_index=True) Me sale este error: pandas/parser.pyx in pandas.parser.TextReader.read (pandas/parser.c:8771)() pandas/parser.pyx in pandas.parser.TextReader._read_rows (pandas/parser.c:9731)() pandas/parser.pyx in pandas.parser.TextReader._tokenize_rows (pandas/parser.c:9602)() pandas/parser.pyx in pandas.parser.raise_parser_error (pandas/parser.c:23325)() CParserError: […]
Estoy buscando la forma más compacta de almacenar booleano. Los números necesitan internamente 8 bits para almacenar un booleano, pero np.packbits permite empaquetarlos, eso es bastante bueno. El problema es que para empaquetar en una matriz de 4e6 bytes una matriz de 32e6 bytes del booleano, primero debemos gastar 256e6 bytes para convertir la matriz […]
Estoy trabajando con un conjunto de datos bastante grande (más de 4 GB), que importé en pandas . Algunas de las columnas de este conjunto de datos son simples indicadores de Verdadero / Falso, y, naturalmente, la forma más eficiente de almacenar estos datos es utilizar un tipo de código para esta columna. Sin embargo, […]
Mientras bash hacer una copia de una lista y hacer algunas cosas con la copia de la lista. De alguna manera mi lista original también se modifica. Ya he mirado diferentes asignaciones de memoria y diferentes formas de asignar las listas. Hasta ahora no hay suerte … ¿Alguna idea? row = 0 column = 0 […]
Yo uso Postgresql 9.4 para una base de datos modelo. Mi mesa se ve algo así: CREATE TABLE table1 ( sid INTEGER PRIMARY KEY NOT NULL DEFAULT nextval(‘table1_sid_seq’::regclass), col1 INT, col2 INT, col3 JSONB); Mi flujo de trabajo de Python 2.7 a menudo se ve así: curs.execute(“SELECT sid, col1, col2 FROM table1”) data = curs.fetchall() […]
Hay muchas maneras de leer XML, tanto a la vez (DOM) como un bit a la vez (SAX). He usado SAX o lxml para leer iterativamente grandes archivos XML (por ejemplo, wikipedia dump, que está comprimido con 6.5GB). Sin embargo, después de realizar un procesamiento iterativo (en python con ElementTree) de ese archivo XML, quiero […]
Actualmente estoy usando los enlaces Python de GDAL para trabajar en conjuntos de datos raster bastante grandes (> 4 GB). Ya que cargarlos en la memoria a la vez no es una solución viable para mí, los leo en bloques más pequeños y hago los cálculos pieza por pieza. Para evitar una nueva asignación para […]
Supongamos que quiero crear un cuadro de diálogo, un elemento secundario de mi progtwig principal: from PyQt4 import QtGui, QtCore class WizardJournal(QtGui.QDialog): def __init__(self, parent): super(WizardJournal, self).__init__(parent) self.parent = parent self.initUI() def initUI(self): self.parent.wizard = QtGui.QWidget() self.ok_button = QtGui.QPushButton(“OK”, self) self.vbox_global = QtGui.QVBoxLayout(self) self.vbox_global.addWidget(self.ok_button) self.paret.wizard.setLayout(self.vbox_global) self.parent.wizard.show() if __name__ == ‘__main__’: app = QtGui.QApplication(sys.argv) parent = […]
Supongamos que tengo un kernel para calcular la sum de dos arreglos en cuanto a elementos. En lugar de pasar a, b y c como tres parámetros, los hago estructurar miembros de la siguiente manera: typedef struct { __global uint *a; __global uint *b; __global uint *c; } SumParameters; __kernel void compute_sum(__global SumParameters *params) { […]
Tengo tres DataFrames que estoy tratando de concatenar. concat_df = pd.concat([df1, df2, df3]) Esto resulta en un error de memoria. ¿Cómo puedo resolver esto? Tenga en cuenta que la mayoría de las preguntas similares existentes están relacionadas con las MemoryErrors que se producen al leer archivos grandes. No tengo ese problema He leído mis archivos […]