Articles of hdf5

pandas read_hdf con la limitación de condición ‘donde’?

Necesito consultar un archivo HDF5 con la cláusula where con 3 condiciones, una de las condiciones es una lista con una longitud de 30: myList = list(xrange(30)) h5DF = pd.read_hdf(h5Filename, ‘df’, where=’index=myList & date=dateString & time=timeString’) La consulta anterior me da ValueError: too many inputs y el error es reproducible. Si reduzco la longitud de […]

cómo leer archivos Mat v7.3 en python?

Estoy tratando de leer el archivo mat dado en el siguiente sitio web, ufldl.stanford.edu/housenumbers, en el archivo train.tar.gz, hay un archivo mat llamado digitStruct.mat. cuando utilicé scipy.io para leer el archivo mat, me avisa con el mensaje “por favor use el lector hdf para los archivos matlab v7.3″. el archivo matlab original se proporciona a […]

Python (pandas): almacena un cuadro de datos en hdf5 con un índice múltiple

Necesito trabajar con un dataframe de gran dimensión con índice múltiple, así que intenté crear un dataframe para aprender a almacenarlo en un archivo hdf5. El dataframe es así: (con el índice múltiple en las primeras 2 columnas) Symbol Date 0 C 2014-07-21 4792 B 2014-07-21 4492 A 2014-07-21 5681 B 2014-07-21 8310 A 2014-07-21 […]

Eliminar información de un archivo HDF5

Me doy cuenta de que un usuario de SO había formulado esta pregunta anteriormente, pero me la hicieron en 2009 y esperaba que hubiera más conocimiento de HDF5 o que las versiones más recientes hubieran solucionado este problema en particular. Para reafirmar la pregunta aquí sobre mi propio problema; Tengo un archivo gigantesco de nodos […]

Borrar el conjunto de datos hdf5 usando h5py

¿Hay alguna forma de eliminar un conjunto de datos de un archivo hdf5, preferiblemente utilizando h5py? O alternativamente, ¿es posible sobrescribir un conjunto de datos mientras se mantienen los otros conjuntos de datos intactos? A mi entender, h5py puede leer / escribir archivos hdf5 en 5 modos f = h5py.File(“filename.hdf5”,’mode’) donde el modo puede ser […]

No se puede guardar DataFrame en HDF5 (“el mensaje del encabezado del objeto es demasiado grande”)

Tengo un DataFrame en Pandas: In [7]: my_df Out[7]: Int64Index: 34 entries, 0 to 0 Columns: 2661 entries, airplane to zoo dtypes: float64(2659), object(2) Cuando bash guardar esto en el disco: store = pd.HDFStore(p_full_h5) store.append(‘my_df’, my_df) Yo obtengo: File “H5A.c”, line 254, in H5Acreate2 unable to create attribute File “H5A.c”, line 503, in H5A_create unable […]

¿Cómo almacenar una matriz en un archivo hdf5 que es demasiado grande para cargar en la memoria?

¿Hay alguna forma de almacenar una matriz en un archivo hdf5, que es demasiado grande para cargar en la memoria? si hago algo como esto f = h5py.File(‘test.hdf5′,’w’) f[‘mydata’] = np.zeros(2**32) Me sale un error de memoria.

No se puede reinstalar PyTables para Python 2.7

Estoy instalando Python 2.7 además de 2.7. Al instalar PyTables nuevamente para 2.7, recibo este error: Se encontró el paquete numpy 1.5.1 instalado. .. ERROR :: No se pudo encontrar una instalación HDF5 local. Es posible que deba indicar explícitamente dónde se pueden encontrar los encabezados y la biblioteca de HDF5 locales configurando la variable […]

Almacenando objetos Pandas junto con objetos Python regulares en HDF5

Pandas tiene una interfaz agradable que facilita el almacenamiento de elementos como Dataframes y Series en un HDF5: random_matrix = np.random.random_integers(0,10, m_size) my_dataframe = pd.DataFrame(random_matrix) store = pd.HDFStore(‘some_file.h5′,complevel=9, complib=’bzip2’) store[‘my_dataframe’] = my_dataframe store.close() Pero si bash guardar algunos otros objetos normales de Python en el mismo archivo, se queja: my_dictionary = dict() my_dictionary[‘a’] = 2 […]

Cerrar un archivo de datos h5py abierto

En nuestro laboratorio almacenamos nuestros datos en archivos hdf5 través del paquete python h5py . Al comienzo de un experimento, creamos un archivo hdf5 y almacenamos una matriz después de una matriz de datos en el archivo (entre otras cosas). Cuando un experimento falla o se interrumpe, el archivo no se cierra correctamente. Debido a […]