Necesito consultar un archivo HDF5 con la cláusula where con 3 condiciones, una de las condiciones es una lista con una longitud de 30: myList = list(xrange(30)) h5DF = pd.read_hdf(h5Filename, ‘df’, where=’index=myList & date=dateString & time=timeString’) La consulta anterior me da ValueError: too many inputs y el error es reproducible. Si reduzco la longitud de […]
Estoy tratando de leer el archivo mat dado en el siguiente sitio web, ufldl.stanford.edu/housenumbers, en el archivo train.tar.gz, hay un archivo mat llamado digitStruct.mat. cuando utilicé scipy.io para leer el archivo mat, me avisa con el mensaje “por favor use el lector hdf para los archivos matlab v7.3″. el archivo matlab original se proporciona a […]
Necesito trabajar con un dataframe de gran dimensión con índice múltiple, así que intenté crear un dataframe para aprender a almacenarlo en un archivo hdf5. El dataframe es así: (con el índice múltiple en las primeras 2 columnas) Symbol Date 0 C 2014-07-21 4792 B 2014-07-21 4492 A 2014-07-21 5681 B 2014-07-21 8310 A 2014-07-21 […]
Me doy cuenta de que un usuario de SO había formulado esta pregunta anteriormente, pero me la hicieron en 2009 y esperaba que hubiera más conocimiento de HDF5 o que las versiones más recientes hubieran solucionado este problema en particular. Para reafirmar la pregunta aquí sobre mi propio problema; Tengo un archivo gigantesco de nodos […]
¿Hay alguna forma de eliminar un conjunto de datos de un archivo hdf5, preferiblemente utilizando h5py? O alternativamente, ¿es posible sobrescribir un conjunto de datos mientras se mantienen los otros conjuntos de datos intactos? A mi entender, h5py puede leer / escribir archivos hdf5 en 5 modos f = h5py.File(“filename.hdf5”,’mode’) donde el modo puede ser […]
Tengo un DataFrame en Pandas: In [7]: my_df Out[7]: Int64Index: 34 entries, 0 to 0 Columns: 2661 entries, airplane to zoo dtypes: float64(2659), object(2) Cuando bash guardar esto en el disco: store = pd.HDFStore(p_full_h5) store.append(‘my_df’, my_df) Yo obtengo: File “H5A.c”, line 254, in H5Acreate2 unable to create attribute File “H5A.c”, line 503, in H5A_create unable […]
¿Hay alguna forma de almacenar una matriz en un archivo hdf5, que es demasiado grande para cargar en la memoria? si hago algo como esto f = h5py.File(‘test.hdf5′,’w’) f[‘mydata’] = np.zeros(2**32) Me sale un error de memoria.
Estoy instalando Python 2.7 además de 2.7. Al instalar PyTables nuevamente para 2.7, recibo este error: Se encontró el paquete numpy 1.5.1 instalado. .. ERROR :: No se pudo encontrar una instalación HDF5 local. Es posible que deba indicar explícitamente dónde se pueden encontrar los encabezados y la biblioteca de HDF5 locales configurando la variable […]
Pandas tiene una interfaz agradable que facilita el almacenamiento de elementos como Dataframes y Series en un HDF5: random_matrix = np.random.random_integers(0,10, m_size) my_dataframe = pd.DataFrame(random_matrix) store = pd.HDFStore(‘some_file.h5′,complevel=9, complib=’bzip2’) store[‘my_dataframe’] = my_dataframe store.close() Pero si bash guardar algunos otros objetos normales de Python en el mismo archivo, se queja: my_dictionary = dict() my_dictionary[‘a’] = 2 […]
En nuestro laboratorio almacenamos nuestros datos en archivos hdf5 través del paquete python h5py . Al comienzo de un experimento, creamos un archivo hdf5 y almacenamos una matriz después de una matriz de datos en el archivo (entre otras cosas). Cuando un experimento falla o se interrumpe, el archivo no se cierra correctamente. Debido a […]