Tengo un DataFrame en Pandas: In [7]: my_df Out[7]: Int64Index: 34 entries, 0 to 0 Columns: 2661 entries, airplane to zoo dtypes: float64(2659), object(2) Cuando bash guardar esto en el disco: store = pd.HDFStore(p_full_h5) store.append(‘my_df’, my_df) Yo obtengo: File “H5A.c”, line 254, in H5Acreate2 unable to create attribute File “H5A.c”, line 503, in H5A_create unable […]
¿Hay alguna forma de almacenar una matriz en un archivo hdf5, que es demasiado grande para cargar en la memoria? si hago algo como esto f = h5py.File(‘test.hdf5′,’w’) f[‘mydata’] = np.zeros(2**32) Me sale un error de memoria.
Estoy instalando Python 2.7 además de 2.7. Al instalar PyTables nuevamente para 2.7, recibo este error: Se encontró el paquete numpy 1.5.1 instalado. .. ERROR :: No se pudo encontrar una instalación HDF5 local. Es posible que deba indicar explícitamente dónde se pueden encontrar los encabezados y la biblioteca de HDF5 locales configurando la variable […]
Pandas tiene una interfaz agradable que facilita el almacenamiento de elementos como Dataframes y Series en un HDF5: random_matrix = np.random.random_integers(0,10, m_size) my_dataframe = pd.DataFrame(random_matrix) store = pd.HDFStore(‘some_file.h5′,complevel=9, complib=’bzip2’) store[‘my_dataframe’] = my_dataframe store.close() Pero si bash guardar algunos otros objetos normales de Python en el mismo archivo, se queja: my_dictionary = dict() my_dictionary[‘a’] = 2 […]
En nuestro laboratorio almacenamos nuestros datos en archivos hdf5 través del paquete python h5py . Al comienzo de un experimento, creamos un archivo hdf5 y almacenamos una matriz después de una matriz de datos en el archivo (entre otras cosas). Cuando un experimento falla o se interrumpe, el archivo no se cierra correctamente. Debido a […]
Quiero hacer un almacenamiento jerárquico de clave-valor en Python, que básicamente se reduce a almacenar diccionarios en archivos. Con eso me refiero a cualquier tipo de estructura de diccionario, que puede contener otros diccionarios, matrices numpy, objetos de Python serializables, etc. No solo eso, quiero que almacene numerosos arrays optimizados para el espacio y que […]
Fondo Tengo una serie temporal de n-dimensiones, cada una representada como mx (n + 1) matriz que contiene valores flotantes (n columnas más una que representa la fecha). Ejemplo: k (alrededor de 4 millones) series de tiempo que parecen 20100101 0.12 0.34 0.45 … 20100105 0.45 0.43 0.21 … … … … … Cada día, […]
Utilizo el paquete Python h5py (versión 2.5.0) para acceder a mis archivos hdf5. Quiero recorrer el contenido de un archivo y hacer algo con cada conjunto de datos. Utilizando el método de visit : import h5py def print_it(name): dset = f[name] print(dset) print(type(dset)) with h5py.File(‘test.hdf5’, ‘r’) as f: f.visit(print_it) Para un archivo de prueba obtengo: […]
¿Es posible leer un subconjunto aleatorio de filas de HDF5 (a través de pyTables o, preferiblemente pandas)? Tengo un conjunto de datos muy grande con millones de filas, pero solo necesito una muestra de unos pocos miles para el análisis. ¿Y qué pasa con la lectura de un archivo HDF comprimido?
Actualmente tengo un archivo .h5 que contiene imágenes en escala de grises. Necesito convertirlo en un .jpg. ¿Alguien tiene alguna experiencia con esto? Nota: Posiblemente podría convertir el archivo h5 en una matriz numpy y luego usar una biblioteca externa como pypng para convertirlo en png. Pero me pregunto si hay una forma más eficiente […]