Articles of hdf5

¿Cómo diferenciar entre conjuntos de datos HDF5 y grupos con h5py?

Utilizo el paquete Python h5py (versión 2.5.0) para acceder a mis archivos hdf5. Quiero recorrer el contenido de un archivo y hacer algo con cada conjunto de datos. Utilizando el método de visit : import h5py def print_it(name): dset = f[name] print(dset) print(type(dset)) with h5py.File(‘test.hdf5’, ‘r’) as f: f.visit(print_it) Para un archivo de prueba obtengo: […]

PyTables leer subconjunto aleatorio

¿Es posible leer un subconjunto aleatorio de filas de HDF5 (a través de pyTables o, preferiblemente pandas)? Tengo un conjunto de datos muy grande con millones de filas, pero solo necesito una muestra de unos pocos miles para el análisis. ¿Y qué pasa con la lectura de un archivo HDF comprimido?

Convertir el archivo .h5 a .jpg con Python

Actualmente tengo un archivo .h5 que contiene imágenes en escala de grises. Necesito convertirlo en un .jpg. ¿Alguien tiene alguna experiencia con esto? Nota: Posiblemente podría convertir el archivo h5 en una matriz numpy y luego usar una biblioteca externa como pypng para convertirlo en png. Pero me pregunto si hay una forma más eficiente […]

Cómo instalar h5py (+ numpy + libhdf5 +…) como no root en un sistema Debian Linux

Necesito instalar el módulo h5py Python, y todas sus dependencias ausentes, en un sistema Debian Linux. Esta tarea se complica por lo siguiente: No tengo ningún privilegio de superusuario en este sistema (sin sudo, sin contraseña de root, etc.); El rest del código que estoy usando requiere la versión 2.7 de Python, que no es […]

Escribir datos en un archivo hdf usando multiprocesamiento

Esto parece un problema simple, pero no puedo entenderlo. Tengo una simulación que se ejecuta en un bucle doble para y escribe los resultados en un archivo HDF. A continuación se muestra una versión simple de este progtwig: import tables as pt a = range(10) b = range(5) def Simulation(): hdf = pt.openFile(‘simulation.h5′,mode=’w’) for ii […]

TypeError: read_hdf () toma exactamente 2 argumentos (1 dado)

¿Cómo abrir un archivo HDF5 con pandas.read_hdf cuando no se conocen las claves? from pandas.io.pytables import read_hdf read_hdf(path_or_buf, key) pandas.__version__ == ‘0.14.1’ Aquí se desconoce el parámetro clave. Gracias

GIL para hilo IO limitado en extensión C (HDF5)

Tengo una aplicación de muestreo que adquiere 250,000 muestras por segundo, las almacena en la memoria y eventualmente se agrega a un HDFStore proporcionado por pandas . En general, esto es genial. Sin embargo, tengo un hilo que se ejecuta y vacía continuamente el dispositivo de adquisición de datos ( DAQ ) y necesita ejecutarse […]

Imágenes guardadas como HDF5 no son de color

Actualmente estoy trabajando en un progtwig que convierte archivos de texto e imágenes jpg al formato HDF5. Abierto con el HDFView 3.0, parece que las imágenes solo se guardan en escala de grises. hdf = h5py.File(“Sample.h5”) img = Image.open(“Image.jpg”) data = np.asarray((img), dtype=”uint8″) hdf.create_dataset(“Photos/Image 1”, data=data, dtype=’uint8′) dset = hdf.get(“Photos/Image 1”) dset.attrs[‘CLASS’] = ‘IMAGE’ dset.attrs[‘IMAGE_VERSION’] […]

Mezcla el conjunto de datos HDF5 usando h5py

Tengo un archivo HDF5 grande (~ 30GB) y necesito mezclar las entradas (a lo largo del eje 0) en cada conjunto de datos. Mirando a través de los documentos de h5py no pude encontrar la funcionalidad de randomAccess shuffle o shuffle , pero espero que me haya perdido algo. ¿Hay alguien lo suficientemente familiarizado con […]

¿En qué se diferencia HDF5 de una carpeta con archivos?

Estoy trabajando en un proyecto de código abierto que trata de agregar metadatos a las carpetas. La API proporcionada (Python) le permite navegar y acceder a los metadatos como si fuera solo otra carpeta. Porque es solo otra carpeta. \folder\.meta\folder\somedata.json Luego me encontré con HDF5 y su derivación Alembic . Al leer HDF5 en el […]