Articles of h5py

Actualizando h5py Datasets

¿Alguien tiene una idea para actualizar los conjuntos de datos hdf5 de h5py? Suponiendo que creamos un conjunto de datos como: import h5py import numpy f = h5py.File(‘myfile.hdf5’) dset = f.create_dataset(‘mydataset’, data=numpy.ones((2,2),”=i4″)) new_dset_value=numpy.zeros((3,3),”=i4″) ¿Es posible extender el dset a una matriz numpy 3×3?

Instalar h5py en un servidor Ubuntu

Estaba instalando h5py en un servidor Ubuntu. Sin embargo, parece devolver un error que no se encuentra h5py.h Da el mismo mensaje de error cuando lo instalo usando pip o el archivo setup.py . ¿Que me estoy perdiendo aqui? Tengo la versión Numpy 1.8.1, que es superior a la versión requerida de 1.6 o superior. […]

¿Puedo leer el archivo h5 en una máquina como bytearray, transmitir esa bytearray a otra máquina y luego cargarla desde bytearray en otra máquina?

Tengo el siguiente requisito: tengo el archivo h5 en una máquina (origen), que quiero usar en otra máquina (destino). Actualmente siento que debo leer ese archivo h5 como bytearray en la máquina de origen, transmitir el bytearray a la máquina de destino y luego cargar el archivo h5 de bytearray en la máquina de destino. […]

Leyendo TODAS las variables en un archivo .mat con python h5py

Intento extraer todas las variables de un archivo ‘.mat’ v7.3 y convertirlas en matrices NumPy. ¿Hay una manera de hacer esto genéricamente, preferiblemente sin necesidad de especificar nombres de variables? ¿Cómo puede obtener todos los nombres de variables actuales de un archivo h5py.Flue, luego verifique sus dimensiones? Ex. import numpy as np, h5py file = […]

Cómo sobrescribir la matriz dentro del archivo h5 usando h5py

Estoy intentando sobrescribir una matriz numpy que es una pequeña parte de un archivo h5 bastante complicado. Estoy extrayendo una matriz, cambiando algunos valores y luego quiero volver a insertarla en el archivo h5. No tengo ningún problema en extraer la matriz que está anidada. f1 = h5py.File(file_name,’r’) X1 = f1[‘meas/frame1/data’].value f1.close() Mi bash de […]

Escribiendo un gran conjunto de datos hdf5 usando h5py

En este momento, estoy usando h5py para generar conjuntos de datos hdf5. Tengo algo como esto import h5py import numpy as np my_data=np.genfromtxt(“/tmp/data.csv”,delimiter=”,”,dtype=None,names=True) myFile=”/tmp/f.hdf” with h5py.File(myFile,”a”) as f: dset = f.create_dataset(‘%s/%s’%(vendor,dataSet),data=my_data,compression=”gzip”,compression_opts=9) Esto funciona bien para un archivo ASCII relativamente grande (400 MB). Me gustaría hacer lo mismo para un conjunto de datos aún más grande […]

Escrituras incrementales a hdf5 con h5py

Tengo una pregunta sobre la mejor manera de escribir en archivos hdf5 con python / h5py. Tengo datos como: —————————————– | timepoint | voltage1 | voltage2 | … —————————————– | 178 | 10 | 12 | … —————————————– | 179 | 12 | 11 | … —————————————– | 185 | 9 | 12 | … […]

Combinando archivos hdf5

Tengo varios archivos hdf5, cada uno de los cuales tiene un solo conjunto de datos. Los conjuntos de datos son demasiado grandes para contener en la memoria RAM. Me gustaría combinar estos archivos en un solo archivo que contenga todos los conjuntos de datos por separado (es decir, no concatenar los conjuntos de datos en […]

Archivos corruptos al crear archivos HDF5 sin cerrarlos (h5py)

Estoy usando h5py para almacenar datos de experimentos en un contenedor HDF5. En una sesión interactiva abro el archivo usando: measurement_data = h5py.File(‘example.hdf5’, ‘a’) Luego escribo datos en el archivo usando algunas funciones de auto-escritura (pueden ser muchos GB de datos de un par de días de experimentación). Al final del experimento usualmente cerraría el […]

h5py no se adhiere a la especificación de trozos?

Problema: Tengo archivos netCDF4 existentes (aproximadamente 5000 de ellos), (típicamente en forma 96x3712x3712) puntos de datos (float32). Estos son archivos con la primera dimensión siendo el tiempo (1 archivo por día), la segunda y la tercera dimensiones espaciales. Actualmente, hacer un corte sobre la primera dimensión (incluso un corte parcial), llevaría mucho tiempo debido a […]