Articles of h5py

Leyendo la matriz de celdas de Matlab guardada como un archivo .mat v7.3 con H5py

Guardé una matriz de celdas como un archivo .mat en Matlab de la siguiente manera: test = {‘hello’; ‘world!’}; save(‘data.mat’, ‘test’, ‘-v7.3’) ¿Cómo puedo importarlo como la lista de cadenas en Python con H5py? Lo intenté f = h5py.File(‘data.mat’, ‘r’) print f.get(‘test’) print f.get(‘test’)[0] Esto imprime: [ ] ¿Cómo puedo eliminarlo para obtener la lista […]

Agrega una imagen raster a HDF5 usando h5py

Pido disculpas si esta es una especie de pregunta para principiantes, pero soy bastante nuevo en Python y HDF5. Estoy usando h5py, numpy y Python 2.7. Tengo datos de varios archivos que necesitan ser importados en un archivo HDF5. Los datos de cada archivo se almacenarán en un grupo diferente. Cada uno de estos grupos […]

Creación de un gran número de conjuntos de datos con h5py: no se puede registrar el átomo del tipo de datos (no se puede insertar una clave duplicada)

Estoy intentando almacenar una gran cantidad de arreglos estructurados numpy como conjuntos de datos en un archivo hdf5. Por ejemplo, f [‘tree1’] = estructurado_array1 . . f [‘tree60000’] = estructurado_array60000 (hay ~ 60000 árboles), Aproximadamente el 70% de la manera de leer el archivo, aparece el error RuntimeError: no se puede registrar el átomo del […]

Error al abrir el archivo en H5PY (no se encontró la firma del archivo)

He estado usando el siguiente código para abrir algunos archivos HDF5, producidos en MATLAB, en python usando H5PY: import h5py as h5 data=’dataset.mat’ f=h5.File(data, ‘r’) Sin embargo estoy recibiendo el siguiente error: OSError: Unable to open file (File signature not found) He comprobado que los archivos que bash abrir son archivos MAT de la versión […]

¿La forma más rápida de escribir archivos HDF5 con Python?

Dado un archivo CSV grande (10s de GB) de texto / números mixtos, ¿cuál es la forma más rápida de crear un archivo HDF5 con el mismo contenido, mientras se mantiene el uso de memoria razonable? Me gustaría usar el módulo h5py si es posible. En el siguiente ejemplo de juguete, he encontrado una manera […]

¿Existe una ventaja de uso de memoria o velocidad de análisis al usar HDF5 para almacenamiento de matriz grande (en lugar de archivos binarios planos)?

Estoy procesando grandes arreglos en 3D, que a menudo necesito dividir de varias maneras para hacer una variedad de análisis de datos. Un “cubo” típico puede ser de ~ 100 GB (y probablemente se agrande en el futuro) Parece que el formato de archivo recomendado típico para grandes conjuntos de datos en python es usar […]

Actualizando h5py Datasets

¿Alguien tiene una idea para actualizar los conjuntos de datos hdf5 de h5py? Suponiendo que creamos un conjunto de datos como: import h5py import numpy f = h5py.File(‘myfile.hdf5’) dset = f.create_dataset(‘mydataset’, data=numpy.ones((2,2),”=i4″)) new_dset_value=numpy.zeros((3,3),”=i4″) ¿Es posible extender el dset a una matriz numpy 3×3?

Instalar h5py en un servidor Ubuntu

Estaba instalando h5py en un servidor Ubuntu. Sin embargo, parece devolver un error que no se encuentra h5py.h Da el mismo mensaje de error cuando lo instalo usando pip o el archivo setup.py . ¿Que me estoy perdiendo aqui? Tengo la versión Numpy 1.8.1, que es superior a la versión requerida de 1.6 o superior. […]

¿Puedo leer el archivo h5 en una máquina como bytearray, transmitir esa bytearray a otra máquina y luego cargarla desde bytearray en otra máquina?

Tengo el siguiente requisito: tengo el archivo h5 en una máquina (origen), que quiero usar en otra máquina (destino). Actualmente siento que debo leer ese archivo h5 como bytearray en la máquina de origen, transmitir el bytearray a la máquina de destino y luego cargar el archivo h5 de bytearray en la máquina de destino. […]

Leyendo TODAS las variables en un archivo .mat con python h5py

Intento extraer todas las variables de un archivo ‘.mat’ v7.3 y convertirlas en matrices NumPy. ¿Hay una manera de hacer esto genéricamente, preferiblemente sin necesidad de especificar nombres de variables? ¿Cómo puede obtener todos los nombres de variables actuales de un archivo h5py.Flue, luego verifique sus dimensiones? Ex. import numpy as np, h5py file = […]