Articles of h5py

h5py devolviendo resultados inesperados en la indexación

Estoy intentando llenar un conjunto de datos h5py con una serie de matrices numpy que genero en secuencia para que mi memoria pueda manejarlo. La matriz h5py se inicializa para que la primera dimensión pueda tener cualquier magnitud, f.create_dataset(‘x-data’, (1, maxlen, 50), maxshape=(None, maxlen, 50)) Después de generar cada matriz numpy X, estoy usando f[‘x-data’][alen:alen […]

¿Cómo puedo concatenar perezosamente objetos “similares a ndarray” para lectura secuencial?

Tengo una lista de varios archivos hdf5 grandes, cada uno con un conjunto de datos 4D. Me gustaría obtener una concatenación de ellos en el primer eje, como en, un objeto similar a una matriz que se usaría como si todos los conjuntos de datos estuvieran concatenados. Mi intención final es leer secuencialmente fragmentos de […]

Error al importar h5py

He estado intentando importar h5py para leer este tipo de archivo. Aquí está mi código: import h5py file_1 = h5py.File(“Out_fragment.h5py”) print file_1 La salida es: Traceback (most recent call last): File “./week11.py”, line 17, in import h5py ImportError: No module named h5py También utilicé pip install h5py para obtener este módulo y no estoy seguro […]

cómo leer archivos Mat v7.3 en python?

Estoy tratando de leer el archivo mat dado en el siguiente sitio web, ufldl.stanford.edu/housenumbers, en el archivo train.tar.gz, hay un archivo mat llamado digitStruct.mat. cuando utilicé scipy.io para leer el archivo mat, me avisa con el mensaje “por favor use el lector hdf para los archivos matlab v7.3″. el archivo matlab original se proporciona a […]

Borrar el conjunto de datos hdf5 usando h5py

¿Hay alguna forma de eliminar un conjunto de datos de un archivo hdf5, preferiblemente utilizando h5py? O alternativamente, ¿es posible sobrescribir un conjunto de datos mientras se mantienen los otros conjuntos de datos intactos? A mi entender, h5py puede leer / escribir archivos hdf5 en 5 modos f = h5py.File(“filename.hdf5”,’mode’) donde el modo puede ser […]

Cadena de conjuntos de datos de múltiples archivos HDF5 / conjuntos de datos

Los beneficios y la asignación simplista que proporciona h5py (a través de HDF5) para la persistencia de conjuntos de datos en el disco es excepcional. Realizo algunos análisis en un conjunto de archivos y almaceno el resultado en un conjunto de datos, uno para cada archivo. Al final de este paso, tengo un conjunto de […]

Cerrar un archivo de datos h5py abierto

En nuestro laboratorio almacenamos nuestros datos en archivos hdf5 través del paquete python h5py . Al comienzo de un experimento, creamos un archivo hdf5 y almacenamos una matriz después de una matriz de datos en el archivo (entre otras cosas). Cuando un experimento falla o se interrumpe, el archivo no se cierra correctamente. Debido a […]

¿Cómo diferenciar entre conjuntos de datos HDF5 y grupos con h5py?

Utilizo el paquete Python h5py (versión 2.5.0) para acceder a mis archivos hdf5. Quiero recorrer el contenido de un archivo y hacer algo con cada conjunto de datos. Utilizando el método de visit : import h5py def print_it(name): dset = f[name] print(dset) print(type(dset)) with h5py.File(‘test.hdf5’, ‘r’) as f: f.visit(print_it) Para un archivo de prueba obtengo: […]

h5py: forma correcta de dividir conjuntos de datos de matriz

Estoy un poco confundido aquí: Por lo que he entendido, el método .value de .value lee un conjunto de datos completo y lo descarga en una matriz, que es lenta y desalentadora (y generalmente debe ser reemplazada por [()] . La forma correcta es usar la división numpy-esque. Sin embargo, estoy obteniendo resultados irritantes (con […]

Mezcla el conjunto de datos HDF5 usando h5py

Tengo un archivo HDF5 grande (~ 30GB) y necesito mezclar las entradas (a lo largo del eje 0) en cada conjunto de datos. Mirando a través de los documentos de h5py no pude encontrar la funcionalidad de randomAccess shuffle o shuffle , pero espero que me haya perdido algo. ¿Hay alguien lo suficientemente familiarizado con […]