Articles of h5py

¿Cómo diferenciar entre conjuntos de datos HDF5 y grupos con h5py?

Utilizo el paquete Python h5py (versión 2.5.0) para acceder a mis archivos hdf5. Quiero recorrer el contenido de un archivo y hacer algo con cada conjunto de datos. Utilizando el método de visit : import h5py def print_it(name): dset = f[name] print(dset) print(type(dset)) with h5py.File(‘test.hdf5’, ‘r’) as f: f.visit(print_it) Para un archivo de prueba obtengo: […]

h5py: forma correcta de dividir conjuntos de datos de matriz

Estoy un poco confundido aquí: Por lo que he entendido, el método .value de .value lee un conjunto de datos completo y lo descarga en una matriz, que es lenta y desalentadora (y generalmente debe ser reemplazada por [()] . La forma correcta es usar la división numpy-esque. Sin embargo, estoy obteniendo resultados irritantes (con […]

Mezcla el conjunto de datos HDF5 usando h5py

Tengo un archivo HDF5 grande (~ 30GB) y necesito mezclar las entradas (a lo largo del eje 0) en cada conjunto de datos. Mirando a través de los documentos de h5py no pude encontrar la funcionalidad de randomAccess shuffle o shuffle , pero espero que me haya perdido algo. ¿Hay alguien lo suficientemente familiarizado con […]

¿Experiencia con el uso de h5py para realizar trabajos analíticos en Big Data en Python?

Hago mucho trabajo estadístico y utilizo Python como mi idioma principal. Sin embargo, algunos de los conjuntos de datos con los que trabajo pueden requerir 20 GB de memoria, lo que hace que el funcionamiento con ellos mediante el uso de funciones en memoria en números, scipy y PyIMSL sea casi imposible. El lenguaje de […]

h5py da error después de la instalación

Posible duplicado: Instalación de h5py en OS X Estoy intentando que h5py funcione en mi Macbook Pro OS X Lion 10.7.3. Ha funcionado antes, pero de alguna manera se desinstaló y no puedo instalarlo nuevamente. Parece que tiene que ver con la instalación de XCode 4.3, pero no estoy seguro. Al importar h5py, me sale […]

Combina todos los archivos h5 usando h5py

Soy novato en la encoding. ¿Puede alguien ayudarme con un script en Python usando h5py en donde podemos leer todos los directorios y subdirectorios para fusionar varios archivos h5 en un solo archivo h5?

H5py tienda lista de lista de cadenas

¿Existe la posibilidad en h5py de crear un conjunto de datos que consiste en listas de cadenas? Intenté crear un tipo de datos nested de longitud variable, pero esto produce una falla de segmentación en mi intérprete de python. def create_dataset(h5py_file): data = [[‘I’, ‘am’, ‘a’, ‘sentecne’], [‘another’, ‘sentence’]] string_dt = h5py.special_dtype(vlen=str) nested_dt = h5py.special_dtype(vlen=string_dt) […]

Problemas con Python HDF5 H5Py al abrir varios archivos

Estoy usando la versión de 64 bits de Enthought Python para procesar datos en múltiples archivos HDF5. Estoy usando h5py versión 1.3.1 (HDF5 1.8.4) en Windows de 64 bits. Tengo un objeto que proporciona una interfaz conveniente para mi jerarquía de datos específica, pero al probar el archivo h5py.File (fname, ‘r’) se obtienen los mismos […]

Instalación de h5py en OS X

Me he pasado el día intentando que el módulo h5py de python funcione, pero sin éxito. He instalado bibliotecas compartidas HDF5, seguí las instrucciones que pude encontrar en la web para hacerlo bien. Pero no funciona, a continuación se muestra el mensaje de error que recibo al intentar importar el módulo en Python. Intenté instalar […]

Conjunto de datos HDF5 creado por Python transpuesto en Matlab

Tengo algunos datos que comparto entre Python y Matlab. Solía ​​hacerlo guardando matrices NumPy en archivos .mat de estilo MATLAB, pero me gustaría cambiar a conjuntos de datos HDF5. Sin embargo, he notado una característica divertida: cuando guardo una matriz NumPy en un archivo HDF5 (con h5py ) y luego lo leo en Matlab (con […]