Articles of h5py

Mezcla el conjunto de datos HDF5 usando h5py

Tengo un archivo HDF5 grande (~ 30GB) y necesito mezclar las entradas (a lo largo del eje 0) en cada conjunto de datos. Mirando a través de los documentos de h5py no pude encontrar la funcionalidad de randomAccess shuffle o shuffle , pero espero que me haya perdido algo. ¿Hay alguien lo suficientemente familiarizado con […]

¿Experiencia con el uso de h5py para realizar trabajos analíticos en Big Data en Python?

Hago mucho trabajo estadístico y utilizo Python como mi idioma principal. Sin embargo, algunos de los conjuntos de datos con los que trabajo pueden requerir 20 GB de memoria, lo que hace que el funcionamiento con ellos mediante el uso de funciones en memoria en números, scipy y PyIMSL sea casi imposible. El lenguaje de […]

h5py da error después de la instalación

Posible duplicado: Instalación de h5py en OS X Estoy intentando que h5py funcione en mi Macbook Pro OS X Lion 10.7.3. Ha funcionado antes, pero de alguna manera se desinstaló y no puedo instalarlo nuevamente. Parece que tiene que ver con la instalación de XCode 4.3, pero no estoy seguro. Al importar h5py, me sale […]

Combina todos los archivos h5 usando h5py

Soy novato en la encoding. ¿Puede alguien ayudarme con un script en Python usando h5py en donde podemos leer todos los directorios y subdirectorios para fusionar varios archivos h5 en un solo archivo h5?

H5py tienda lista de lista de cadenas

¿Existe la posibilidad en h5py de crear un conjunto de datos que consiste en listas de cadenas? Intenté crear un tipo de datos nested de longitud variable, pero esto produce una falla de segmentación en mi intérprete de python. def create_dataset(h5py_file): data = [[‘I’, ‘am’, ‘a’, ‘sentecne’], [‘another’, ‘sentence’]] string_dt = h5py.special_dtype(vlen=str) nested_dt = h5py.special_dtype(vlen=string_dt) […]

Problemas con Python HDF5 H5Py al abrir varios archivos

Estoy usando la versión de 64 bits de Enthought Python para procesar datos en múltiples archivos HDF5. Estoy usando h5py versión 1.3.1 (HDF5 1.8.4) en Windows de 64 bits. Tengo un objeto que proporciona una interfaz conveniente para mi jerarquía de datos específica, pero al probar el archivo h5py.File (fname, ‘r’) se obtienen los mismos […]

Instalación de h5py en OS X

Me he pasado el día intentando que el módulo h5py de python funcione, pero sin éxito. He instalado bibliotecas compartidas HDF5, seguí las instrucciones que pude encontrar en la web para hacerlo bien. Pero no funciona, a continuación se muestra el mensaje de error que recibo al intentar importar el módulo en Python. Intenté instalar […]

Conjunto de datos HDF5 creado por Python transpuesto en Matlab

Tengo algunos datos que comparto entre Python y Matlab. Solía ​​hacerlo guardando matrices NumPy en archivos .mat de estilo MATLAB, pero me gustaría cambiar a conjuntos de datos HDF5. Sin embargo, he notado una característica divertida: cuando guardo una matriz NumPy en un archivo HDF5 (con h5py ) y luego lo leo en Matlab (con […]

IOError: No se pueden leer los datos (No se puede abrir el directorio) – Falta el filtro de compresión gzip

Nunca he trabajado con archivos HDF5 antes, y para empezar recibí algunos archivos de ejemplo. He estado revisando todos los conceptos básicos con h5py , observando los diferentes grupos en estos archivos, sus nombres, claves, valores, etc. Todo funciona bien, hasta que quiero ver los conjuntos de datos que se guardan en los grupos. Obtengo […]

leer parte del conjunto de datos h5 python

Estoy leyendo en grandes conjuntos de datos de un archivo .h5 (200,000 puntos por conjunto de datos) y actualmente no lo necesito todo, así que lo que he estado haciendo es leer los datos y luego truncarlos. ¿Hay una manera de leer solo los primeros X elementos de un conjunto de datos h5?