Articles of hdf5

H5py tienda lista de lista de cadenas

¿Existe la posibilidad en h5py de crear un conjunto de datos que consiste en listas de cadenas? Intenté crear un tipo de datos nested de longitud variable, pero esto produce una falla de segmentación en mi intérprete de python. def create_dataset(h5py_file): data = [[‘I’, ‘am’, ‘a’, ‘sentecne’], [‘another’, ‘sentence’]] string_dt = h5py.special_dtype(vlen=str) nested_dt = h5py.special_dtype(vlen=string_dt) […]

Agregue datos al archivo HDF5 con Pandas, Python

Tengo grandes pandas DataFrames con datos financieros. No tengo ningún problema en agregar y concatenar columnas y DataFrames adicionales a mi archivo .h5. Los datos financieros se actualizan a cada minuto, debo adjuntar una fila de datos a todas mis tablas existentes dentro de mi archivo .h5 cada minuto. Esto es lo que he intentado […]

Problemas con Python HDF5 H5Py al abrir varios archivos

Estoy usando la versión de 64 bits de Enthought Python para procesar datos en múltiples archivos HDF5. Estoy usando h5py versión 1.3.1 (HDF5 1.8.4) en Windows de 64 bits. Tengo un objeto que proporciona una interfaz conveniente para mi jerarquía de datos específica, pero al probar el archivo h5py.File (fname, ‘r’) se obtienen los mismos […]

Instalación de h5py en OS X

Me he pasado el día intentando que el módulo h5py de python funcione, pero sin éxito. He instalado bibliotecas compartidas HDF5, seguí las instrucciones que pude encontrar en la web para hacerlo bien. Pero no funciona, a continuación se muestra el mensaje de error que recibo al intentar importar el módulo en Python. Intenté instalar […]

Concatenar dos grandes pandas.HDFStore HDF5 archivos

Esta pregunta está relacionada de alguna manera con “Concatenar un gran número de archivos HDF5” . Tengo varios archivos HDF5 enormes (~ 20GB comprimidos), que no caben en la memoria RAM. Cada uno de ellos almacena varios pandas.DataFrame s de formato idéntico y con índices que no se superponen. Me gustaría concatenarlos para tener un […]

Conjunto de datos HDF5 creado por Python transpuesto en Matlab

Tengo algunos datos que comparto entre Python y Matlab. Solía ​​hacerlo guardando matrices NumPy en archivos .mat de estilo MATLAB, pero me gustaría cambiar a conjuntos de datos HDF5. Sin embargo, he notado una característica divertida: cuando guardo una matriz NumPy en un archivo HDF5 (con h5py ) y luego lo leo en Matlab (con […]

IOError: No se pueden leer los datos (No se puede abrir el directorio) – Falta el filtro de compresión gzip

Nunca he trabajado con archivos HDF5 antes, y para empezar recibí algunos archivos de ejemplo. He estado revisando todos los conceptos básicos con h5py , observando los diferentes grupos en estos archivos, sus nombres, claves, valores, etc. Todo funciona bien, hasta que quiero ver los conjuntos de datos que se guardan en los grupos. Obtengo […]

Generación de imágenes de pcolormesh a partir de conjuntos de datos muy grandes guardados en archivos H5 con Python

Estoy recostackndo una gran cantidad de datos que se guardarán en archivos H5 individuales utilizando h5py. Me gustaría unir estas imágenes en una sola gráfica de pcolormesh para guardarlas como una sola imagen. Un ejemplo rápido en el que he estado trabajando genera arrays de 2000×2000 puntos de datos aleatorios y los guarda en archivos […]

Pasa el archivo hdf5 a h5py como binario blob / string?

¿Cómo puedo pasar por alto la E / S del disco en h5py? Actualmente tengo que hacer algo como esto: msg = socket.recv() fp = open(“tmp.hdf5”, ‘wb’) fp.write(msg) fp.close() f = h5py.File(‘tmp.hdf5’, ‘r’) … # alter the file fp = open(“tmp.hdf5”, ‘rb’) msg = fp.read() msg = f.toString() socket.send(data) Quiero hacer algo como esto: msg […]

Importar gran conjunto de datos sin imagen en TensorFlow

Tengo un gran conjunto de datos (300.000 ejemplos x 33.000 características), que por supuesto no se ajusta a la memoria. Los datos se guardan en formato HDF5. Los valores son en su mayoría ceros (datos dispersos). Se ven así: Attr1 52 52 52 52 52 52 52 52 … Attr2 umb umb umb umb umb […]