Articles of hdf5

Actualizando h5py Datasets

¿Alguien tiene una idea para actualizar los conjuntos de datos hdf5 de h5py? Suponiendo que creamos un conjunto de datos como: import h5py import numpy f = h5py.File(‘myfile.hdf5’) dset = f.create_dataset(‘mydataset’, data=numpy.ones((2,2),”=i4″)) new_dset_value=numpy.zeros((3,3),”=i4″) ¿Es posible extender el dset a una matriz numpy 3×3?

El carácter EOF de Pandas ParserError al leer varios archivos csv en HDF5

Utilizando Python3, Pandas 0.12 Estoy intentando escribir varios archivos csv (el tamaño total es de 7.9 GB) en una tienda HDF5 para procesarlos más adelante. Los archivos csv contienen alrededor de un millón de filas cada una, 15 columnas y los tipos de datos son en su mayoría cadenas, pero algunos flotan. Sin embargo, cuando […]

¿Puedo leer el archivo h5 en una máquina como bytearray, transmitir esa bytearray a otra máquina y luego cargarla desde bytearray en otra máquina?

Tengo el siguiente requisito: tengo el archivo h5 en una máquina (origen), que quiero usar en otra máquina (destino). Actualmente siento que debo leer ese archivo h5 como bytearray en la máquina de origen, transmitir el bytearray a la máquina de destino y luego cargar el archivo h5 de bytearray en la máquina de destino. […]

Escribiendo un gran conjunto de datos hdf5 usando h5py

En este momento, estoy usando h5py para generar conjuntos de datos hdf5. Tengo algo como esto import h5py import numpy as np my_data=np.genfromtxt(“/tmp/data.csv”,delimiter=”,”,dtype=None,names=True) myFile=”/tmp/f.hdf” with h5py.File(myFile,”a”) as f: dset = f.create_dataset(‘%s/%s’%(vendor,dataSet),data=my_data,compression=”gzip”,compression_opts=9) Esto funciona bien para un archivo ASCII relativamente grande (400 MB). Me gustaría hacer lo mismo para un conjunto de datos aún más grande […]

Escrituras incrementales a hdf5 con h5py

Tengo una pregunta sobre la mejor manera de escribir en archivos hdf5 con python / h5py. Tengo datos como: —————————————– | timepoint | voltage1 | voltage2 | … —————————————– | 178 | 10 | 12 | … —————————————– | 179 | 12 | 11 | … —————————————– | 185 | 9 | 12 | … […]

PCA incremental en big data

Acabo de intentar usar el IncrementalPCA de sklearn.decomposition, pero antes lanzó un MemoryError como el PCA y el RandomizedPCA. Mi problema es que la matriz que estoy tratando de cargar es demasiado grande para caber en la memoria RAM. Ahora mismo está almacenado en una base de datos hdf5 como conjunto de datos de forma […]

Exportando desde / importando a numpy, scipy en formatos SQLite y HDF5

Parece que hay muchas opciones para que Python se interconecte con SQLite (sqlite3, atpy) y HDF5 (h5py, pyTables). Me pregunto si alguien tiene experiencia en el uso de estos con arrays numpy o tablas de datos (arrays estructurados / de registros), y cuáles de estos se integran de manera más transparente con módulos “científicos” (numpy, […]

Combinando archivos hdf5

Tengo varios archivos hdf5, cada uno de los cuales tiene un solo conjunto de datos. Los conjuntos de datos son demasiado grandes para contener en la memoria RAM. Me gustaría combinar estos archivos en un solo archivo que contenga todos los conjuntos de datos por separado (es decir, no concatenar los conjuntos de datos en […]

Comportamiento inexplicable al usar vlen con h5py

Estoy usando h5py para construir un conjunto de datos. Dado que quiero almacenar matrices con diferentes dimensiones de filas #of, utilizo el tipo de archivo h5py special_type vlen. Sin embargo, experimento un comportamiento que no puedo explicar, tal vez pueda ayudarme a comprender lo que está sucediendo: >>>> import h5py >>>> import numpy as np […]

Las pandas no pueden leer el archivo hdf5 creado con h5py

Recibo un error de pandas cuando bash leer archivos de formato HDF5 que he creado con h5py. Me pregunto si estoy haciendo algo mal. import h5py import numpy as np import pandas as pd h5_file = h5py.File(‘test.h5’, ‘w’) h5_file.create_dataset(‘zeros’, data=np.zeros(shape=(3, 5)), dtype=’f’) h5_file.close() pd_file = pd.read_hdf(‘test.h5’, ‘zeros’) da un error: TypeError: no puede crear un […]