¿Alguien tiene una idea para actualizar los conjuntos de datos hdf5 de h5py? Suponiendo que creamos un conjunto de datos como: import h5py import numpy f = h5py.File(‘myfile.hdf5’) dset = f.create_dataset(‘mydataset’, data=numpy.ones((2,2),”=i4″)) new_dset_value=numpy.zeros((3,3),”=i4″) ¿Es posible extender el dset a una matriz numpy 3×3?
Utilizando Python3, Pandas 0.12 Estoy intentando escribir varios archivos csv (el tamaño total es de 7.9 GB) en una tienda HDF5 para procesarlos más adelante. Los archivos csv contienen alrededor de un millón de filas cada una, 15 columnas y los tipos de datos son en su mayoría cadenas, pero algunos flotan. Sin embargo, cuando […]
Tengo el siguiente requisito: tengo el archivo h5 en una máquina (origen), que quiero usar en otra máquina (destino). Actualmente siento que debo leer ese archivo h5 como bytearray en la máquina de origen, transmitir el bytearray a la máquina de destino y luego cargar el archivo h5 de bytearray en la máquina de destino. […]
En este momento, estoy usando h5py para generar conjuntos de datos hdf5. Tengo algo como esto import h5py import numpy as np my_data=np.genfromtxt(“/tmp/data.csv”,delimiter=”,”,dtype=None,names=True) myFile=”/tmp/f.hdf” with h5py.File(myFile,”a”) as f: dset = f.create_dataset(‘%s/%s’%(vendor,dataSet),data=my_data,compression=”gzip”,compression_opts=9) Esto funciona bien para un archivo ASCII relativamente grande (400 MB). Me gustaría hacer lo mismo para un conjunto de datos aún más grande […]
Tengo una pregunta sobre la mejor manera de escribir en archivos hdf5 con python / h5py. Tengo datos como: —————————————– | timepoint | voltage1 | voltage2 | … —————————————– | 178 | 10 | 12 | … —————————————– | 179 | 12 | 11 | … —————————————– | 185 | 9 | 12 | … […]
Acabo de intentar usar el IncrementalPCA de sklearn.decomposition, pero antes lanzó un MemoryError como el PCA y el RandomizedPCA. Mi problema es que la matriz que estoy tratando de cargar es demasiado grande para caber en la memoria RAM. Ahora mismo está almacenado en una base de datos hdf5 como conjunto de datos de forma […]
Parece que hay muchas opciones para que Python se interconecte con SQLite (sqlite3, atpy) y HDF5 (h5py, pyTables). Me pregunto si alguien tiene experiencia en el uso de estos con arrays numpy o tablas de datos (arrays estructurados / de registros), y cuáles de estos se integran de manera más transparente con módulos “científicos” (numpy, […]
Tengo varios archivos hdf5, cada uno de los cuales tiene un solo conjunto de datos. Los conjuntos de datos son demasiado grandes para contener en la memoria RAM. Me gustaría combinar estos archivos en un solo archivo que contenga todos los conjuntos de datos por separado (es decir, no concatenar los conjuntos de datos en […]
Estoy usando h5py para construir un conjunto de datos. Dado que quiero almacenar matrices con diferentes dimensiones de filas #of, utilizo el tipo de archivo h5py special_type vlen. Sin embargo, experimento un comportamiento que no puedo explicar, tal vez pueda ayudarme a comprender lo que está sucediendo: >>>> import h5py >>>> import numpy as np […]
Recibo un error de pandas cuando bash leer archivos de formato HDF5 que he creado con h5py. Me pregunto si estoy haciendo algo mal. import h5py import numpy as np import pandas as pd h5_file = h5py.File(‘test.h5’, ‘w’) h5_file.create_dataset(‘zeros’, data=np.zeros(shape=(3, 5)), dtype=’f’) h5_file.close() pd_file = pd.read_hdf(‘test.h5’, ‘zeros’) da un error: TypeError: no puede crear un […]