¿Existe la posibilidad en h5py de crear un conjunto de datos que consiste en listas de cadenas? Intenté crear un tipo de datos nested de longitud variable, pero esto produce una falla de segmentación en mi intérprete de python. def create_dataset(h5py_file): data = [[‘I’, ‘am’, ‘a’, ‘sentecne’], [‘another’, ‘sentence’]] string_dt = h5py.special_dtype(vlen=str) nested_dt = h5py.special_dtype(vlen=string_dt) […]
Tengo grandes pandas DataFrames con datos financieros. No tengo ningún problema en agregar y concatenar columnas y DataFrames adicionales a mi archivo .h5. Los datos financieros se actualizan a cada minuto, debo adjuntar una fila de datos a todas mis tablas existentes dentro de mi archivo .h5 cada minuto. Esto es lo que he intentado […]
Estoy usando la versión de 64 bits de Enthought Python para procesar datos en múltiples archivos HDF5. Estoy usando h5py versión 1.3.1 (HDF5 1.8.4) en Windows de 64 bits. Tengo un objeto que proporciona una interfaz conveniente para mi jerarquía de datos específica, pero al probar el archivo h5py.File (fname, ‘r’) se obtienen los mismos […]
Me he pasado el día intentando que el módulo h5py de python funcione, pero sin éxito. He instalado bibliotecas compartidas HDF5, seguí las instrucciones que pude encontrar en la web para hacerlo bien. Pero no funciona, a continuación se muestra el mensaje de error que recibo al intentar importar el módulo en Python. Intenté instalar […]
Esta pregunta está relacionada de alguna manera con “Concatenar un gran número de archivos HDF5” . Tengo varios archivos HDF5 enormes (~ 20GB comprimidos), que no caben en la memoria RAM. Cada uno de ellos almacena varios pandas.DataFrame s de formato idéntico y con índices que no se superponen. Me gustaría concatenarlos para tener un […]
Tengo algunos datos que comparto entre Python y Matlab. Solía hacerlo guardando matrices NumPy en archivos .mat de estilo MATLAB, pero me gustaría cambiar a conjuntos de datos HDF5. Sin embargo, he notado una característica divertida: cuando guardo una matriz NumPy en un archivo HDF5 (con h5py ) y luego lo leo en Matlab (con […]
Nunca he trabajado con archivos HDF5 antes, y para empezar recibí algunos archivos de ejemplo. He estado revisando todos los conceptos básicos con h5py , observando los diferentes grupos en estos archivos, sus nombres, claves, valores, etc. Todo funciona bien, hasta que quiero ver los conjuntos de datos que se guardan en los grupos. Obtengo […]
Estoy recostackndo una gran cantidad de datos que se guardarán en archivos H5 individuales utilizando h5py. Me gustaría unir estas imágenes en una sola gráfica de pcolormesh para guardarlas como una sola imagen. Un ejemplo rápido en el que he estado trabajando genera arrays de 2000×2000 puntos de datos aleatorios y los guarda en archivos […]
¿Cómo puedo pasar por alto la E / S del disco en h5py? Actualmente tengo que hacer algo como esto: msg = socket.recv() fp = open(“tmp.hdf5”, ‘wb’) fp.write(msg) fp.close() f = h5py.File(‘tmp.hdf5’, ‘r’) … # alter the file fp = open(“tmp.hdf5”, ‘rb’) msg = fp.read() msg = f.toString() socket.send(data) Quiero hacer algo como esto: msg […]
Tengo un gran conjunto de datos (300.000 ejemplos x 33.000 características), que por supuesto no se ajusta a la memoria. Los datos se guardan en formato HDF5. Los valores son en su mayoría ceros (datos dispersos). Se ven así: Attr1 52 52 52 52 52 52 52 52 … Attr2 umb umb umb umb umb […]