Articles of hdf5

Mezcla el conjunto de datos HDF5 usando h5py

Tengo un archivo HDF5 grande (~ 30GB) y necesito mezclar las entradas (a lo largo del eje 0) en cada conjunto de datos. Mirando a través de los documentos de h5py no pude encontrar la funcionalidad de randomAccess shuffle o shuffle , pero espero que me haya perdido algo. ¿Hay alguien lo suficientemente familiarizado con […]

¿En qué se diferencia HDF5 de una carpeta con archivos?

Estoy trabajando en un proyecto de código abierto que trata de agregar metadatos a las carpetas. La API proporcionada (Python) le permite navegar y acceder a los metadatos como si fuera solo otra carpeta. Porque es solo otra carpeta. \folder\.meta\folder\somedata.json Luego me encontré con HDF5 y su derivación Alembic . Al leer HDF5 en el […]

¿Experiencia con el uso de h5py para realizar trabajos analíticos en Big Data en Python?

Hago mucho trabajo estadístico y utilizo Python como mi idioma principal. Sin embargo, algunos de los conjuntos de datos con los que trabajo pueden requerir 20 GB de memoria, lo que hace que el funcionamiento con ellos mediante el uso de funciones en memoria en números, scipy y PyIMSL sea casi imposible. El lenguaje de […]

h5py da error después de la instalación

Posible duplicado: Instalación de h5py en OS X Estoy intentando que h5py funcione en mi Macbook Pro OS X Lion 10.7.3. Ha funcionado antes, pero de alguna manera se desinstaló y no puedo instalarlo nuevamente. Parece que tiene que ver con la instalación de XCode 4.3, pero no estoy seguro. Al importar h5py, me sale […]

¿Puedo almacenar mi propio objeto de clase en hdf5?

Tengo una clase como esta: class C: def __init__(self, id, user_id, photo): self.id = id self.user_id = user_id self.photo = photo Necesito crear millones de estos objetos. id es un número entero tanto como user_id pero la foto es una matriz bool de tamaño 64. Mi jefe quiere que los guarde todos dentro de los […]

Error hdf5 cuando format = table, pandas pytables

Parece que recibo un error cuando format=table pero no error con format=fixed . Aquí está el comando. Lo extraño es que todavía parece cargar los datos. Solo tengo que encontrar una manera de superar esto. Y me daría tranquilidad al no tener ningún error. El dataframe está preprocesado, tipos establecidos dentro de las columnas. El […]

H5py tienda lista de lista de cadenas

¿Existe la posibilidad en h5py de crear un conjunto de datos que consiste en listas de cadenas? Intenté crear un tipo de datos nested de longitud variable, pero esto produce una falla de segmentación en mi intérprete de python. def create_dataset(h5py_file): data = [[‘I’, ‘am’, ‘a’, ‘sentecne’], [‘another’, ‘sentence’]] string_dt = h5py.special_dtype(vlen=str) nested_dt = h5py.special_dtype(vlen=string_dt) […]

Agregue datos al archivo HDF5 con Pandas, Python

Tengo grandes pandas DataFrames con datos financieros. No tengo ningún problema en agregar y concatenar columnas y DataFrames adicionales a mi archivo .h5. Los datos financieros se actualizan a cada minuto, debo adjuntar una fila de datos a todas mis tablas existentes dentro de mi archivo .h5 cada minuto. Esto es lo que he intentado […]

Problemas con Python HDF5 H5Py al abrir varios archivos

Estoy usando la versión de 64 bits de Enthought Python para procesar datos en múltiples archivos HDF5. Estoy usando h5py versión 1.3.1 (HDF5 1.8.4) en Windows de 64 bits. Tengo un objeto que proporciona una interfaz conveniente para mi jerarquía de datos específica, pero al probar el archivo h5py.File (fname, ‘r’) se obtienen los mismos […]

Instalación de h5py en OS X

Me he pasado el día intentando que el módulo h5py de python funcione, pero sin éxito. He instalado bibliotecas compartidas HDF5, seguí las instrucciones que pude encontrar en la web para hacerlo bien. Pero no funciona, a continuación se muestra el mensaje de error que recibo al intentar importar el módulo en Python. Intenté instalar […]