Articles of pytables

¿Cómo leer una imagen grande en trozos en python?

Estoy tratando de calcular la diferencia en los valores de píxeles de dos imágenes, pero tengo problemas de memoria porque las imágenes que tengo son bastante grandes. ¿Hay alguna manera en Python de que pueda leer una imagen, digamos en 10×10 trozos a la vez en lugar de intentar leer toda la imagen? Tenía la […]

¿Cómo lees una tabla de pytables en un dataframe de pandas?

Construí una tabla de pytables y la llené usando el apéndice así: h5file = open_file(“FGBS.h5”, mode = “a”) group = h5file.create_group(“/”, ‘hybrid’) table = h5file.create_table(group, ‘z4’, Hybrid ,filters= tb.Filters(5, “blosc”)) utilizando: class Hybrid(IsDescription): dateTime = Time32Col() price = Float64Col() quantity = Float64Col() bidPrc = Float64Col() bidSize = Float64Col() askPrc = Float64Col() askSize = Float64Col() y […]

pandas pytables agregar: rendimiento y aumento en el tamaño del archivo

Tengo más de 500 tiendas PyTables que contienen aproximadamente 300Mb de datos cada una. Me gustaría fusionar estos archivos en una gran tienda, append pandas como se append en el código a continuación. def merge_hdfs(file_list, merged_store): for file in file_list: store = HDFStore(file, mode=’r’) merged_store.append(‘data’, store.data) store.close() La operación de adición es muy lenta (tarda […]

pandas read_hdf con la limitación de condición ‘donde’?

Necesito consultar un archivo HDF5 con la cláusula where con 3 condiciones, una de las condiciones es una lista con una longitud de 30: myList = list(xrange(30)) h5DF = pd.read_hdf(h5Filename, ‘df’, where=’index=myList & date=dateString & time=timeString’) La consulta anterior me da ValueError: too many inputs y el error es reproducible. Si reduzco la longitud de […]

Base de datos o solución de tabla para arreglos temporales desordenados

Estoy creando una aplicación de escritorio Python que permite a los usuarios seleccionar diferentes formas de distribución para modelar datos de rendimiento agrícola. Tengo los datos agrícolas de la serie temporal, cerca de un millón de filas, guardados en una base de datos SQLite (aunque esto no está escrito en piedra si alguien sabe de […]

Pandas _metadata de DataFrame persistencia error

Finalmente he descubierto cómo usar _metadata desde un DataFrame, todo funciona, excepto que no puedo conservarlo, como hdf5 o json. Sé que funciona porque copio los marcos y los atributos de _metadata sobre los atributos “no _metadata” no. ejemplo df = pandas.DataFrame #make up a frame to your liking pandas.DataFrame._metadata = [“testmeta”] df.testmeta = “testmetaval” […]

No se puede guardar DataFrame en HDF5 (“el mensaje del encabezado del objeto es demasiado grande”)

Tengo un DataFrame en Pandas: In [7]: my_df Out[7]: Int64Index: 34 entries, 0 to 0 Columns: 2661 entries, airplane to zoo dtypes: float64(2659), object(2) Cuando bash guardar esto en el disco: store = pd.HDFStore(p_full_h5) store.append(‘my_df’, my_df) Yo obtengo: File “H5A.c”, line 254, in H5Acreate2 unable to create attribute File “H5A.c”, line 503, in H5A_create unable […]

No se puede reinstalar PyTables para Python 2.7

Estoy instalando Python 2.7 además de 2.7. Al instalar PyTables nuevamente para 2.7, recibo este error: Se encontró el paquete numpy 1.5.1 instalado. .. ERROR :: No se pudo encontrar una instalación HDF5 local. Es posible que deba indicar explícitamente dónde se pueden encontrar los encabezados y la biblioteca de HDF5 locales configurando la variable […]

Guardando diccionarios en el archivo (compatible con numpy y Python 2/3)

Quiero hacer un almacenamiento jerárquico de clave-valor en Python, que básicamente se reduce a almacenar diccionarios en archivos. Con eso me refiero a cualquier tipo de estructura de diccionario, que puede contener otros diccionarios, matrices numpy, objetos de Python serializables, etc. No solo eso, quiero que almacene numerosos arrays optimizados para el espacio y que […]

Columnas de indexación y datos en Pandas / PyTables

http://pandas.pydata.org/pandas-docs/stable/io.html#indexing Estoy realmente confundido sobre este concepto de columnas de datos en Pandas HDF5 IO. Además, hay muy poca o ninguna información al respecto que se pueda encontrar en Google. Dado que me estoy sumergiendo en Pandas en un gran proyecto que involucra almacenamiento HDF5, me gustaría dejar claro estos conceptos. Los docs dicen: Puede […]