Concatenar dos grandes pandas.HDFStore HDF5 archivos

Esta pregunta está relacionada de alguna manera con “Concatenar un gran número de archivos HDF5” .

Tengo varios archivos HDF5 enormes (~ 20GB comprimidos), que no caben en la memoria RAM. Cada uno de ellos almacena varios pandas.DataFrame s de formato idéntico y con índices que no se superponen.

Me gustaría concatenarlos para tener un solo archivo HDF5 con todos los DataFrames correctamente concatenados. Una forma de hacer esto es leer cada una de ellas en trozos por trozos y luego guardarlos en un solo archivo, pero de hecho tomaría bastante tiempo.

¿Existen herramientas o métodos especiales para hacer esto sin iterar a través de archivos?

vea los documentos aquí para el proyecto odo (anteriormente into ). Tenga en cuenta que si utiliza la biblioteca, entonces se cambió el orden de los argumentos (¡esa fue la motivación para cambiar el nombre, para evitar confusiones!)

Básicamente puedes hacer:

 from odo import odo odo('hdfstore://path_store_1::table_name', 'hdfstore://path_store_new_name::table_name') 

haciendo múltiples operaciones como esta se agregará a la tienda de rhs.

Esto hará automáticamente las operaciones de trozos para usted.