Fuga de memoria utilizando el dataframe pandas

Estoy usando pandas.DataFrame en un código de múltiples hilos (en realidad, una subclase de DataFrame llamada Sound ). Me he dado cuenta de que tengo una pérdida de memoria, ya que el uso de la memoria de mi progtwig aumenta gradualmente a más de 10 millones, para finalmente alcanzar casi el 100% de la memoria de la computadora y fallar.

Utilicé objgraph para intentar rastrear esta fuga, y descubrí que la cantidad de instancias de MyDataFrame aumenta todo el tiempo, mientras que no debería: cada subproceso en su método de run crea una instancia, hace algunos cálculos, guarda el resultado en una Archivo y salidas … por lo que no se deben guardar referencias.

Usando objgraph encontré que todos los marcos de datos en la memoria tienen un gráfico de referencia similar:

introduzca la descripción de la imagen aquí

No tengo idea de si eso es normal o no … parece que esto es lo que mantiene mis objetos en la memoria. ¿Alguna idea, consejo, visión?

Confirmó que hay algún tipo de pérdida de memoria en la infraestructura de indexación. No es causado por el gráfico de referencia anterior. Movamos la discusión a GitHub (SO es para preguntas y respuestas):

https://github.com/pydata/pandas/issues/2659

EDIT: esto en realidad parece no ser una pérdida de memoria, pero tiene que ver con los problemas de asignación de memoria del sistema operativo, tal vez. Por favor, eche un vistazo a la cuestión github para más información