Desarrollo de Python
  1. Desarrollo de Python
  3. Pandas: df.groupby () es demasiado lento para el conjunto de datos grandes. ¿Algún método alternativo?
Intereting Posts
Cómo crear líneas de cuadrícula principales y secundarias con diferentes estilos de línea en Python ¿Inicialización de un solo paso del valor predeterminado que se anexa a la lista? trazar un gran número de objetos de eje utilizando un comando a través de un bucle Python ascii utf unicode ¿Debo usar ‘has_key ()’ o ‘in’ en los dicts de Python? Implementando un Trie para soportar autocompletar en Python Puntos de color en el diagtwig de dispersión de Bokeh ¿Es posible usar * args en una clase de datos? Gestores de contexto Python de anidamiento django.db.migrations.exceptions.InconsistentMigrationHistory Python Gensim: ¿cómo calcular la similitud de documentos utilizando el modelo LDA? ¿Cómo “volcar” los puntos seleccionados con el complemento LinkedBrush para mpld3? Derechos de acceso a nivel de campo y seguridad en openerp 7 SFTP en Python? (plataforma independiente) Variables de clase cambiantes de Python

Pandas: df.groupby () es demasiado lento para el conjunto de datos grandes. ¿Algún método alternativo?

df = df.groupby(df.index).sum()

Tengo un dataframe con 3.8 millones de filas (una sola columna), y estoy tratando de agruparlos por índice. Pero lleva una eternidad terminar el cómputo. ¿Hay formas alternativas de tratar con un conjunto de datos muy grande? ¡¡¡¡Gracias por adelantado!!!!

Estoy escribiendo en Python.

Los datos se ven como abajo. El índice es la identificación del cliente. Quiero agrupar el qty_liter por el Index .

df = df.groupby(df.index).sum()

Pero esta línea de código está tomando demasiado tiempo …

introduzca la descripción de la imagen aquí

La información sobre este df está abajo:

df.info()

Index: 3842595 entries, -2147153165 to \N Data columns (total 1 columns): qty_liter object dtypes: object(1) memory usage: 58.6+ MB

El problema es que sus datos no son numéricos. Procesar cadenas lleva mucho más tiempo que procesar números. Prueba esto primero 

 df.index = df.index.astype(int) df.qty_liter = df.qty_liter.astype(float)

Entonces haz groupby() otra vez. Debería ser mucho más rápido. Si es así, vea si puede modificar su paso de carga de datos para tener los tipos adecuados desde el principio.