Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Cómo convertir Spark RDD a dataframe pandas en ipython?
Intereting Posts
Python Get Screen Pixel Value en OS X Número de columna de Excel a texto Eliminación de la marca de tiempo de una fecha y hora en el dataframe de pandas Pycharm “referencia no resuelta” en la unión de os.path ¿Cómo imprimir frecuencias en orden descendente? Cómo deshabilitar la encoding HTML cuando se usa Context en django Eliminación de huérfanos de muchos a muchos SQLAlchemy ¿Cómo hacer que Fabric interactúe automáticamente (en lugar de interactuar con el usuario) con los comandos de shell? Combinar con pexpect? ¿Cómo obtener el índice común de dos marcos de datos pandas? sdl2 – ImportError: Error en la carga de DLL: no se pudo encontrar el módulo especificado y No se puede obtener una ventana, cancelar requests.exceptions.SSLError: error en la verificación del certificado Agrupando los mismos elementos recurrentes que ocurren en una fila de la lista Firma y verificación de datos usando pycrypto (RSA) Python 2 y Python 3: se ejecutan en el símbolo del sistema ¿Sugerencias para trazar líneas superpuestas en matplotlib?

¿Cómo convertir Spark RDD a dataframe pandas en ipython?

Tengo un RDD y quiero convertirlo en un dataframe pandas . Sé que para convertir y RDD a un dataframe normal podemos hacer 

 df = rdd1.toDF()

Pero quiero convertir el RDD a un dataframe pandas y no a un dataframe normal. ¿Cómo puedo hacerlo?

Puedes usar la función toPandas() :

Devuelve el contenido de este DataFrame como Pandas pandas.DataFrame.

Esto solo está disponible si Pandas está instalado y disponible. 

 >>> df.toPandas() age name 0 2 Alice 1 5 Bob

Tendrá que usar un Spark DataFrame como un paso intermedio entre su RDD y el Pandas DataFrame deseado.

Por ejemplo, digamos que tengo un archivo de texto, flights.csv , que se ha leído en un RDD: 

 flights = sc.textFile('flights.csv')

Puedes consultar el tipo: 

 type(flights)

Si solo usas toPandas() en el RDD, no funcionará. Dependiendo del formato de los objetos en su RDD, es posible que sea necesario algún procesamiento para ir a un Spark DataFrame primero. En el caso de este ejemplo, este código hace el trabajo: 

 # RDD to Spark DataFrame sparkDF = flights.map(lambda x: str(x)).map(lambda w: w.split(',')).toDF() #Spark DataFrame to Pandas DataFrame pdsDF = sparkDF.toPandas()

Puedes consultar el tipo: 

 type(pdsDF)