Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Cómo convertir Spark RDD a dataframe pandas en ipython?
Intereting Posts
¿Usando Python Requests para ‘enlazar’ un archivo sin cargarlo en la memoria? Guardar la carga en el Frasco solo se guarda en la raíz del proyecto ¿Qué hace `x ` en numpy? ¿Por qué python setup.py dice el comando no válido ‘bdist_wheel’ en Travis CI? Cómo trazar la barra de colores de pcolor en una subplot diferente – matplotlib ¿Cómo lanzar un puntero a una estructura de Python para System.IntPtr (.NET)? Python: no se pueden encoger errores en los objetos del módulo ¿Cómo puedo generar una nota o acorde en python? Intercambie 2 valores de 2 variables sin usar una tercera variable; python Primer elemento común de dos listas Obtenga una lista que contenga elementos de cadena que excluyan los elementos prefijados con cualquier otro elemento de la lista inicial ¿Cómo comprimirías un número desconocido de listas en Python? eliminar borde de un gtk.button numpy loadtxt saltar primera fila ¿Especificar el tipo de entrada () en Python?

¿Cómo convertir Spark RDD a dataframe pandas en ipython?

Tengo un RDD y quiero convertirlo en un dataframe pandas . Sé que para convertir y RDD a un dataframe normal podemos hacer 

 df = rdd1.toDF()

Pero quiero convertir el RDD a un dataframe pandas y no a un dataframe normal. ¿Cómo puedo hacerlo?

Puedes usar la función toPandas() :

Devuelve el contenido de este DataFrame como Pandas pandas.DataFrame.

Esto solo está disponible si Pandas está instalado y disponible. 

 >>> df.toPandas() age name 0 2 Alice 1 5 Bob

Tendrá que usar un Spark DataFrame como un paso intermedio entre su RDD y el Pandas DataFrame deseado.

Por ejemplo, digamos que tengo un archivo de texto, flights.csv , que se ha leído en un RDD: 

 flights = sc.textFile('flights.csv')

Puedes consultar el tipo: 

 type(flights)

Si solo usas toPandas() en el RDD, no funcionará. Dependiendo del formato de los objetos en su RDD, es posible que sea necesario algún procesamiento para ir a un Spark DataFrame primero. En el caso de este ejemplo, este código hace el trabajo: 

 # RDD to Spark DataFrame sparkDF = flights.map(lambda x: str(x)).map(lambda w: w.split(',')).toDF() #Spark DataFrame to Pandas DataFrame pdsDF = sparkDF.toPandas()

Puedes consultar el tipo: 

 type(pdsDF)