Desarrollo de Python
  1. Desarrollo de Python
  3. Obtenga la lista de tipos de datos del esquema en Apache Spark
Intereting Posts
Obtener el siguiente valor dentro de for loop Lista de Python de comprensión: función de prueba de retorno Añadir columna al dataframe con valor predeterminado valor coincidente entre dos DataFrames utilizando pandas en python Convirtiendo una cadena binaria en una imagen con PIL vim: resaltado SQL dentro de la cadena de comillas triples de python ZeroMQ y múltiples filtros de suscripción en Python ¿Por qué 1 +++ 2 = 3? Cómo desmarcar un archivo que se ha alojado en una URL web en python ¿Cómo escribo un representante para PyYAML? Compruebe si la propiedad de clase con setter ¿La convención de configuración predeterminada de Django para una aplicación conectable? ¿”Agregando” los diccionarios en Python? Instala el módulo python en una versión no predeterminada de python en Mac matraz make_response con archivos grandes

Obtenga la lista de tipos de datos del esquema en Apache Spark

Tengo el siguiente código en Spark-Python para obtener la lista de nombres del esquema de un DataFrame, que funciona bien, pero ¿cómo puedo obtener la lista de los tipos de datos? 

columnNames = df.schema.names

Por ejemplo, algo como: 

 columnTypes = df.schema.types

¿Hay alguna manera de obtener una lista separada de los tipos de datos contenidos en un esquema DataFrame?

Aquí hay una sugerencia: 

 df = sqlContext.createDataFrame([('a', 1)]) types = [f.dataType for f in df.schema.fields] types > [StringType, LongType]

Referencia:

  • pyspark.sql.types.StructType
  • pyspark.sql.types.StructField

Dado que el título de la pregunta no es específico de python, scala versión de scala aquí: 

 val tyes = df.schema.fields.map(f => f.dataType)

Resultará en una matriz de org.apache.spark.sql.types.DataType .

Utilice schema.dtypes 

 scala> val df = Seq(("ABC",10,20.4)).toDF("a","b","c") df: org.apache.spark.sql.DataFrame = [a: string, b: int ... 1 more field] scala> scala> df.printSchema root |-- a: string (nullable = true) |-- b: integer (nullable = false) |-- c: double (nullable = false) scala> df.dtypes res2: Array[(String, String)] = Array((a,StringType), (b,IntegerType), (c,DoubleType)) scala> df.dtypes.map(_._2).toSet res3: scala.collection.immutable.Set[String] = Set(StringType, IntegerType, DoubleType) scala>