Desarrollo de Python
  1. Desarrollo de Python
  3. PySpark reemplaza nulo en columna con valor en otra columna
Intereting Posts
¿Qué es el “almacenamiento local de subprocesos” en Python y por qué lo necesito? ¿Es posible recuperar falsos positivos / falsos negativos identificados por una matriz de confusión? Permutaciones múltiples, incluyendo duplicados ¿Múltiples punteros del mouse? (Django) No se puede asignar “u’1 ‘”: “StaffProfile.user” debe ser una instancia de “Usuario” La syntax de la porción de la lista de Python se usa sin ninguna razón obvia django contraseña restablecer NoReverseMatch error Django ModelForm para campos de muchos a muchos Plantilla Django sobre cómo buscar un valor de diccionario con una variable. ¿Hay un decorador para simplemente almacenar en caché los valores de retorno de la función? Ejemplo de sqlalchemy matraz alrededor de la base de datos existente Aprender python y enhebrar. Creo que mi código corre infinitamente. ¿Ayudarme a encontrar bichos? ¿Cómo escribir fftshift y ifftshift en R? Agregar miembros a Python Enums El objeto ‘bytes’ no tiene atributo ‘codificar’

PySpark reemplaza nulo en columna con valor en otra columna

Quiero reemplazar los valores nulos en una columna con los valores en una columna adyacente, por ejemplo, si tengo 

A|B 0,1 2,null 3,null 4,2

Quiero que sea 

 A|B 0,1 2,2 3,3 4,2

Probado con 

 df.na.fill(df.A,"B")

Pero no funcionó, dice que el valor debe ser float, int, long, string o dict

¿Algunas ideas?

Al final encontré una alternativa: 

 df.withColumn("B",coalesce(df.B,df.A))

Otra respuesta.

Si a continuación df1 su dataframe 

 rd1 = sc.parallelize([(0,1), (2,None), (3,None), (4,2)]) df1 = rd1.toDF(['A', 'B']) from pyspark.sql.functions import when df1.select('A', when( df1.B.isNull(), df1.A).otherwise(df1.B).alias('B') )\ .show() 
 df.rdd.map(lambda row: row if row[1] else Row(a=row[0],b=row[0])).toDF().show()