Desarrollo de Python
  1. Desarrollo de Python
  3. Spark Dataframe – Python – cuenta subcadenas en cadena
Intereting Posts
Al llamar a un método anulado, superclase y método anulado a las llamadas PyGObject GTK + 3 – Documentación? Instalando theano en Windows 8 con GPU habilitada Python – cadena de encoding – letras suecas Necesito una guía para principiantes para configurar ventanas para el desarrollo de Python Alcance de variable global de Python Cómo ejecutar Tensorflow en la CPU Keras RNN con celdas LSTM para predecir múltiples series de tiempo de salida basadas en múltiples series de tiempo de entrada Resolución de referencia en Python nltk utilizando Stanford coreNLP Claves personalizadas para los modelos de Google App Engine (Python) Manera correcta de usar multiprocesador.Pool en un bucle nested Error al importar Tensorflow en Python 2.7 en Ubuntu 12.04. ‘GLIBC_2.17 no encontrado’ Omita los niveles de un directorio al importar un paquete de Python Conjunto acumulativo en PANDAS Instalando datos nltk en el script setup.py

Spark Dataframe – Python – cuenta subcadenas en cadena

Tengo un dataframe de Spark con una columna (“productos_asignados”) de tipo cadena que contiene valores como los siguientes: 

"POWER BI PRO+Power BI (free)+AUDIO CONFERENCING+OFFICE 365 ENTERPRISE E5 WITHOUT AUDIO CONFERENCING"

Me gustaría contar las ocurrencias de "+" en la cadena y devolver ese valor en una nueva columna.

Intenté lo siguiente, pero sigo devolviendo errores. 

 from pyspark.sql.functions import col DF.withColumn('Number_Products_Assigned', col("assigned_products").count("+"))

Estoy ejecutando mi código en Azure Databricks en un clúster que ejecuta Apache Spark 2.3.1.

Aquí hay una solución no udf. Divida su cadena en el carácter que intenta contar y el valor que desea es la longitud de la matriz resultante menos 1: 

 from pyspark.sql.functions import col, size, split DF.withColumn('Number_Products_Assigned', size(split(col("assigned_products"), r"\+")) - 1)

Tienes que escapar del + porque es un carácter regex especial. 

 +--------------------+------------------------+ | assigned_products|Number_Products_Assigned| +--------------------+------------------------+ |POWER BI PRO+Powe...| 3| +--------------------+------------------------+ 
 from pyspark.sql.functions import col,udf @udf(returnType='int') def cnt(s): return s.count('+') DF.withColumn('Number_Products_Assigned', cnt(col("assigned_products")))