Desarrollo de Python
  1. Desarrollo de Python
  3. Apache Spark Python Cosine Similitud sobre DataFrames
Intereting Posts
Python guardando archivos JSON como UTF-8 Deshabilitar la salida del registrador de raíz lista de todas las rutas desde la fuente hasta el sumidero en un gráfico acíclico dirigido ¿Por qué se calculan las fechas del 1 de enero de 1970? ¿Comparando Ninguno con tipos incorporados usando operadores aritméticos? ¿Cómo contar el paquete de respuesta ARP por minuto? Pip se cuelga en Windows 7 Detectando enteros consecutivos en una lista ¿Por qué añadiría python a PATH? Python multilínea con statement Error al cargar ipython qtconsole El subproceso del módulo no tiene el atributo ‘STARTF_USESHOWWINDOW’ ValueError: error de dominio matemático Tomando rápida captura de pantalla Winapi y Opencv ¿Cómo puedo monitorear los botones Tkinter cuando Python está ocupado?

Apache Spark Python Cosine Similitud sobre DataFrames

Para un sistema de recomendación, necesito calcular la similitud de coseno entre todas las columnas de todo un Spark DataFrame.

En Pandas solía hacer esto: 

import sklearn.metrics as metrics import pandas as pd df= pd.DataFrame(...some dataframe over here :D ...) metrics.pairwise.cosine_similarity(df.T,df.T)

Eso genera la Matriz de Similitud entre las columnas (ya que usé la transposición)

¿Hay alguna manera de hacer lo mismo en Spark (Python)?

(Necesito aplicar esto a una matriz compuesta de decenas de millones de filas y miles de columnas, por eso necesito hacerlo en Spark)

Puede usar el método columnSimilarities() en un RowMatrix , que puede calcular las similitudes exactas del coseno, o estimarlo usando el método DIMSUM , que será considerablemente más rápido para conjuntos de datos más grandes. La diferencia en el uso es que para este último, deberá especificar un threshold .

Aquí hay un pequeño ejemplo reproducible: 

 from pyspark.mllib.linalg.distributed import RowMatrix rows = sc.parallelize([(1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12)]) # Convert to RowMatrix mat = RowMatrix(rows) # Calculate exact and approximate similarities exact = mat.columnSimilarities() approx = mat.columnSimilarities(0.05) # Output exact.entries.collect() [MatrixEntry(0, 2, 0.991935352214), MatrixEntry(1, 2, 0.998441152599), MatrixEntry(0, 1, 0.997463284056)]