Desarrollo de Python
  1. Desarrollo de Python
  3. Apache Spark Python Cosine Similitud sobre DataFrames
Intereting Posts
Procesamiento de resultados de las columnas SQLAlchemy ¿Cuál es la forma más precisa de distinguir uno de los 8 colores? Convertir recursivamente el gráfico de objetos de Python al diccionario Encuentra la diferencia de fase entre dos ondas (inarmónicas) ¿Puedo volver a vincular el entendido python a la nueva versión de openssl en Mac OS X? (Python 3) Cómo pasar un archivo binario como texto sin guardar primero Un sencillo paquete de herramientas de instalación Hello World e instalarlo con pip ¿Cómo evitar la construcción de una biblioteca C con mi paquete python? Python: obtener la longitud de cadena correcta cuando contiene pares sustitutos En Python 2.7, ¿cómo invalido la representación de cadena de una sola función? Python: ¿Cómo hacer un pedido personalizado de una lista? Python: ¿Cómo puedo leer los caracteres de una línea en un archivo y convertirlos a flotantes y strs, dependiendo de si son números o letras? Python Pandas reemplazan múltiples columnas cero a Nan Un simple problema de implementación de Python – todo un mundo de dolor Instalando wxpython en ubuntu 14.04

Apache Spark Python Cosine Similitud sobre DataFrames

Para un sistema de recomendación, necesito calcular la similitud de coseno entre todas las columnas de todo un Spark DataFrame.

En Pandas solía hacer esto: 

import sklearn.metrics as metrics import pandas as pd df= pd.DataFrame(...some dataframe over here :D ...) metrics.pairwise.cosine_similarity(df.T,df.T)

Eso genera la Matriz de Similitud entre las columnas (ya que usé la transposición)

¿Hay alguna manera de hacer lo mismo en Spark (Python)?

(Necesito aplicar esto a una matriz compuesta de decenas de millones de filas y miles de columnas, por eso necesito hacerlo en Spark)

Puede usar el método columnSimilarities() en un RowMatrix , que puede calcular las similitudes exactas del coseno, o estimarlo usando el método DIMSUM , que será considerablemente más rápido para conjuntos de datos más grandes. La diferencia en el uso es que para este último, deberá especificar un threshold .

Aquí hay un pequeño ejemplo reproducible: 

 from pyspark.mllib.linalg.distributed import RowMatrix rows = sc.parallelize([(1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12)]) # Convert to RowMatrix mat = RowMatrix(rows) # Calculate exact and approximate similarities exact = mat.columnSimilarities() approx = mat.columnSimilarities(0.05) # Output exact.entries.collect() [MatrixEntry(0, 2, 0.991935352214), MatrixEntry(1, 2, 0.998441152599), MatrixEntry(0, 1, 0.997463284056)]