Cómo calcular la similitud de jaccard a partir de un dataframe de pandas

Tengo un dataframe de la siguiente manera: la forma del marco es (1510, 1399). Las columnas representan productos, las filas representan los valores (0 o 1) asignados por un usuario para un producto determinado. ¿Cómo puedo calcular un jaccard_similarity_score?

introduzca la descripción de la imagen aquí

Creé un cuadro de datos de marcador de posición que enumera producto contra producto

data_ibs = pd.DataFrame(index=data_g.columns,columns=data_g.columns) 

No estoy seguro de cómo iterar data_ibs para calcular similitudes.

 for i in range(0,len(data_ibs.columns)) : # Loop through the columns for each column for j in range(0,len(data_ibs.columns)) : ......... 

Respuesta corta y vectorizada (rápida):

Use ‘hamming’ desde las distancias pareadas de scikit y aprenda:

 from sklearn.metrics.pairwise import pairwise_distances jac_sim = 1 - pairwise_distances(df.T, metric = "hamming") # optionally convert it to a DataFrame jac_sim = pd.DataFrame(jac_sim, index=df.columns, columns=df.columns) 

Explicación:

Supongamos que este es su conjunto de datos:

 import pandas as pd import numpy as np np.random.seed(0) df = pd.DataFrame(np.random.binomial(1, 0.5, size=(100, 5)), columns=list('ABCDE')) print(df.head()) ABCDE 0 1 1 1 1 0 1 1 0 1 1 0 2 1 1 1 1 0 3 0 0 1 1 1 4 1 1 0 1 0 

Usando el jaccard_similarity_score de sklearn, la similitud entre las columnas A y B es:

 from sklearn.metrics import jaccard_similarity_score print(jaccard_similarity_score(df['A'], df['B'])) 0.43 

Este es el número de filas que tienen el mismo valor sobre el número total de filas, 100.

Por lo que sé, no hay una versión de pares de jaccard_similarity_score pero sí hay versiones de pares de distancias.

Sin embargo, SciPy define la distancia Jaccard de la siguiente manera:

Dados dos vectores, u y v, la distancia Jaccard es la proporción de los elementos u [i] yv [i] que no están de acuerdo en que al menos uno de ellos es distinto de cero.

Así que excluye las filas donde ambas columnas tienen 0 valores. jaccard_similarity_score no lo hace. La distancia de Hamming, por otro lado, está en línea con la definición de similitud:

La proporción de esos elementos vectoriales entre dos vectores n y u que no están de acuerdo.

Así que si quieres calcular jaccard_similarity_score, puedes usar 1 – hamming:

 from sklearn.metrics.pairwise import pairwise_distances print(1 - pairwise_distances(df.T, metric = "hamming")) array([[ 1. , 0.43, 0.61, 0.55, 0.46], [ 0.43, 1. , 0.52, 0.56, 0.49], [ 0.61, 0.52, 1. , 0.48, 0.53], [ 0.55, 0.56, 0.48, 1. , 0.49], [ 0.46, 0.49, 0.53, 0.49, 1. ]]) 

En un formato DataFrame:

 jac_sim = 1 - pairwise_distances(df.T, metric = "hamming") jac_sim = pd.DataFrame(jac_sim, index=df.columns, columns=df.columns) # jac_sim = np.triu(jac_sim) to set the lower diagonal to zero # jac_sim = np.tril(jac_sim) to set the upper diagonal to zero ABCDE A 1.00 0.43 0.61 0.55 0.46 B 0.43 1.00 0.52 0.56 0.49 C 0.61 0.52 1.00 0.48 0.53 D 0.55 0.56 0.48 1.00 0.49 E 0.46 0.49 0.53 0.49 1.00 

Puedes hacer lo mismo iterando sobre combinaciones de columnas, pero será mucho más lento.

 import itertools sim_df = pd.DataFrame(np.ones((5, 5)), index=df.columns, columns=df.columns) for col_pair in itertools.combinations(df.columns, 2): sim_df.loc[col_pair] = sim_df.loc[tuple(reversed(col_pair))] = jaccard_similarity_score(df[col_pair[0]], df[col_pair[1]]) print(sim_df) ABCDE A 1.00 0.43 0.61 0.55 0.46 B 0.43 1.00 0.52 0.56 0.49 C 0.61 0.52 1.00 0.48 0.53 D 0.55 0.56 0.48 1.00 0.49 E 0.46 0.49 0.53 0.49 1.00