El TfidfVectorizer de Scikit-Learn convierte una colección de documentos sin procesar en una matriz de características de TF-IDF. En lugar de documentos en bruto, me gustaría convertir una matriz de nombres de características a características de TF-IDF. El corpus que alimenta fit_transform() se supone que es una matriz de documentos en bruto, pero en su […]
Tengo un TfidfVectorizer que vectoriza la colección de artículos seguido de la selección de características. vectroizer = TfidfVectorizer() X_train = vectroizer.fit_transform(corpus) selector = SelectKBest(chi2, k = 5000 ) X_train_sel = selector.fit_transform(X_train, y_train) Ahora, quiero guardar esto y usarlo en otros progtwigs. No quiero volver a ejecutar el TfidfVectorizer() y el selector de funciones en el […]
Bueno, he estado siguiendo estas dos publicaciones en TF * IDF pero estoy un poco confundido: http://css.dzone.com/articles/machine-learning-text-feature Básicamente, quiero crear una consulta de búsqueda que contenga búsquedas a través de varios documentos. Me gustaría usar el kit de herramientas scikit-learn, así como la biblioteca NLTK para Python El problema es que no veo de dónde […]
Encontré el siguiente código en Internet para calcular TFIDF: https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py Agregué “1+” en la función def idf (word, documentList) para no dividirme por 0 error: return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList)))) Pero estoy confundido por dos cosas: Obtengo valores negativos en algunos casos, ¿es correcto? Estoy confundido con la línea 62, 63 y 64. Código: […]
Estoy usando sklearn en Python para hacer algunos agrupamientos. He entrenado 200,000 datos, y el código a continuación funciona bien. corpus = open(“token_from_xml.txt”) vectorizer = CountVectorizer(decode_error=”replace”) transformer = TfidfTransformer() tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus)) km = KMeans(30) kmresult = km.fit(tfidf).predict(tfidf) Pero cuando tengo nuevo contenido de prueba, me gustaría agruparlo a los clústeres existentes que había entrenado. […]
Estoy trabajando en un corpus de ~ 100k trabajos de investigación. Estoy considerando tres campos: Texto sin formato título resumen Utilicé el TfIdfVectorizer para obtener una representación en TfIdf del campo de texto sin formato y alimentar el vocabulario originado de ese modo en los vectorizadores de título y resumen para asegurar que las tres […]
¿Cuáles son las implementaciones / api estándar de tf-idf disponibles en python? Me he encontrado con el de nltk. Quiero saber las otras bibliotecas que proporcionan esta característica.
Estoy tratando de calcular la similitud entre un conjunto de consultas y un conjunto de resultados para cada consulta. Me gustaría hacer esto usando las puntuaciones de tfidf y la similitud de coseno. El problema que tengo es que no puedo entender cómo generar una matriz tfidf usando dos columnas (en un dataframe de pandas). […]
Estoy implementando el algoritmo tf-idf en una aplicación web usando Python, sin embargo, se ejecuta extremadamente lento. Lo que básicamente hago es: 1) Crear 2 diccionarios: Primer diccionario: clave (identificación del documento), valor (lista de todas las palabras encontradas (incl. Repetidas) en el documento) Segundo diccionario; clave (ID de documento), valor (conjunto que contiene palabras […]
He estado trabajando con la clase CountVectorizer en scikit-learn. Entiendo que si se usa de la manera que se muestra a continuación, la salida final consistirá en una matriz que contiene conteos de características o tokens. Estos tokens se extraen de un conjunto de palabras clave, es decir, tags = [ “python, tools”, “linux, tools, […]