Soy nuevo en scikit-learn, y estaba usando TfidfVectorizer para encontrar los valores tfidf de los términos en un conjunto de documentos. Utilicé el siguiente código para obtener el mismo. vectorizer = TfidfVectorizer(stop_words=u’english’,ngram_range=(1,5),lowercase=True) X = vectorizer.fit_transform(lectures) Ahora, si imprimo X, puedo ver todas las entradas en la matriz, pero ¿cómo puedo encontrar las mejores n entradas […]
Tengo un archivo csv como col1 col2 col3 some text someID some value some text someID some value en cada fila, col1 corresponde al texto de un documento completo. Me gustaría crear un corpus a partir de este csv. mi objective es utilizar TfidfVectorizer de sklearn para calcular la similitud de documentos y la extracción […]
Hay implementaciones de TF-IDF en scikit-learn y gensim . Existen implementaciones simples Implementación simple de N-Gram, tf-idf y la similitud de coseno en Python Para evitar reinventar la rueda, ¿Realmente no hay TF-IDF en NLTK? ¿Existen subpaquetes que podamos manipular para implementar TF-IDF en NLTK? Si hay como? En este blogpost, dice que NLTK no […]
from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer() vectorizer = vectorizer.fit(word_data) freq_term_mat = vectorizer.transform(word_data) from sklearn.feature_extraction.text import TfidfTransformer tfidf = TfidfTransformer(norm=”l2″) tfidf = tfidf.fit(freq_term_mat) Ttf_idf_matrix = tfidf.transform(freq_term_mat) voc_words = Ttf_idf_matrix.getfeature_names() print “The num of words = “,len(voc_words) cuando ejecuto el progtwig que contiene este fragmento de código, aparece el siguiente error: Seguimiento (última llamada más reciente): […]
Tengo una lista de vocabulario que incluye n-gtwigs de la siguiente manera. myvocabulary = [‘tim tam’, ‘jam’, ‘fresh milk’, ‘chocolates’, ‘biscuit pudding’] Quiero usar estas palabras para calcular los valores de TF-IDF. También tengo un diccionario de corpus como sigue (clave = número de receta, valor = receta). corpus = {1: “making chocolates biscuit pudding […]
El TfidfVectorizer de Scikit-Learn convierte una colección de documentos sin procesar en una matriz de características de TF-IDF. En lugar de documentos en bruto, me gustaría convertir una matriz de nombres de características a características de TF-IDF. El corpus que alimenta fit_transform() se supone que es una matriz de documentos en bruto, pero en su […]
Tengo un TfidfVectorizer que vectoriza la colección de artículos seguido de la selección de características. vectroizer = TfidfVectorizer() X_train = vectroizer.fit_transform(corpus) selector = SelectKBest(chi2, k = 5000 ) X_train_sel = selector.fit_transform(X_train, y_train) Ahora, quiero guardar esto y usarlo en otros progtwigs. No quiero volver a ejecutar el TfidfVectorizer() y el selector de funciones en el […]
Bueno, he estado siguiendo estas dos publicaciones en TF * IDF pero estoy un poco confundido: http://css.dzone.com/articles/machine-learning-text-feature Básicamente, quiero crear una consulta de búsqueda que contenga búsquedas a través de varios documentos. Me gustaría usar el kit de herramientas scikit-learn, así como la biblioteca NLTK para Python El problema es que no veo de dónde […]
Encontré el siguiente código en Internet para calcular TFIDF: https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py Agregué “1+” en la función def idf (word, documentList) para no dividirme por 0 error: return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList)))) Pero estoy confundido por dos cosas: Obtengo valores negativos en algunos casos, ¿es correcto? Estoy confundido con la línea 62, 63 y 64. Código: […]
Estoy usando sklearn en Python para hacer algunos agrupamientos. He entrenado 200,000 datos, y el código a continuación funciona bien. corpus = open(“token_from_xml.txt”) vectorizer = CountVectorizer(decode_error=”replace”) transformer = TfidfTransformer() tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus)) km = KMeans(30) kmresult = km.fit(tfidf).predict(tfidf) Pero cuando tengo nuevo contenido de prueba, me gustaría agruparlo a los clústeres existentes que había entrenado. […]