Soy nuevo en tensorflow y en word2vec. Acabo de estudiar word2vec_basic.py que entrena el modelo usando el algoritmo Skip-Gram . Ahora quiero entrenar usando el algoritmo CBOW . ¿Es cierto que esto se puede lograr si simplemente train_inputs las train_inputs y train_labels ?
Soy nuevo en doc2vec. Inicialmente estaba tratando de entender doc2vec y se menciona a continuación mi código que usa Gensim. Como quiero, recibo un modelo entrenado y documentos de vectores para los dos documentos. Sin embargo, me gustaría saber los beneficios de volver a entrenar el modelo en varias épocas y cómo hacerlo en Gensim. […]
Soy nuevo en Tensorflow. Estoy ejecutando una asignación de aprendizaje profundo de Udacity en la notebook iPython. enlazar Y tiene un error. AttributeError Traceback (most recent call last) “ in “() 2 3 with tf.Session(graph=graph) as session: —-> 4 tf.global_variables_initializer().run() AttributeError: ‘module’ object has no attribute ‘global_variables_initializer’ ¡Por favor ayuda! ¿Cómo puedo arreglar esto? Gracias.
He estado tratando de entender el código de muestra con https://www.tensorflow.org/tutorials/recurrent que puede encontrar en https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb /ptb_word_lm.py (Utilizando tensorflow 1.3.0.) He resumido (lo que creo que son) las partes clave, para mi pregunta, a continuación: size = 200 vocab_size = 10000 layers = 2 # input_.input_data is a 2D tensor [batch_size, num_steps] of # word […]
Tengo una lista de ~ 10 millones de oraciones, donde cada una de ellas contiene hasta 70 palabras. Estoy ejecutando gensim word2vec en cada palabra y luego tomando el promedio simple de cada oración. El problema es que uso min_count = 1000, por lo que muchas palabras no están en el vocabulario. Para resolver eso, […]
Estoy pensando en entrenar word2vec en datos a gran escala de más de 10 TB + de tamaño en el volcado de rastreo web. Personalmente entrené la implementación de GoogleNews-2012 dump (1.5 gb) en mi iMac, me tomó aproximadamente 3 horas entrenar y generar vectores (impresionados por la velocidad). Sin embargo, no probé la implementación […]
Actualmente estoy trabajando en el modelo word2vec usando gensim en Python, y quiero escribir una función que pueda ayudarme a encontrar los antónimos y sinónimos de una palabra determinada. Por ejemplo: antonimo (“triste”) = “feliz” sinónimo (“molesto”) = “enfurecido” ¿Hay una manera de hacer eso en word2vec?
Estoy tratando de obtener los bigtwigs en las oraciones usando Frases en Gensim de la siguiente manera. from gensim.models import Phrases from gensim.models.phrases import Phraser documents = [“the mayor of new york was there”, “machine learning can be useful sometimes”,”new york mayor was present”] sentence_stream = [doc.split(” “) for doc in documents] #print(sentence_stream) bigram = […]
Estoy tratando de guardar un word2vec en un archivo. model = Word2Vec(sentences, size=vector_size, window=5, min_count=5, workers=4) fo = open(“foo.txt”, “wb”) model.save(fo) Estoy recibiendo el siguiente error en genericpath.py File “word2Vec_impl.py”, line 39, in model.save(fo, separately=None) File “C:\Python27\lib\site-packages\gensim\models\word2vec.py”, line 669, in s ave super(Word2Vec, self).save(*args, **kwargs) File “C:\Python27\lib\site-packages\gensim\utils.py”, line 269, in save pickle(self, fname) File “C:\Python27\lib\site-packages\gensim\utils.py”, […]
¿Cómo puedo cargar una inserción de palabras pre-entrenada en una capa de Embedding Keras? Descargué el archivo glove.6B.50d.txt (glove.6B.zip de https://nlp.stanford.edu/projects/glove/ ) y no estoy seguro de cómo agregarlo a una capa de incrustación Keras. Ver: https://keras.io/layers/embeddings/