Articles of recurrent neural network

Clasificar secuencias de diferentes longitudes

A pesar de analizar varios ejemplos , todavía no entiendo cómo clasificar secuencias de diferente longitud utilizando Keras, de forma similar a esta pregunta . Puedo entrenar una red que detecta frecuencias de sinusoides con longitud variable, mediante el enmascaramiento: from keras import models from keras.layers.recurrent import LSTM from keras.layers import Dense, Masking from keras.optimizers […]

¿Cómo lidiar con lotes con secuencias de longitud variable en TensorFlow?

Estaba intentando usar un RNN (específicamente, LSTM) para la predicción de secuencia. Sin embargo, me encontré con un problema con longitudes de secuencia variables. Por ejemplo, sent_1 = “I am flying to Dubain” sent_2 = “I was traveling from US to Dubai” Estoy tratando de predecir la siguiente palabra después de la actual con un […]

¿Cómo usar el ejemplo del modelo PTB de Tensorflow?

Estoy probando el ejemplo rnn de Tensorflow . Con algunos problemas al inicio, podría ejecutar el ejemplo para entrenar el ptb y ahora tengo un modelo entrenado. ¿Cómo uso exactamente el modelo ahora para crear oraciones sin tener que entrenarme cada vez más? Lo estoy ejecutando con un comando como python ptb_word_lm.py –data_path=/home/data/ –model medium […]

Tensorflow: cómo pasar la salida del paso de tiempo anterior como entrada al siguiente paso de tiempo

Es un duplicado de esta pregunta ¿Cómo puedo alimentar la última salida y (t-1) como entrada para generar y (t) en el Tensorflow RNN? Quiero pasar la salida de RNN en el paso de tiempo T como la entrada en el paso de tiempo T + 1. input_RNN(T+1) = output_RNN(T) Según la documentación, las funciones […]

Obtenga la última salida de dynamic_rnn en TensorFlow

Tengo un tensor de forma tridimensional [batch, None, dim] donde se desconoce la segunda dimensión, es decir, los pasos de tiempo. Uso dynamic_rnn para procesar dicha entrada, como en el siguiente fragmento de código: import numpy as np import tensorflow as tf batch = 2 dim = 3 hidden = 4 lengths = tf.placeholder(dtype=tf.int32, shape=[batch]) […]

TensorFlow dynamic_rnn state

Mi pregunta es sobre el método TensorFlow tf.nn.dynamic_rnn . Devuelve la salida de cada paso de tiempo y el estado final. Me gustaría saber si el estado final devuelto es el estado de la celda en la longitud de secuencia máxima o si se determina individualmente por el argumento de sequence_length . Para comprender mejor […]

Cómo calcular la perplejidad de RNN en tensorflow

Estoy ejecutando la implementación de la palabra RNN del flujo tensor de la palabra RNN Cómo calcular la perplejidad de RNN. A continuación se muestra el código de entrenamiento que muestra la pérdida de entrenamiento y otras cosas en cada época: for e in range(model.epoch_pointer.eval(), args.num_epochs): sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e))) data_loader.reset_batch_pointer() state = […]

TensorFlow: Recuerde el estado LSTM para el siguiente lote (LSTM con estado)

Dado un modelo LSTM entrenado, quiero realizar una inferencia para seq_length = 1 individuales, es decir, seq_length = 1 en el siguiente ejemplo. Después de cada paso de tiempo, los estados LSTM internos (memoria y ocultos) deben recordarse para el siguiente ‘lote’. Para el comienzo de la inferencia, los estados LSTM internos init_c, init_h se […]

Error al verificar la entrada del modelo: se esperaba que lstm_1_input tuviera 3 dimensiones, pero tenía una matriz con forma (339732, 29)

Mi entrada es simplemente un archivo csv con 339732 filas y dos columnas: El primero es 29 valores de características, es decir, X el segundo es un valor de etiqueta binaria, es decir, Y Estoy tratando de entrenar mis datos en un modelo LSTM astackdo: data_dim = 29 timesteps = 8 num_classes = 2 model […]