Articles of lstm

LSTM Autoencoder para predicción de series de tiempo

Estoy tratando de construir un autocodificador LSTM para predecir los datos de la serie temporal. Como soy nuevo en Python, tengo errores en la parte de deencoding. Intenté construirlo como aquí y Keras . No pude entender la diferencia entre los ejemplos dados en absoluto. El código que tengo ahora se ve como: Pregunta 1: […]

¿Cómo extraer el estado celular y el estado oculto de un modelo RNN en tensorflow?

Soy nuevo en TensorFlow y tengo dificultades para entender el módulo RNN. Estoy intentando extraer estados ocultos / celulares de un LSTM. Para mi código, estoy usando la implementación de https://github.com/aymericdamien/TensorFlow-Examples . # tf Graph input x = tf.placeholder(“float”, [None, n_steps, n_input]) y = tf.placeholder(“float”, [None, n_classes]) # Define weights weights = {‘out’: tf.Variable(tf.random_normal([n_hidden, n_classes]))} […]

Predecir la siguiente palabra utilizando el ejemplo de tensorflow del modelo ptb LSTM

Estoy tratando de usar el modelo tensorflow LSTM para hacer predicciones de la siguiente palabra. Como se describe en esta pregunta relacionada (que no tiene una respuesta aceptada), el ejemplo contiene pseudocódigo para extraer las siguientes probabilidades de palabras: lstm = rnn_cell.BasicLSTMCell(lstm_size) # Initial state of the LSTM memory. state = tf.zeros([batch_size, lstm.state_size]) loss = […]

¿Cómo lidiar con lotes con secuencias de longitud variable en TensorFlow?

Estaba intentando usar un RNN (específicamente, LSTM) para la predicción de secuencia. Sin embargo, me encontré con un problema con longitudes de secuencia variables. Por ejemplo, sent_1 = “I am flying to Dubain” sent_2 = “I was traveling from US to Dubai” Estoy tratando de predecir la siguiente palabra después de la actual con un […]

Forma de entrada de neural network LSTM desde el dataframe

Estoy tratando de implementar un LSTM con Keras . Sé que los LSTM en Keras requieren un tensor 3D con forma (nb_samples, timesteps, input_dim) como entrada. Sin embargo, no estoy completamente seguro de cómo debería ser la entrada en mi caso, ya que tengo solo una muestra de observaciones T para cada entrada, no muestras […]

¿Cómo creo lotes rellenados en Tensorflow para los datos tf.train.SequenceExample utilizando la API DataSet?

Para entrenar un modelo LSTM en Tensorflow , he estructurado mis datos en un formato tf.train.SequenceExample y los he almacenado en un archivo TFRecord . Ahora me gustaría usar la nueva API DataSet para generar lotes rellenados para la capacitación . En la documentación hay un ejemplo para usar padded_batch, pero para mis datos no […]

Cómo interpretar pesos en una capa LSTM en Keras

Actualmente estoy entrenando una neural network recurrente para el pronóstico del tiempo, utilizando una capa LSTM. La red en sí es bastante simple y se parece aproximadamente a esto: model = Sequential() model.add(LSTM(hidden_neurons, input_shape=(time_steps, feature_count), return_sequences=False)) model.add(Dense(feature_count)) model.add(Activation(“linear”)) Los pesos de la capa LSTM tienen las siguientes formas: for weight in model.get_weights(): # weights from […]

Cómo calcular la perplejidad de RNN en tensorflow

Estoy ejecutando la implementación de la palabra RNN del flujo tensor de la palabra RNN Cómo calcular la perplejidad de RNN. A continuación se muestra el código de entrenamiento que muestra la pérdida de entrenamiento y otras cosas en cada época: for e in range(model.epoch_pointer.eval(), args.num_epochs): sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e))) data_loader.reset_batch_pointer() state = […]

TensorFlow: Recuerde el estado LSTM para el siguiente lote (LSTM con estado)

Dado un modelo LSTM entrenado, quiero realizar una inferencia para seq_length = 1 individuales, es decir, seq_length = 1 en el siguiente ejemplo. Después de cada paso de tiempo, los estados LSTM internos (memoria y ocultos) deben recordarse para el siguiente ‘lote’. Para el comienzo de la inferencia, los estados LSTM internos init_c, init_h se […]

Entendiendo Keras LSTMs

Estoy tratando de conciliar mi comprensión de los LSTM y lo señalado aquí en este post de Christopher Olah implementado en Keras. Estoy siguiendo el blog escrito por Jason Brownlee para el tutorial de Keras. Sobre lo que estoy confundido principalmente es, La remodelación de la serie de datos en [samples, time steps, features] y, […]