Articles of flujo de

TensorFlow – ¿Importando datos desde un archivo TensorBoard TFEvent?

He ejecutado varias sesiones de entrenamiento con diferentes gráficos en TensorFlow. Los resúmenes que preparé muestran resultados interesantes en la capacitación y validación. Ahora, me gustaría tomar los datos que he guardado en los registros de resumen y realizar algunos análisis estadísticos y en el gráfico general y ver los datos de resumen de diferentes […]

Entrenamiento de registro y pérdida de validación en tensorboard

Estoy tratando de aprender a usar tensorflow y tensorboard. Tengo un proyecto de prueba basado en el tutorial de neural network MNIST . En mi código, construyo un nodo que calcula la fracción de dígitos en un conjunto de datos que se clasifican correctamente, como esto: correct = tf.nn.in_top_k(self._logits, labels, 1) correct = tf.to_float(correct) accuracy […]

Resumen escalar de Tensorflow a texto legible por humanos

Quiero inspeccionar todos los valores de un escalar en mi archivo de eventos. No quiero que las estadísticas agregadas sean devueltas por tensorboard –inspect –event_file –tag Quiero toda la información suficiente para reconstruir el gráfico escalar (es decir, los pares ordenados (x, y) no resumidos). ¿Cómo puedo hacer esto con tensorboard o con la API […]

Python: flujo tarfile

Me gustaría leer algunos archivos de un archivo comprimido y guardarlo en un archivo nuevo. Este es el código que escribí. archive = ‘dum/2164/archive.tar’ # Read input data. input_tar = tarfile.open(archive, ‘r|’) tarinfo = input_tar.next() input_tar.close() # Write output file. output_tar = tarfile.open(‘foo.tar’, ‘w|’) output_tar.addfile(tarinfo) output_tar.close() Desafortunadamente, el tarball de salida no es bueno: $ […]

Listar los archivos en una carpeta como una secuencia para comenzar el proceso inmediatamente

Me sale una carpeta con 1 millón de archivos en ella. Me gustaría comenzar el proceso de inmediato, cuando se enumeran los archivos en esta carpeta, en Python u otro idioma del script. Las funciones habituales (os.listdir en python …) están bloqueadas y mi progtwig tiene que esperar al final de la lista, lo que […]

¿Cómo leer el primer byte de la salida estándar de un subproceso y luego descartar el rest en Python?

Me gustaría leer el primer byte del stdout de un subproceso para saber que ha comenzado a ejecutarse. Después de eso, me gustaría descartar toda salida posterior, para no tener que preocuparme por el búfer. ¿Cuál es la mejor manera de hacer esto? Aclaración: me gustaría que el subproceso continúe ejecutándose junto con mi progtwig, […]

¿Cómo crear un conjunto de datos de tensorflow a partir de un DataFrame con columnas vectoriales?

Así que tengo algunos datos de tren en un archivo csv train.csv con el siguiente formato: x;y;type [1,2,3];[2,3,4];A [2,7,9];[0,1,2];B Este archivo se analiza como un pd.DataFrame con lo siguiente: CSV_COLUMN_NAMES = [‘x’, ‘y’, ‘type’] train = pd.read_csv(“train.csv”, names=CSV_COLUMN_NAMES, header=0, delimiter=”;”) train[‘x’] = train[‘x’].apply(literal_eval) train[‘y’] = train[‘y’].apply(literal_eval) Hasta ahora tan bueno. La función literal_eval se aplica […]

Convirtiendo Tensorflow Graph para usar Estimator, obtenga ‘TypeError: tipo de datos no entendido’ en función de pérdida usando `sampled_softmax_loss` o` nce_loss`

Estoy tratando de convertir la implementación de word2vec básica oficial de Tensorflow para usar tf.Estimator. El problema es que la función de pérdida ( sampled_softmax_loss o nce_loss ) da un error cuando se utilizan estimadores de Tensorflow. Funciona perfectamente bien en la implementación original. Aquí está la implementación básica oficial de word2vec de Tensorflow: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/word2vec/word2vec_basic.py […]

TensorFlow 1.10+ estimador personalizado que se detiene pronto con train_and_evaluate

Supongamos que está entrenando un tf.estimator.Estimator personalizado con tf.estimator.train_and_evaluate utilizando un conjunto de datos de validación en una configuración similar a la de @ simlmx : classifier = tf.estimator.Estimator( model_fn=model_fn, model_dir=model_dir, params=params) train_spec = tf.estimator.TrainSpec( input_fn = training_data_input_fn, ) eval_spec = tf.estimator.EvalSpec( input_fn = validation_data_input_fn, ) tf.estimator.train_and_evaluate( classifier, train_spec, eval_spec ) A menudo, uno usa […]

Utilizando Python, ¿cómo puedo leer / escribir datos en la memoria como lo haría con un archivo?

Estoy acostumbrado a C ++, y compilo mis clases / funciones de manejo de datos para manejar objetos de flujo en lugar de archivos. Me gustaría saber cómo puedo modificar el siguiente código, para que pueda manejar una secuencia de datos binarios en la memoria, en lugar de un identificador de archivo. def get_count(self): curr […]