Articles of tensorflow datasets

¿Cómo utilizar los iteradores inicializables de tf.data dentro de un input_fn de tf.estimator?

Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]

Error de flujo tensor: no compatible

Sigo el tutorial https://www.tensorflow.org/tutorials/layers y quiero usarlo para usar mi propio conjunto de datos. def train_input_fn_custom(filenames_array, labels_array, batch_size): # Reads an image from a file, decodes it into a dense tensor, and resizes it to a fixed shape. def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_png(image_string, channels=1) image_resized = tf.image.resize_images(image_decoded, [40, 40]) return image_resized, […]

¿Cómo puedo devolver el mismo lote dos veces desde un iterador de conjunto de datos de tensorflow?

Estoy convirtiendo algo de código heredado para usar la API de conjunto de datos: este código utiliza feed_dict para alimentar un lote a la operación del tren (en realidad tres veces) y luego vuelve a calcular las pérdidas para mostrar usando el mismo lote . Así que necesito tener un iterador que devuelva exactamente el […]

Al usar la línea de datos del conjunto de datos de tensorflow, ¿cómo * nombre * los resultados de una operación `map`?

Tengo la función de mapa a continuación (ejemplo ejecutable), que ingresa una string y genera una string y un integer . en tf.data.Dataset.from_tensor_slices nombré la entrada original ‘filenames’ . Pero cuando devuelvo los valores de la función de mapa map_element_counts solo puedo devolver una tupla (devolver un diccionario genera una excepción). ¿Hay alguna forma de […]

¿Cómo se devuelven las predicciones Y las tags con tf.estimator (ya sea con el método de predicción o con el de evaluación)?

Estoy trabajando con Tensorflow 1.4. Creé un tf.estimator personalizado para hacer una clasificación, como esto: def model_fn(): # Some operations here […] return tf.estimator.EstimatorSpec(mode=mode, predictions={“Preds”: predictions}, loss=cost, train_op=loss, eval_metric_ops=eval_metric_ops, training_hooks=[summary_hook]) my_estimator = tf.estimator.Estimator(model_fn=model_fn, params=model_params, model_dir=’/my/directory’) Puedo entrenarlo fácilmente: input_fn = create_train_input_fn(path=train_files) my_estimator.train(input_fn=input_fn) donde input_fn es una función que lee datos de archivos tfrecords , con […]

Cómo usar py_func con una función que devuelve dict

Estoy escribiendo un tf.data.Dataset entrada usando tf.data.Dataset . Me gustaría usar el código de Python para cargar y transformar mis muestras, el código devuelve un diccionario de tensores. Desafortunadamente, no veo cómo puedo definir eso como el tipo de salida que se pasa a tf.py_func . Tengo una solución alternativa donde mi función devuelve la […]

Cómo utilizar el generador de Keras con tf.data API

Estoy tratando de usar el generador que se encuentra en la biblioteca de preprocesamiento de Keras. Quería experimentar con esto ya que Keras proporciona excelentes funciones para el aumento de imágenes. Sin embargo, no estoy seguro de si esto es realmente posible. Aquí es cómo hice un conjunto de datos tf desde el generador de […]

Ventana deslizante de un lote en Tensorflow utilizando la API de conjunto de datos

¿Hay alguna forma de modificar la composición de mis imágenes dentro de un lote? En este momento, cuando estoy creando, por ejemplo, un lote con el tamaño de 4, mis lotes se verán así: Lote1: [Img0 Img1 Img2 Img3] Lote2: [Img4 Img5 Img6 Img7] Necesito modificar la composición de mis lotes para que solo se […]

Tensorflow 1.10 TFRecordDataset – recuperando TFRecords

Notas: esta pregunta se extiende sobre una anterior pregunta mía . En esa pregunta, pregunto cuál es la mejor manera de almacenar algunos datos ficticios como Example y SequenceExample para saber cuál es mejor para los datos similares a los datos ficticios proporcionados. Proporciono tanto formulaciones explícitas de la construcción Example y SequenceExample como también, […]

En la API del conjunto de datos de Tensorflow, ¿cómo se asigna un elemento a varios elementos?

En el flujo de Dataset del conjunto de Dataset tensorflow, me gustaría definir una función de mapa personalizada que tome un solo elemento de entrada (muestra de datos) y devuelva varios elementos (muestras de datos). El código a continuación es mi bash, junto con los resultados deseados. No pude seguir la documentación en tf.data.Dataset().flat_map() suficientemente […]