Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]
Sigo el tutorial https://www.tensorflow.org/tutorials/layers y quiero usarlo para usar mi propio conjunto de datos. def train_input_fn_custom(filenames_array, labels_array, batch_size): # Reads an image from a file, decodes it into a dense tensor, and resizes it to a fixed shape. def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_png(image_string, channels=1) image_resized = tf.image.resize_images(image_decoded, [40, 40]) return image_resized, […]
Estoy convirtiendo algo de código heredado para usar la API de conjunto de datos: este código utiliza feed_dict para alimentar un lote a la operación del tren (en realidad tres veces) y luego vuelve a calcular las pérdidas para mostrar usando el mismo lote . Así que necesito tener un iterador que devuelva exactamente el […]
Tengo la función de mapa a continuación (ejemplo ejecutable), que ingresa una string y genera una string y un integer . en tf.data.Dataset.from_tensor_slices nombré la entrada original ‘filenames’ . Pero cuando devuelvo los valores de la función de mapa map_element_counts solo puedo devolver una tupla (devolver un diccionario genera una excepción). ¿Hay alguna forma de […]
Estoy trabajando con Tensorflow 1.4. Creé un tf.estimator personalizado para hacer una clasificación, como esto: def model_fn(): # Some operations here […] return tf.estimator.EstimatorSpec(mode=mode, predictions={“Preds”: predictions}, loss=cost, train_op=loss, eval_metric_ops=eval_metric_ops, training_hooks=[summary_hook]) my_estimator = tf.estimator.Estimator(model_fn=model_fn, params=model_params, model_dir=’/my/directory’) Puedo entrenarlo fácilmente: input_fn = create_train_input_fn(path=train_files) my_estimator.train(input_fn=input_fn) donde input_fn es una función que lee datos de archivos tfrecords , con […]
Estoy escribiendo un tf.data.Dataset entrada usando tf.data.Dataset . Me gustaría usar el código de Python para cargar y transformar mis muestras, el código devuelve un diccionario de tensores. Desafortunadamente, no veo cómo puedo definir eso como el tipo de salida que se pasa a tf.py_func . Tengo una solución alternativa donde mi función devuelve la […]
Estoy tratando de usar el generador que se encuentra en la biblioteca de preprocesamiento de Keras. Quería experimentar con esto ya que Keras proporciona excelentes funciones para el aumento de imágenes. Sin embargo, no estoy seguro de si esto es realmente posible. Aquí es cómo hice un conjunto de datos tf desde el generador de […]
¿Hay alguna forma de modificar la composición de mis imágenes dentro de un lote? En este momento, cuando estoy creando, por ejemplo, un lote con el tamaño de 4, mis lotes se verán así: Lote1: [Img0 Img1 Img2 Img3] Lote2: [Img4 Img5 Img6 Img7] Necesito modificar la composición de mis lotes para que solo se […]
Notas: esta pregunta se extiende sobre una anterior pregunta mía . En esa pregunta, pregunto cuál es la mejor manera de almacenar algunos datos ficticios como Example y SequenceExample para saber cuál es mejor para los datos similares a los datos ficticios proporcionados. Proporciono tanto formulaciones explícitas de la construcción Example y SequenceExample como también, […]
En el flujo de Dataset del conjunto de Dataset tensorflow, me gustaría definir una función de mapa personalizada que tome un solo elemento de entrada (muestra de datos) y devuelva varios elementos (muestras de datos). El código a continuación es mi bash, junto con los resultados deseados. No pude seguir la documentación en tf.data.Dataset().flat_map() suficientemente […]