Articles of tensorflow datasets

¿Cómo mezclar conjuntos de datos desequilibrados para alcanzar una distribución deseada por etiqueta?

Estoy ejecutando mi neural network en ubuntu 16.04, con 1 GPU (GTX 1070) y 4 CPU. Mi conjunto de datos contiene alrededor de 35,000 imágenes, pero el conjunto de datos no está equilibrado: la clase 0 tiene un 90% y la clase 1,2,3,4 comparte el otro 10%. Por lo tanto, dataset.repeat(class_weight) exceso la clase 1-4 […]

Tensorflow: crea minibatch desde una matriz numpy> 2 GB

Estoy tratando de alimentar minibatches de matrices numpy a mi modelo, pero estoy atascado con el procesamiento por lotes. El uso de ‘tf.train.shuffle_batch’ genera un error porque la matriz de ‘imágenes’ es más grande que 2 GB. Intenté rodearlo y crear marcadores de posición, pero cuando trato de alimentar las matrices, todavía están representadas por […]

Restauración de un modelo entrenado con tf.estimator y alimentación de entrada a través de feed_dict

Entrené una red con t.estimador, el modelo se guardó durante el proceso de capacitación. Los archivos guardados consisten en .data , .index y .meta . Me gustaría volver a cargar este modelo y obtener predicciones para nuevas imágenes. Los datos se tf.data.Dataset al modelo durante el entrenamiento utilizando tf.data.Dataset . He seguido de cerca la […]

¿Cómo utilizar los iteradores inicializables de tf.data dentro de un input_fn de tf.estimator?

Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]

Error de flujo tensor: no compatible

Sigo el tutorial https://www.tensorflow.org/tutorials/layers y quiero usarlo para usar mi propio conjunto de datos. def train_input_fn_custom(filenames_array, labels_array, batch_size): # Reads an image from a file, decodes it into a dense tensor, and resizes it to a fixed shape. def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_png(image_string, channels=1) image_resized = tf.image.resize_images(image_decoded, [40, 40]) return image_resized, […]

¿Cómo puedo devolver el mismo lote dos veces desde un iterador de conjunto de datos de tensorflow?

Estoy convirtiendo algo de código heredado para usar la API de conjunto de datos: este código utiliza feed_dict para alimentar un lote a la operación del tren (en realidad tres veces) y luego vuelve a calcular las pérdidas para mostrar usando el mismo lote . Así que necesito tener un iterador que devuelva exactamente el […]

Al usar la línea de datos del conjunto de datos de tensorflow, ¿cómo * nombre * los resultados de una operación `map`?

Tengo la función de mapa a continuación (ejemplo ejecutable), que ingresa una string y genera una string y un integer . en tf.data.Dataset.from_tensor_slices nombré la entrada original ‘filenames’ . Pero cuando devuelvo los valores de la función de mapa map_element_counts solo puedo devolver una tupla (devolver un diccionario genera una excepción). ¿Hay alguna forma de […]

¿Cómo se devuelven las predicciones Y las tags con tf.estimator (ya sea con el método de predicción o con el de evaluación)?

Estoy trabajando con Tensorflow 1.4. Creé un tf.estimator personalizado para hacer una clasificación, como esto: def model_fn(): # Some operations here […] return tf.estimator.EstimatorSpec(mode=mode, predictions={“Preds”: predictions}, loss=cost, train_op=loss, eval_metric_ops=eval_metric_ops, training_hooks=[summary_hook]) my_estimator = tf.estimator.Estimator(model_fn=model_fn, params=model_params, model_dir=’/my/directory’) Puedo entrenarlo fácilmente: input_fn = create_train_input_fn(path=train_files) my_estimator.train(input_fn=input_fn) donde input_fn es una función que lee datos de archivos tfrecords , con […]

Cómo usar py_func con una función que devuelve dict

Estoy escribiendo un tf.data.Dataset entrada usando tf.data.Dataset . Me gustaría usar el código de Python para cargar y transformar mis muestras, el código devuelve un diccionario de tensores. Desafortunadamente, no veo cómo puedo definir eso como el tipo de salida que se pasa a tf.py_func . Tengo una solución alternativa donde mi función devuelve la […]

Cómo utilizar el generador de Keras con tf.data API

Estoy tratando de usar el generador que se encuentra en la biblioteca de preprocesamiento de Keras. Quería experimentar con esto ya que Keras proporciona excelentes funciones para el aumento de imágenes. Sin embargo, no estoy seguro de si esto es realmente posible. Aquí es cómo hice un conjunto de datos tf desde el generador de […]