Estoy ejecutando mi neural network en ubuntu 16.04, con 1 GPU (GTX 1070) y 4 CPU. Mi conjunto de datos contiene alrededor de 35,000 imágenes, pero el conjunto de datos no está equilibrado: la clase 0 tiene un 90% y la clase 1,2,3,4 comparte el otro 10%. Por lo tanto, dataset.repeat(class_weight) exceso la clase 1-4 […]
Estoy tratando de alimentar minibatches de matrices numpy a mi modelo, pero estoy atascado con el procesamiento por lotes. El uso de ‘tf.train.shuffle_batch’ genera un error porque la matriz de ‘imágenes’ es más grande que 2 GB. Intenté rodearlo y crear marcadores de posición, pero cuando trato de alimentar las matrices, todavía están representadas por […]
Entrené una red con t.estimador, el modelo se guardó durante el proceso de capacitación. Los archivos guardados consisten en .data , .index y .meta . Me gustaría volver a cargar este modelo y obtener predicciones para nuevas imágenes. Los datos se tf.data.Dataset al modelo durante el entrenamiento utilizando tf.data.Dataset . He seguido de cerca la […]
Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]
Sigo el tutorial https://www.tensorflow.org/tutorials/layers y quiero usarlo para usar mi propio conjunto de datos. def train_input_fn_custom(filenames_array, labels_array, batch_size): # Reads an image from a file, decodes it into a dense tensor, and resizes it to a fixed shape. def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_png(image_string, channels=1) image_resized = tf.image.resize_images(image_decoded, [40, 40]) return image_resized, […]
Estoy convirtiendo algo de código heredado para usar la API de conjunto de datos: este código utiliza feed_dict para alimentar un lote a la operación del tren (en realidad tres veces) y luego vuelve a calcular las pérdidas para mostrar usando el mismo lote . Así que necesito tener un iterador que devuelva exactamente el […]
Tengo la función de mapa a continuación (ejemplo ejecutable), que ingresa una string y genera una string y un integer . en tf.data.Dataset.from_tensor_slices nombré la entrada original ‘filenames’ . Pero cuando devuelvo los valores de la función de mapa map_element_counts solo puedo devolver una tupla (devolver un diccionario genera una excepción). ¿Hay alguna forma de […]
Estoy trabajando con Tensorflow 1.4. Creé un tf.estimator personalizado para hacer una clasificación, como esto: def model_fn(): # Some operations here […] return tf.estimator.EstimatorSpec(mode=mode, predictions={“Preds”: predictions}, loss=cost, train_op=loss, eval_metric_ops=eval_metric_ops, training_hooks=[summary_hook]) my_estimator = tf.estimator.Estimator(model_fn=model_fn, params=model_params, model_dir=’/my/directory’) Puedo entrenarlo fácilmente: input_fn = create_train_input_fn(path=train_files) my_estimator.train(input_fn=input_fn) donde input_fn es una función que lee datos de archivos tfrecords , con […]
Estoy escribiendo un tf.data.Dataset entrada usando tf.data.Dataset . Me gustaría usar el código de Python para cargar y transformar mis muestras, el código devuelve un diccionario de tensores. Desafortunadamente, no veo cómo puedo definir eso como el tipo de salida que se pasa a tf.py_func . Tengo una solución alternativa donde mi función devuelve la […]
Estoy tratando de usar el generador que se encuentra en la biblioteca de preprocesamiento de Keras. Quería experimentar con esto ya que Keras proporciona excelentes funciones para el aumento de imágenes. Sin embargo, no estoy seguro de si esto es realmente posible. Aquí es cómo hice un conjunto de datos tf desde el generador de […]