Tengo un modelo que entrena mi red usando un iterador; siguiendo el nuevo modelo de canalización de la API del conjunto de datos que ahora recomienda Google. Leí los archivos tfrecord, introduzco datos en la red, me entreno bien y todo va bien, guardo mi modelo al final de la capacitación para poder ejecutar Inference […]
Estoy tratando de implementar un simple update_func personalizado para el método de aplicación en la API del conjunto de datos, pero no encontré la documentación particularmente útil. Específicamente, mi dataset contiene cuadros de video y las tags correspondientes: {[frame_0, label_0], [frame_1, label_1], [frame_2, label_2],…} . Me gustaría transformarlo para que además contenga el marco anterior […]
En el nuevo conjunto de funciones de canalización de entrada de TensorFlow, existe la posibilidad de agrupar conjuntos de registros utilizando la función “group_by_window”. Se describe en la documentación aquí: https://www.tensorflow.org/api_docs/python/tf/contrib/data/Dataset#group_by_window No entiendo completamente la explicación aquí utilizada para describir la función, y tiendo a aprender mejor con el ejemplo. No puedo encontrar ningún código […]
Estoy intentando usar la API del conjunto de datos TensorFlow para leer un archivo HDF5, usando el método from_generator . Todo funciona bien a menos que el tamaño del lote no se divida equitativamente en el número de eventos. No veo cómo hacer un lote flexible usando la API. Si las cosas no se dividen […]
Estoy ejecutando mi neural network en ubuntu 16.04, con 1 GPU (GTX 1070) y 4 CPU. Mi conjunto de datos contiene alrededor de 35,000 imágenes, pero el conjunto de datos no está equilibrado: la clase 0 tiene un 90% y la clase 1,2,3,4 comparte el otro 10%. Por lo tanto, dataset.repeat(class_weight) exceso la clase 1-4 […]
Estoy tratando de alimentar minibatches de matrices numpy a mi modelo, pero estoy atascado con el procesamiento por lotes. El uso de ‘tf.train.shuffle_batch’ genera un error porque la matriz de ‘imágenes’ es más grande que 2 GB. Intenté rodearlo y crear marcadores de posición, pero cuando trato de alimentar las matrices, todavía están representadas por […]
Entrené una red con t.estimador, el modelo se guardó durante el proceso de capacitación. Los archivos guardados consisten en .data , .index y .meta . Me gustaría volver a cargar este modelo y obtener predicciones para nuevas imágenes. Los datos se tf.data.Dataset al modelo durante el entrenamiento utilizando tf.data.Dataset . He seguido de cerca la […]
Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]
Sigo el tutorial https://www.tensorflow.org/tutorials/layers y quiero usarlo para usar mi propio conjunto de datos. def train_input_fn_custom(filenames_array, labels_array, batch_size): # Reads an image from a file, decodes it into a dense tensor, and resizes it to a fixed shape. def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_png(image_string, channels=1) image_resized = tf.image.resize_images(image_decoded, [40, 40]) return image_resized, […]
Estoy convirtiendo algo de código heredado para usar la API de conjunto de datos: este código utiliza feed_dict para alimentar un lote a la operación del tren (en realidad tres veces) y luego vuelve a calcular las pérdidas para mostrar usando el mismo lote . Así que necesito tener un iterador que devuelva exactamente el […]