Estoy probando el 1.4 nocturno de tensorflow porque necesito que Dataset.from_generator reúna algunos conjuntos de datos de longitud variable. Este código simple (idea de aquí ): import tensorflow as tf Dataset = tf.contrib.data.Dataset it2 = Dataset.range(5).make_one_shot_iterator() def _dataset_generator(): while True: try: try: get_next = it2.get_next() yield get_next except tf.errors.OutOfRangeError: continue except tf.errors.OutOfRangeError: return # Dataset.from_generator […]
Me gustaría preguntar si la API actual de los conjuntos de datos permite la implementación del algoritmo de sobremuestreo. Trato con un problema de clase altamente desequilibrado. Pensé que sería bueno sobredimensionar clases específicas durante el análisis del conjunto de datos, es decir, la generación en línea. He visto la implementación de la función rejection_resample, […]
Tengo un modelo que entrena mi red usando un iterador; siguiendo el nuevo modelo de canalización de la API del conjunto de datos que ahora recomienda Google. Leí los archivos tfrecord, introduzco datos en la red, me entreno bien y todo va bien, guardo mi modelo al final de la capacitación para poder ejecutar Inference […]
Estoy tratando de implementar un simple update_func personalizado para el método de aplicación en la API del conjunto de datos, pero no encontré la documentación particularmente útil. Específicamente, mi dataset contiene cuadros de video y las tags correspondientes: {[frame_0, label_0], [frame_1, label_1], [frame_2, label_2],…} . Me gustaría transformarlo para que además contenga el marco anterior […]
En el nuevo conjunto de funciones de canalización de entrada de TensorFlow, existe la posibilidad de agrupar conjuntos de registros utilizando la función “group_by_window”. Se describe en la documentación aquí: https://www.tensorflow.org/api_docs/python/tf/contrib/data/Dataset#group_by_window No entiendo completamente la explicación aquí utilizada para describir la función, y tiendo a aprender mejor con el ejemplo. No puedo encontrar ningún código […]
Estoy intentando usar la API del conjunto de datos TensorFlow para leer un archivo HDF5, usando el método from_generator . Todo funciona bien a menos que el tamaño del lote no se divida equitativamente en el número de eventos. No veo cómo hacer un lote flexible usando la API. Si las cosas no se dividen […]
Estoy ejecutando mi neural network en ubuntu 16.04, con 1 GPU (GTX 1070) y 4 CPU. Mi conjunto de datos contiene alrededor de 35,000 imágenes, pero el conjunto de datos no está equilibrado: la clase 0 tiene un 90% y la clase 1,2,3,4 comparte el otro 10%. Por lo tanto, dataset.repeat(class_weight) exceso la clase 1-4 […]
Estoy tratando de alimentar minibatches de matrices numpy a mi modelo, pero estoy atascado con el procesamiento por lotes. El uso de ‘tf.train.shuffle_batch’ genera un error porque la matriz de ‘imágenes’ es más grande que 2 GB. Intenté rodearlo y crear marcadores de posición, pero cuando trato de alimentar las matrices, todavía están representadas por […]
Entrené una red con t.estimador, el modelo se guardó durante el proceso de capacitación. Los archivos guardados consisten en .data , .index y .meta . Me gustaría volver a cargar este modelo y obtener predicciones para nuevas imágenes. Los datos se tf.data.Dataset al modelo durante el entrenamiento utilizando tf.data.Dataset . He seguido de cerca la […]
Me gustaría administrar mi entrenamiento con un tf.estimator.Estimator pero tengo algunos problemas para usarlo junto con la API tf.data . Tengo algo como esto: def model_fn(features, labels, params, mode): # Defines model’s ops. # Initializes with tf.train.Scaffold. # Returns an tf.estimator.EstimatorSpec. def input_fn(): dataset = tf.data.TextLineDataset(“test.txt”) # map, shuffle, padded_batch, etc. iterator = dataset.make_initializable_iterator() return […]