Articles of profundo

TensorFlow – Lee marcos de video desde un archivo de TFRecords

TLDR; Mi pregunta es sobre cómo cargar marcos de video comprimidos desde TFRecords. Estoy configurando un flujo de datos para entrenar modelos de aprendizaje profundo en un gran conjunto de datos de video ( Kinetics ). Para esto estoy usando TensorFlow, más específicamente las estructuras tf.data.Dataset y TFRecordDataset . Como el conjunto de datos contiene […]

Donde se define el módulo de capa en PyCaffe

Estoy modificando un tutorial de Caffe para implementar una neural network, pero me cuesta identificar dónde se ubican algunos de los módulos de pycaffe para ver ciertas definiciones de funciones. Por ejemplo, el tutorial menciona: import caffe from caffe import layers a L, params as P …. L.Convolution(bottom, kernel_size=ks, stride=stride, num_output=nout, pad=pad, group=group) L.InnerProduct(bottom, num_output=nout) […]

muestreo progtwigdo en Tensorflow

La nueva API de Tensorflow sobre el modelo seq2seq ha incluido el muestreo progtwigdo: https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/ScheduledEmbeddingTrainingHelper. El documento original de muestreo progtwigdo se puede encontrar aquí: https://arxiv.org/abs/1506.03099 Leí el documento pero no puedo entender la diferencia entre ScheduledEmbeddingTrainingHelper y ScheduledOutputTrainingHelper . La documentación solo indica que ScheduledEmbeddingTrainingHelper es un ayudante de capacitación que agrega el muestreo […]

No se puede importar cafe

make pycaffe en el directorio de caffe y funcionó bien. Yo también hice esto: gsamaras@gsamaras-A15:~/caffe/python$ export PYTHONPATH=$PYTHONPATH:/home/gsamaras/caffe/python pero cuando bash importar caffe en otro proyecto, obtengo esto: ImportError: No hay módulo llamado caffe ¿Cómo arreglar esto? También tenga en cuenta que en el Makefile.config de caffe, hay esta línea: PYTHON_INCLUDE := /usr/include/python2.7 \ <– correct […]

¿Qué son las iteraciones de entrenamiento doc2vec?

Soy nuevo en doc2vec. Inicialmente estaba tratando de entender doc2vec y se menciona a continuación mi código que usa Gensim. Como quiero, recibo un modelo entrenado y documentos de vectores para los dos documentos. Sin embargo, me gustaría saber los beneficios de volver a entrenar el modelo en varias épocas y cómo hacerlo en Gensim. […]

Apague el servidor en TensorFlow

Cuando queremos usar TensorFlow distribuido, crearemos un servidor de parámetros usando tf.train.Server.join() Sin embargo, no puedo encontrar ninguna forma de apagar el servidor, excepto matar el procesamiento. La documentación de TensorFlow para join () es Blocks until the server has shut down. This method currently blocks forever. Esto me molesta bastante porque me gustaría crear […]

¿Cómo inicializar pesos en PyTorch?

¿Cómo inicializar los pesos y sesgos (por ejemplo, con la inicialización de He o Xavier) en una red en PyTorch?

¿Cómo usar los pesos evento por evento en Tensorflow?

En mi conjunto de datos tengo para cada entrada (evento) un peso. Este peso consta de varias cantidades, pero básicamente representa la importancia de este evento para los datos y debe tenerse en cuenta. ¿Cómo puedo usar estos pesos cuando entreno en Tensorflow? No quiero simplemente usar esto como otra característica. Gracias

¿Cómo obtener mini-lotes en pytorch de forma limpia y eficiente?

Estaba tratando de hacer una cosa simple que era entrenar un modelo lineal con Estocástica Gradiente Descenso (SGD) utilizando antorcha: import numpy as np import torch from torch.autograd import Variable import pdb def get_batch2(X,Y,M,dtype): X,Y = X.data.numpy(), Y.data.numpy() N = len(Y) valid_indices = np.array( range(N) ) batch_indices = np.random.choice(valid_indices,size=M,replace=False) batch_xs = torch.FloatTensor(X[batch_indices,:]).type(dtype) batch_ys = torch.FloatTensor(Y[batch_indices]).type(dtype) […]

Tren clasificador de imágenes multi-clase en Keras

Estaba siguiendo un tutorial para aprender a entrenar un clasificador usando Keras https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html Específicamente, a partir del segundo guión dado por el autor, quise transformar el guión en uno que pueda entrenar un clasificador de clases múltiples (era un binario para perros y gatos). Tengo 5 clases en la carpeta de mi tren, así que […]