Articles of Learning

Propagación de la etiqueta – La matriz es demasiado grande

Estoy usando la propagación de tags en scikit learn para la clasificación semi-supervisada. Tengo 17,000 puntos de datos con 7 dimensiones. No puedo usarlo en este conjunto de datos. Es lanzar un gran error numpy matriz. Sin embargo, funciona bien cuando trabajo en un conjunto de datos relativamente pequeño, por ejemplo, 200 puntos. ¿Puede alguien […]

AttributeError: el objeto ‘LSTMStateTuple’ no tiene el atributo ‘get_shape’ al crear un modelo Seq2Seq utilizando Tensorflow

Estoy tratando de trabajar en el resumen de texto utilizando el conjunto de datos de Amazon Reviews. Estoy atascado en un error al construir mi modelo. AttributeError: ‘LSTMStateTuple’ object has no attribute ‘get_shape’ Sé que me estoy perdiendo algo. Pero incapaz de averiguar qué es. Soy nuevo en tensorflow. Supongo que el problema está en […]

La pérdida de entropía cruzada aumenta repentinamente hasta el infinito

Estoy intentando replicar una neural network de convolución profunda de un trabajo de investigación. He implementado la architecture, pero después de 10 épocas, mi pérdida de entropía cruzada aumenta repentinamente hasta el infinito. Esto se puede ver en la tabla de abajo. Puede ignorar lo que sucede con la precisión después de que se produce […]

TensorFlow número estimador de clases no cambia

Intenté usar el estimador de tensorflow para el conjunto de datos MNIST. Por alguna razón, sigue diciendo que mi n_classes está configurada en 1, aunque está en 10! import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets(“MNIST_data/”,one_hot=True) feature_columns = [tf.feature_column.numeric_column(“x”, shape=[784])] # Build 3 layer DNN with 10, 20, […]

Red neuronal: ReLu misteriosa

He estado construyendo un detector de lenguaje de progtwigción, es decir, un clasificador de fragmentos de código, como parte de un proyecto más grande. Mi modelo de línea de base es bastante sencillo: tokenize la entrada y codifique los fragmentos de código como bolsa de palabras o, en este caso, bolsa de fichas , y […]

¿Cómo obtener mini-lotes en pytorch de forma limpia y eficiente?

Estaba tratando de hacer una cosa simple que era entrenar un modelo lineal con Estocástica Gradiente Descenso (SGD) utilizando antorcha: import numpy as np import torch from torch.autograd import Variable import pdb def get_batch2(X,Y,M,dtype): X,Y = X.data.numpy(), Y.data.numpy() N = len(Y) valid_indices = np.array( range(N) ) batch_indices = np.random.choice(valid_indices,size=M,replace=False) batch_xs = torch.FloatTensor(X[batch_indices,:]).type(dtype) batch_ys = torch.FloatTensor(Y[batch_indices]).type(dtype) […]

TypeError: el argumento write () debe ser str, no bytes mientras se guarda el archivo .npy

Intenté ejecutar el código en un blog de Keras. El código se escribe en un archivo .npy de la siguiente manera: bottleneck_features_train = model.predict_generator(generator, nb_train_samples // batch_size) np.save(open(‘bottleneck_features_train.npy’, ‘w’),bottleneck_features_train) Luego lee de este archivo: def train_top_model(): train_data = np.load(open(‘bottleneck_features_train.npy’)) Ahora me sale un error diciendo: Found 2000 images belonging to 2 classes. Traceback (most recent […]

¿Cómo puedo usar una neural network pre-entrenada con imágenes en escala de grises?

Tengo un conjunto de datos que contiene imágenes en escala de grises y quiero entrenar a una CNN de vanguardia sobre ellas. Me gustaría mucho afinar un modelo pre-entrenado (como los de aquí ). El problema es que casi todos los modelos para los que puedo encontrar los pesos han sido entrenados en el conjunto […]

¿Hay una manera buena y fácil de visualizar datos de alta dimensión?

¿Alguien puede decirme si hay una forma buena (fácil) de visualizar datos de alta dimensión? Mis datos tienen actualmente 21 dimensiones, pero me gustaría ver si son densos o dispersos. ¿Existen técnicas para lograrlo?

¿Cómo entrenar Word2vec en conjuntos de datos muy grandes?

Estoy pensando en entrenar word2vec en datos a gran escala de más de 10 TB + de tamaño en el volcado de rastreo web. Personalmente entrené la implementación de GoogleNews-2012 dump (1.5 gb) en mi iMac, me tomó aproximadamente 3 horas entrenar y generar vectores (impresionados por la velocidad). Sin embargo, no probé la implementación […]