Articles of data science

sklearn partial_fit () no muestra resultados precisos como fit ()

Estoy entrenando 3 listas de datos L1, L2, L3. Primero entreno a todos ellos con SGDClassifier fit () y luego instancia por instancia con partial_fit (). II probar los datos con L4, L5. [Los datos en las listas son datos de imagen y L4, las imágenes L5 son iguales a L2]. Las predicciones con fit […]

cómo trazar dos columnas de un solo DataFrame en el eje Y del linegraph

Tengo dataframe total_year que contiene tres columnas (año, acción, comedia). total_year Quiero trazar la columna del año en el eje X y (acción y comedia) en el eje Y. Cómo puedo trazar dos columnas (acción y comedia) en el eje Y. Aquí está mi código. Traza solo 1 columna en el eje Y. total_year[-15:].plot(x=’year’, y=’action’ […]

Importar selectivamente desde otro cuaderno Jupyter

data.ipynb mis cuadernos Jupyter en: data.ipynb , data.ipynb y results.ipynb . ¿Cómo puedo importar celdas selectivamente de los cuadernos de datos y métodos para usar en el cuaderno de resultados ? Sé de nbimporter y ipynb pero ninguno de ellos ofrece importación selectiva de variables. Hay una opción para importar definiciones, incluidas las variables en […]

light gbm – API de python vs API de Scikit-learn

Estaba tratando de aplicar lgbm en uno de mis problemas. Para eso estaba revisando ” http://lightgbm.readthedocs.io/en/latest/Python-API.html “. Sin embargo, tengo una pregunta básica. ¿Hay alguna diferencia entre Training API y Scikit-learn API? ¿Podemos usar ambas API para lograr el mismo resultado para el mismo problema? Gracias, Dipanjan.

Tuberías pyspark.ml: ¿Son necesarios los transformadores personalizados para las tareas básicas de preprocesamiento?

Al comenzar con pyspark.ml y la API de canalizaciones, me encuentro escribiendo transformadores personalizados para tareas típicas de preprocesamiento con el fin de usarlos en una tubería. Ejemplos: from pyspark.ml import Pipeline, Transformer class CustomTransformer(Transformer): # lazy workaround – a transformer needs to have these attributes _defaultParamMap = dict() _paramMap = dict() _params = dict() […]

¿Cómo optimizar el código MAPE en Python?

Necesito tener una función MAPE, sin embargo, no pude encontrarla en paquetes estándar … A continuación, mi implementación de esta función. def mape(actual, predict): tmp, n = 0.0, 0 for i in range(0, len(actual)): if actual[i] 0: tmp += math.fabs(actual[i]-predict[i])/actual[i] n += 1 return (tmp/n) No me gusta, es super no óptimo en términos de […]

¿Cómo obtener tags de clase predichas en el ejemplo MNIST de TensorFlow?

Soy nuevo en Neural Networks y pasé por el ejemplo MNIST para principiantes. Actualmente estoy intentando usar este ejemplo en otro conjunto de datos de Kaggle que no tiene tags de prueba. Si ejecuto el modelo en el conjunto de datos de prueba sin las tags correspondientes y, por lo tanto, no puedo calcular la […]

Normalización cuantil en dataframe pandas

En pocas palabras, ¿cómo aplicar la normalización de cuantiles en un gran dataframe de Pandas (probablemente 2,000,000 de filas) en Python? PD. Sé que hay un paquete llamado rpy2 que podría ejecutar R en el subproceso, usando la cuantificación de cuantiles en R. Pero la verdad es que R no puede calcular el resultado correcto […]

¿Cómo agrego condiciones limitantes cuando uso GpyOpt?

Actualmente trato de minimizar la función y obtener parámetros optimizados utilizando GPyOpt. import GPy import GPyOpt from math import log def f(x): x0,x1,x2,x3,x4,x5 = x[:,0],x[:,1],x[:,2],x[:,3],x[:,4],x[:,5], f0 = 0.2 * log(x0) f1 = 0.3 * log(x1) f2 = 0.4 * log(x2) f3 = 0.2 * log(x3) f4 = 0.5 * log(x4) f5 = 0.2 * log(x5) […]

¿Cómo obtener la curva ROC para el árbol de decisión?

Estoy tratando de encontrar la curva ROC y la curva AUROC para el árbol de decisión. Mi código era algo así como clf.fit(x,y) y_score = clf.fit(x,y).decision_function(test[col]) pred = clf.predict_proba(test[col]) print(sklearn.metrics.roc_auc_score(actual,y_score)) fpr,tpr,thre = sklearn.metrics.roc_curve(actual,y_score) salida: Error() ‘DecisionTreeClassifier’ object has no attribute ‘decision_function’ Básicamente, el error aparece al encontrar el y_score . Por favor, explique qué es […]