Al comenzar con pyspark.ml y la API de canalizaciones, me encuentro escribiendo transformadores personalizados para tareas típicas de preprocesamiento con el fin de usarlos en una tubería. Ejemplos: from pyspark.ml import Pipeline, Transformer class CustomTransformer(Transformer): # lazy workaround – a transformer needs to have these attributes _defaultParamMap = dict() _paramMap = dict() _params = dict() […]
Supongamos que tengo un dataframe (df) (Pandas) o RDD (Spark) con las siguientes dos columnas: timestamp, data 12345.0 10 12346.0 12 En Pandas, puedo crear un histogtwig en intervalos de diferentes longitudes de contenedores con bastante facilidad. Por ejemplo, para crear un histogtwig en 1 hora, hago lo siguiente: df = df[ [‘timestamp’, ‘data’] ].set_index(‘timestamp’) […]
Estoy tratando de hacer predicciones con el modelo que recibí de MLlib en Spark. El objective es generar tuplas de (orinalLabelInData, predictedLabel). Entonces esas tuplas se pueden usar para propósitos de evaluación de modelos. ¿Cuál es la mejor manera de lograr esto? Gracias. Suponiendo que parsedTrainData es un RDD de LabeledPoint from pyspark.mllib.regression import LabeledPoint […]
Mi objective es agrupar objetos en función de la superposición de tiempo. Cada objeto en mi rdd contiene un start_time y end_time . Probablemente estoy haciendo esto de manera ineficiente, pero lo que planeo hacer es asignar una identificación de superposición a cada objeto en función de si se ha superpuesto en algún momento con […]
Tengo un DataFrame, un fragmento de código aquí: [[‘u1’, 1], [‘u2’, 0]] básicamente, un campo de cadena denominado f y un 1 o un 0 para el segundo elemento ( is_fav ). Lo que debo hacer es agrupar en el primer campo y contar las ocurrencias de 1s y 0s. Esperaba hacer algo como num_fav […]
He construido un modelo de Word2Vec usando Spark y lo guardo como modelo. Ahora, quiero usarlo en otro código como modelo fuera de línea. He cargado el modelo y lo he usado para presentar el vector de una palabra (por ejemplo, Hola) y funciona bien. Pero, necesito llamarlo para muchas palabras en un RDD usando […]
He buscado en todas partes, pero no pude encontrar cómo agregar dos vectores dispersos usando Python. Quiero agregar dos vectores dispersos como este: (1048576, {110522: 0.6931, 521365: 1.0986, 697409: 1.0986, 725041: 0.6931, 749730: 0.6931, 962395: 0.6931}) (1048576, {4471: 1.0986, 725041: 0.6931, 850325: 1.0986, 962395: 0.6931})
Estoy intentando serializar un Spark RDD decapado y leer el archivo encurtido directamente en Python. a = sc.parallelize([‘1′,’2′,’3′,’4′,’5’]) a.saveAsPickleFile(‘test_pkl’) Luego copio los archivos test_pkl a mi local. ¿Cómo puedo leerlos directamente en Python? Cuando bash el paquete normal de pickle, falla cuando bash leer la primera parte de pickle de ‘test_pkl’: pickle.load(open(‘part-00000′,’rb’)) Traceback (most recent […]
Preguntándose si hay una función Spark incorporada para combinar las funciones 1, 2, n-gramo en un solo vocabulario. La configuración de n=2 en NGram seguida de la invocación de los resultados de CountVectorizer en un diccionario que contiene solo 2 gramos. Lo que realmente quiero es combinar todos los frecuentes 1 gramos, 2 gramos, etc. […]
Tengo datos como este: df = sqlContext.createDataFrame([ (‘1986/10/15’, ‘z’, ‘null’), (‘1986/10/15’, ‘z’, ‘null’), (‘1986/10/15’, ‘c’, ‘null’), (‘1986/10/15’, ‘null’, ‘null’), (‘1986/10/16’, ‘null’, ‘4.0’)], (‘low’, ‘high’, ‘normal’)) Quiero calcular la diferencia de fecha entre low columna low y el 2017-05-02 y reemplazar low columna low con la diferencia. He intentado soluciones relacionadas en stackoverflow pero ninguna de […]