Estoy tratando de visualizar la estructura del árbol de decisión en pyspark. Pero todas las herramientas son para datos. No pude encontrar ninguna para visualizar la estructura de un árbol. ¿O hay una manera en que puedo visualizar usando las reglas de toDebugString ?
Estoy tratando de ejecutar un trabajo Spark. Este es mi script de shell, que se encuentra en /home/full/path/to/file/shell/my_shell_script.sh: confLocation=../conf/my_config_file.conf && executors=8 && memory=2G && entry_function=my_function_in_python && dos2unix $confLocation && spark-submit \ –master yarn-client \ –num-executors $executors \ –executor-memory $memory \ –py-files /home/full/path/to/file/python/my_python_file.py $entry_function $confLocation Cuando ejecuto esto, me sale un error que dice: Error: No […]
Estoy utilizando Apache Spark (API Pyspark para Python) ALS MLLIB para desarrollar un servicio que realice recomendaciones en vivo para usuarios anónimos (usuarios que no están en el conjunto de capacitación) en mi sitio. En mi caso de uso, capacito al modelo en las calificaciones de los usuarios de esta manera: from pyspark.mllib.recommendation import ALS, […]
Soy bastante nuevo en Spark y he estado intentando convertir un Dataframe en un archivo de parquet en Spark, pero aún no he tenido éxito. La documentación dice que puedo usar la función write.parquet para crear el archivo. Sin embargo, cuando ejecuto el script, me muestra: AttributeError: el objeto ‘RDD’ no tiene ningún atributo ‘write’ […]
Estoy tratando de trabajar con Pyspark en IntelliJ pero no puedo descubrir cómo instalarlo correctamente / configurar el proyecto. Puedo trabajar con Python en IntelliJ y puedo usar el shell pyspark pero no puedo decirle a IntelliJ cómo encontrar los archivos Spark (la importación de pyspark da como resultado “ImportError: No hay un módulo llamado […]
Tengo una mesa con la siguiente estructura. USER_ID Tweet_ID Date 1 1001 Thu Aug 05 19:11:39 +0000 2010 1 6022 Mon Aug 09 17:51:19 +0000 2010 1 1041 Sun Aug 19 11:10:09 +0000 2010 2 9483 Mon Jan 11 10:51:23 +0000 2012 2 4532 Fri May 21 11:11:11 +0000 2012 3 4374 Sat Jul 10 […]
Estoy ejecutando Spark 1.4.1 en mi computadora portátil Mac local y puedo usar pyspark interactiva sin ningún problema. Spark se instaló a través de Homebrew y estoy usando Anaconda Python. Sin embargo, tan pronto como trato de usar spark-submit , recibo el siguiente error: 15/09/04 08:51:09 ERROR SparkContext: Error initializing SparkContext. java.io.FileNotFoundException: Added file file:test.py […]
Estoy trabajando con Spark y PySpark. Estoy tratando de lograr el resultado equivalente al siguiente pseudocódigo: df = df.withColumn(‘new_column’, IF fruit1 == fruit2 THEN 1, ELSE 0. IF fruit1 IS NULL OR fruit2 IS NULL 3.) Estoy intentando hacer esto en PySpark, pero no estoy seguro de la syntax. Cualquier punteros? Miré en expr() pero […]
Estoy trabajando en un proyecto en el que estoy usando el procesamiento de Spark for Data. Mis datos ahora están procesados y necesito cargar los datos en Neo4j . Después de cargar en Neo4j, lo usaré para mostrar los resultados. Quería que toda la implementación se hiciera en la progtwigción de Python . Pero no […]
Actualmente tengo un archivo json que estoy intentando consultar con sqlContext.sql () que se parece a esto: { “sample”: { “persons”: [ { “id”: “123”, }, { “id”: “456”, } ] } } Si solo quiero el primer valor escribo: sqlContext.sql(“SELECT sample.persons[0] FROM test”) pero quiero todos los valores de “personas” sin tener que escribir […]