Desarrollo de Python
  1. Desarrollo de Python
  3. Cómo ejecutar un script en PySpark
Intereting Posts
bucle de captura de video python Uso de Flask para cargar un archivo txt a través del navegador y acceder a sus datos para su procesamiento Convertir un RDD a iterable: PySpark? PyQt Widget conecta () y desconecta () ¿En qué se diferencia irange () de range () o xrange ()? ¿Cómo puedo detectar y rastrear a las personas utilizando OpenCV? ¿Cómo obtener instancia dada un método de la instancia? ¿Cómo publicar valor múltiple con la misma clave en las solicitudes de python? ¿Cómo actualizar los parámetros del modelo con gradientes acumulados? manejar demasiadas funciones categóricas usando scikit-learn python: módulo no tiene atributo mecanizar Documentación de spaCy para ¿Cómo obtener virtualenv para usar dist-packages en Ubuntu? Python opencv clasificación de contornos detalles de retorno de un archivo, python

Cómo ejecutar un script en PySpark

Estoy intentando ejecutar un script en el entorno pyspark, pero hasta ahora no he podido. ¿Cómo puedo ejecutar un script como python script.py pero en pyspark? Gracias

Puede hacer: ./bin/spark-submit mypythonfile.py

La ejecución de aplicaciones de Python a través de pyspark no se admite a partir de Spark 2.0.

pyspark 2.0 y posterior ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP , por lo que puede ejecutar: 

 PYTHONSTARTUP=code.py pyspark

En comparación con la respuesta de spark-submit esto es útil para ejecutar el código de inicialización antes de usar el shell interactivo pyspark.

Simplemente spark-submit mypythonfile.py debería ser suficiente.