Desarrollo de Python
  1. Desarrollo de Python
  3. Cómo ejecutar un script en PySpark
Intereting Posts
numpy: multiplicación de difusión sobre un eje común de dos matrices 2d Solicitudes de Python: obtener atributos de la cadena JSON devuelta ¿Cómo puedo evitar que Python convierta números grandes a notación científica? lxml Element boolean check Pandas Merge (pd.merge) Cómo configurar el índice y unirse ¿Cómo puedo reemplazar varios caracteres en una cadena usando python? ¿Cómo almacenar de manera eficiente este documento XML analizado en la base de datos MySQL usando Python? Función de división al escribir un archivo abierto en Python ¿Cómo puedo registrar los bashs de inicio y cierre de sesión exitosos y fallidos en Django? ¿Cuál es la diferencia entre spark-submit y pyspark? Django Rest Framework “Se requiere un entero válido”. ¿Cómo puedo obtener salida de terminal en python? ¿Cómo puedo recuperar la potencia de la señal de las redes LAN inalámbricas cercanas en Windows usando Python? Multiprocesamiento en Python tkinter Obtención de la raíz (cabeza) de un DiGraph en networkx (Python)

Cómo ejecutar un script en PySpark

Estoy intentando ejecutar un script en el entorno pyspark, pero hasta ahora no he podido. ¿Cómo puedo ejecutar un script como python script.py pero en pyspark? Gracias

Puede hacer: ./bin/spark-submit mypythonfile.py

La ejecución de aplicaciones de Python a través de pyspark no se admite a partir de Spark 2.0.

pyspark 2.0 y posterior ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP , por lo que puede ejecutar: 

 PYTHONSTARTUP=code.py pyspark

En comparación con la respuesta de spark-submit esto es útil para ejecutar el código de inicialización antes de usar el shell interactivo pyspark.

Simplemente spark-submit mypythonfile.py debería ser suficiente.