Desarrollo de Python
  1. Desarrollo de Python
  3. Cómo ejecutar un script en PySpark
Intereting Posts
Tensorflow: “GraphDef no puede tener más de 2 GB”. Error al guardar el modelo después de asignar variables ¿Por qué las variables de entorno de Python son diferentes cuando se ejecutan desde un servidor web? Pandas: Convierte dataframe a dict de listas ¿Python OpenCV convierte la imagen a una cadena de bytes? NLTK piensa que los imperativos son sustantivos Las operaciones en variables aleatorias no funcionan correctamente en Tensorflow cálculo del tiempo de python (mili segundos) * gran * diccionario de Python con almacenamiento de persistencia para búsquedas rápidas multiprocessing.Pool () más lento que el uso de funciones ordinarias usando python, eliminar tags HTML / formatear de una cadena Usando Python Iterparse para grandes archivos XML ¿Cómo voy directamente a la plantilla, en urls.py de Django? ¿Cómo puedo filtrar los elementos de PyQt QCombobox en función de la entrada de texto? importar silenciosamente mata hilo “Debe construir una aplicación de Q antes de un QPaintDevice” de QWidget

Cómo ejecutar un script en PySpark

Estoy intentando ejecutar un script en el entorno pyspark, pero hasta ahora no he podido. ¿Cómo puedo ejecutar un script como python script.py pero en pyspark? Gracias

Puede hacer: ./bin/spark-submit mypythonfile.py

La ejecución de aplicaciones de Python a través de pyspark no se admite a partir de Spark 2.0.

pyspark 2.0 y posterior ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP , por lo que puede ejecutar: 

 PYTHONSTARTUP=code.py pyspark

En comparación con la respuesta de spark-submit esto es útil para ejecutar el código de inicialización antes de usar el shell interactivo pyspark.

Simplemente spark-submit mypythonfile.py debería ser suficiente.