Desarrollo de Python
  1. Desarrollo de Python
  3. Cómo ejecutar un script en PySpark
Intereting Posts
Contando las frecuencias bi-gram No se puede activar el entorno virtual en Miniconda. Escribiendo comentarios a archivos con ConfigParser ¿Cómo establece la posición absoluta de las ventanas de figuras con matplotlib? ¿Es posible mantener el orden de las columnas utilizando csv.DictReader? ¿Cómo mantener la ventana de matplotlib (python) en el fondo? ¿Cómo validar nombres de personas? – Python / Django ¿Ctypes Structures y POINTERS liberan automáticamente la memoria cuando se elimina el objeto de Python? Barra de progreso de wxPython Uso de un diccionario de Python como clave (no nested) Entender mejor los problemas de rendimiento del rendimiento de SQLalchemy ¿Cuál es la forma correcta de tomar una ruta de directorio como entrada del usuario? Replicar filas en un dataframe de pandas por un valor de columna Odoo / OpenERP: ocultando el botón de crear desde la vista de árbol Django Rest Framework “Se requiere un entero válido”.

Cómo ejecutar un script en PySpark

Estoy intentando ejecutar un script en el entorno pyspark, pero hasta ahora no he podido. ¿Cómo puedo ejecutar un script como python script.py pero en pyspark? Gracias

Puede hacer: ./bin/spark-submit mypythonfile.py

La ejecución de aplicaciones de Python a través de pyspark no se admite a partir de Spark 2.0.

pyspark 2.0 y posterior ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP , por lo que puede ejecutar: 

 PYTHONSTARTUP=code.py pyspark

En comparación con la respuesta de spark-submit esto es útil para ejecutar el código de inicialización antes de usar el shell interactivo pyspark.

Simplemente spark-submit mypythonfile.py debería ser suficiente.