Desarrollo de Python
  1. Desarrollo de Python
  3. Cómo ejecutar un script en PySpark
Intereting Posts
Detección de pulsación de teclas Python sin locking no desordenado-my-tty pandas read_csv con columna final que contiene comas Determinar si un directorio es grabable Cómo leer línea por línea de stdin en python Fragmento de Python para eliminar los comentarios de C y C ++ ¿Conectar con los sitios web .onion en tor usando python? Cómo hacer buenos ejemplos de pandas reproducibles Cómo trazar un gráfico de barras horizontales en Bokeh (Python) Python super (Class, self) .method vs super (Parent, self) .method Bloques Python y Unicode para expresiones regulares ¿Cómo filtro las claves que no son de cadena en un diccionario en Python? pyyaml ​​y usando comillas solo para cadenas abriendo sitios web usando urllib2 desde detrás del firewall corporativo – 11004 getaddrinfo falló Python string.format () porcentaje a un lugar decimal ¿Por qué Ruby es más adecuado para Rails que Python?

Cómo ejecutar un script en PySpark

Estoy intentando ejecutar un script en el entorno pyspark, pero hasta ahora no he podido. ¿Cómo puedo ejecutar un script como python script.py pero en pyspark? Gracias

Puede hacer: ./bin/spark-submit mypythonfile.py

La ejecución de aplicaciones de Python a través de pyspark no se admite a partir de Spark 2.0.

pyspark 2.0 y posterior ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP , por lo que puede ejecutar: 

 PYTHONSTARTUP=code.py pyspark

En comparación con la respuesta de spark-submit esto es útil para ejecutar el código de inicialización antes de usar el shell interactivo pyspark.

Simplemente spark-submit mypythonfile.py debería ser suficiente.