Spark + Python: ¿Se cerró el proceso de la puerta de enlace de Java antes de enviar al controlador su número de puerto?

¿Por qué recibo este error en la pantalla de mi navegador,

: El proceso de la puerta de enlace de Java se cerró antes de enviar al controlador su número de puerto args = (‘Se cerró el proceso de la puerta de enlace de Java antes de enviar al controlador su número de puerto’,)

para,

#!/Python27/python print "Content-type: text/html; charset=utf-8" print # enable debugging import cgitb cgitb.enable() import os import sys # Path for spark source folder os.environ['SPARK_HOME'] = "C:\Apache\spark-1.4.1" # Append pyspark to Python Path sys.path.append("C:\Apache\spark-1.4.1\python") from pyspark import SparkContext from pyspark import SparkConf print ("Successfully imported Spark Modules") # Initialize SparkContext sc = SparkContext('local') words = sc.parallelize(["scala","java","hadoop","spark","akka"]) print words.count() 

Seguí este ejemplo .

¿Alguna idea de cómo puedo arreglarlo?

Compruebe si hay alguna información adicional antes de la línea de error que dice:

 Error: Could not create the Java Virtual Machine. 

En mi caso, era una opción no válida que había establecido en el archivo conf. No se permite que la memoria (tamaño de stack inicial) tenga una coma: 3.5g no es aceptable, por ejemplo, mientras que 3500m sí lo es.

Tuve un problema similar a este y, finalmente, cuando miré la salida de mi prueba, hubo mensajes de error de $SPARK_HOME/bin/spark-class , con números de línea.

Después de rastrear lo que estaba pasando en las líneas afectadas, resultó que había comillas simples alrededor del valor de $JAVA_HOME en mis variables ambientales, lo que estaba causando problemas con la expansión de la ruta (se asumió que por alguna razón era relativa a mi directorio principal , en lugar de un camino absoluto)

Si bien este puede no ser su problema exacto, vale la pena examinar el inicio de su producción para obtener información adicional que lo ayude a reducir la causa raíz.

Mi amigo se ha encontrado con el mismo problema que el tuyo. Revisé su computadora y descubrí que ella tenía dos versiones de Java. Desinstalé el anterior y reescribí el valor de $ JAVA_HOME. El problema fue resuelto.