FIJAR:
Para solucionar este problema, edité bash_profile para garantizar que java 1.8 se use como predeterminado global de la siguiente manera:
touch ~/.bash_profile; open ~/.bash_profile Añadiendo
export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)
y guardando dentro de edición de texto.
PREGUNTA:
Estoy tratando de instalar Spark en mi Mac. He usado home-brew para instalar spark 2.4.0 y Scala. Instalé PySpark en mi entorno anaconda y estoy usando PyCharm para el desarrollo. He exportado a mi perfil de bash:
export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1` export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec" export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
Sin embargo no puedo hacerlo funcionar.
Sospecho que esto se debe a la versión java de la lectura del rastreo. Realmente agradecería alguna ayuda arreglada el problema. Por favor comente si hay alguna información que pueda proporcionar que sea útil más allá del rastreo.
Estoy teniendo el siguiente error:
Traceback (most recent call last): File "", line 4, in File "/anaconda3/envs/coda/lib/python3.6/site-packages/pyspark/rdd.py", line 816, in collect sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd()) File "/anaconda3/envs/coda/lib/python3.6/site-packages/py4j/java_gateway.py", line 1257, in __call__ answer, self.gateway_client, self.target_id, self.name) File "/anaconda3/envs/coda/lib/python3.6/site-packages/py4j/protocol.py", line 328, in get_return_value format(target_id, ".", name), value) py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : java.lang.IllegalArgumentException: Unsupported class file major version 55
Hasta que Spark esté comstackdo para ser compatible con Java 11, debe agregar
export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)
O encuentra el spark-env.sh y hazlo allí.
Necesitarás brew cask install java8 primero el brew cask install java8
Tengo el mismo problema en Windows y he agregado JAVA_HOME a la ruta de la variable de entorno:
JAVA_HOME: C: \ Archivos de progtwig \ Java \ jdk-11.0.1
En Windows (Windows 10) puede resolver el problema instalando jdk-8u201-windows-x64.exe y restableciendo la variable de entorno del sistema a la versión correcta de JAVK de JAVA:
JAVA_HOME -> C: \ Archivos de progtwig \ Java \ jdk1.8.0_201.
No se olvide de reiniciar el terminal, de lo contrario, el reinicio de la variable de entorno no se activará.