Ningún módulo llamado ‘recurso’ que instala Apache Spark en Windows

Estoy tratando de instalar apache spark para ejecutarse localmente en mi máquina Windows. He seguido todas las instrucciones aquí https://medium.com/@loldja/installing-apache-spark-pyspark-the-missing-quick-start-guide-for-windows-ad81702ba62d .

Después de esta instalación, puedo iniciar con éxito pyspark y ejecutar un comando como

textFile = sc.textFile("README.md") 

Cuando luego ejecuto un comando que opera en textFile como

 textFile.first() 

Spark me da el error “el trabajador no pudo volver a conectarse”, y puedo ver una excepción en la consola que viene de worker.py y dice “ModuleNotFoundError: Ningún módulo llamado recurso”. Al mirar el archivo de origen, puedo ver que este archivo de Python intenta importar el módulo de recursos, sin embargo, este módulo no está disponible en sistemas Windows. Entiendo que puede instalar chispa en Windows, ¿cómo puedo solucionar esto?

Luché toda la mañana con el mismo problema. Su mejor apuesta es bajar a Spark 2.3.2

La solución se puede encontrar en https://github.com/apache/spark/pull/23055 .

El módulo de recursos es solo para sistemas Unix / Linux y no es aplicable en un entorno Windows. Esta solución aún no está incluida en la última versión, pero puede modificar el worker.py en su instalación como se muestra en la solicitud de extracción. Los cambios en ese archivo se pueden encontrar en https://github.com/apache/spark/pull/23055/files .

Tendrá que volver a comprimir el directorio pyspark y moverlo a la carpeta lib en su directorio de instalación de pyspark (donde extrajo el pyspark precomstackdo de acuerdo con el tutorial que mencionó)

Agregando a todas esas valiosas respuestas,

Para usuarios de Windows, asegúrese de haber copiado la versión correcta del archivo winutils.exe (para su versión específica de Hadoop) en la carpeta spark / bin

Por ejemplo, si tiene Hadoop 2.7.1, debería copiar el archivo winutils.exe de la carpeta Hadoop 2.7.1 / bin.

Enlace para eso está aquí

https://github.com/steveloughran/winutils