Realmente disfruto usando las mónadas Option y Oither en Scala. ¿Hay algún equivalente para estas cosas en Python? Si no los hay, ¿cuál es la forma pythonica de manejar los errores o la “ausencia de valor” sin lanzar excepciones?
Quiero una clase que cuente la cantidad de objetos que tengo, que suena más eficiente que reunir todos los objetos y luego agruparlos. Python tiene una estructura ideal en colecciones . Contador, ¿Java o Scala tienen un tipo similar?
Estoy escribiendo código para la investigación de doctorado y estoy empezando a usar Scala. A menudo tengo que hacer el procesamiento de texto. Estoy acostumbrado a Python, cuya statement de ‘rendimiento‘ es extremadamente útil para implementar iteradores complejos en archivos de texto grandes, a menudo de estructura irregular. Existen construcciones similares en otros idiomas (por […]
Lo siguiente es posible usando Python: $ apt-get install python $ easy_install Flask $ cat > hello.py from flask import Flask app = Flask(__name__) @app.route(“/”) def hello(): return “Hello World!” if __name__ == “__main__”: app.run() $ python hello.py 4 comandos y 7 líneas de código para que un servidor web funcione es realmente impresionante. ¿Cuál […]
¿Existe un enfoque simple y sin complicaciones para la serialización en Scala / Java que sea similar al pickle de Python? Pickle es una solución simple y bastante razonable que es razonablemente eficiente en espacio y tiempo (es decir, no es abismal) pero no le importa la accesibilidad entre idiomas, el control de versiones, etc. […]
Tengo la aplicación de 4 chispas (para encontrar el número de palabras del archivo de texto) que está escrita en 4 idiomas diferentes (R, python, java, scala) ./wordcount.R ./wordcount.py ./wordcount.java ./wordcount.scala spark trabaja en modo independiente … 1.4 nodos de trabajo 2.1 núcleo para cada nodo de trabajador 3.1 gb de memoria para cada nodo […]
Cómo obtener current_date – 1 día en sparksql, igual que cur_date()-1 en mysql.
La architecture de la chispa gira enteramente en torno al concepto de ejecutores y núcleos. Me gustaría ver prácticamente cuántos ejecutores y núcleos se ejecutan en mi clúster. Estaba tratando de usar el siguiente fragmento de código en mi aplicación, pero no tuve suerte. val conf = new SparkConf().setAppName(“ExecutorTestJob”) val sc = new SparkContext(conf) conf.get(“spark.executor.instances”) […]
Aquí está mi RDD [String] M1 module1 PIP a ZA PIP b ZB PIP c Y n4 M2 module2 PIP a I n4 PIP b OD PIP c O n5 y así. Básicamente, necesito un RDD de clave (que contenga la segunda palabra en la línea 1) y los valores de las siguientes líneas PIP […]
Estoy usando Apache Airflow independiente para enviar mis trabajos de Spark con SSHExecutorOperator para conectarse al nodo de borde y enviar trabajos con un simple BashCommand . En su mayoría funciona bien, pero a veces algunas tareas aleatorias se ejecutan de forma indefinida. Mi trabajo tiene éxito, pero sigue funcionando de acuerdo con Airflow. Cuando […]