Articles of scala

¿Hay un equivalente de Python para la opción de Scala o cualquiera?

Realmente disfruto usando las mónadas Option y Oither en Scala. ¿Hay algún equivalente para estas cosas en Python? Si no los hay, ¿cuál es la forma pythonica de manejar los errores o la “ausencia de valor” sin lanzar excepciones?

¿Existe un equivalente en scala / java de las colecciones de Python 3?

Quiero una clase que cuente la cantidad de objetos que tengo, que suena más eficiente que reunir todos los objetos y luego agruparlos. Python tiene una estructura ideal en colecciones . Contador, ¿Java o Scala tienen un tipo similar?

¿Cuál es la forma preferida de implementar ‘rendimiento’ en Scala?

Estoy escribiendo código para la investigación de doctorado y estoy empezando a usar Scala. A menudo tengo que hacer el procesamiento de texto. Estoy acostumbrado a Python, cuya statement de ‘rendimiento‘ es extremadamente útil para implementar iteradores complejos en archivos de texto grandes, a menudo de estructura irregular. Existen construcciones similares en otros idiomas (por […]

Arrancando un servidor web en Scala

Lo siguiente es posible usando Python: $ apt-get install python $ easy_install Flask $ cat > hello.py from flask import Flask app = Flask(__name__) @app.route(“/”) def hello(): return “Hello World!” if __name__ == “__main__”: app.run() $ python hello.py 4 comandos y 7 líneas de código para que un servidor web funcione es realmente impresionante. ¿Cuál […]

Simple, sin complicaciones, serialización de placa de cero en Scala / Java similar a Python’s Pickle?

¿Existe un enfoque simple y sin complicaciones para la serialización en Scala / Java que sea similar al pickle de Python? Pickle es una solución simple y bastante razonable que es razonablemente eficiente en espacio y tiempo (es decir, no es abismal) pero no le importa la accesibilidad entre idiomas, el control de versiones, etc. […]

Presentación de múltiples aplicaciones de chispa en modo independiente

Tengo la aplicación de 4 chispas (para encontrar el número de palabras del archivo de texto) que está escrita en 4 idiomas diferentes (R, python, java, scala) ./wordcount.R ./wordcount.py ./wordcount.java ./wordcount.scala spark trabaja en modo independiente … 1.4 nodos de trabajo 2.1 núcleo para cada nodo de trabajador 3.1 gb de memoria para cada nodo […]

¿Cómo llegar hoy? ¿Fecha de “1 día” en Sparksql?

Cómo obtener current_date – 1 día en sparksql, igual que cur_date()-1 en mysql.

Chispa: cuántos ejecutores y núcleos se asignan a mi trabajo de chispa

La architecture de la chispa gira enteramente en torno al concepto de ejecutores y núcleos. Me gustaría ver prácticamente cuántos ejecutores y núcleos se ejecutan en mi clúster. Estaba tratando de usar el siguiente fragmento de código en mi aplicación, pero no tuve suerte. val conf = new SparkConf().setAppName(“ExecutorTestJob”) val sc = new SparkContext(conf) conf.get(“spark.executor.instances”) […]

Análisis de registros multilínea en Scala

Aquí está mi RDD [String] M1 module1 PIP a ZA PIP b ZB PIP c Y n4 M2 module2 PIP a I n4 PIP b OD PIP c O n5 y así. Básicamente, necesito un RDD de clave (que contenga la segunda palabra en la línea 1) y los valores de las siguientes líneas PIP […]

El flujo de air se detiene después del trabajo de Spark enviado por SSH

Estoy usando Apache Airflow independiente para enviar mis trabajos de Spark con SSHExecutorOperator para conectarse al nodo de borde y enviar trabajos con un simple BashCommand . En su mayoría funciona bien, pero a veces algunas tareas aleatorias se ejecutan de forma indefinida. Mi trabajo tiene éxito, pero sigue funcionando de acuerdo con Airflow. Cuando […]