Articles of scala

Genere datos utilizando el conjunto de datos existente como el conjunto de datos base

Tengo un conjunto de datos que consta de 100k registros de datos únicos, para comparar el código, necesito realizar pruebas en los datos con 5 millones de registros únicos, no quiero generar datos aleatorios. Me gustaría usar los registros de datos de 100k que tengo como conjunto de datos base y generar los datos restantes […]

Unir dos tuberías de mllib Spark juntos

Tengo dos DataFrames separados, cada uno de los cuales tiene varias etapas de procesamiento diferentes que mllib transformadores mllib en una tubería para manejar. Ahora quiero unir estas dos tuberías, manteniendo las características (columnas) de cada DataFrame . Scikit-learn tiene la clase FeatureUnion para manejar esto, y parece que no puedo encontrar un equivalente para […]

¿Cuál es la mejor manera de usar el código de Python desde Scala (o Java)?

Posible duplicado: Integración Java Python Hay un código escrito en Python y necesito usarlo desde Scala. El código usa alguna C nativa. ¿Es posible usar esto desde Scala o Java sin tener que volver a escribir mucho? Tengo la intención de usar el código como una caja negra sin entender, así que prefiero no mirarlo, […]

¿Metaprogtwigción estáticamente mecanografiada?

He estado pensando en lo que echaría de menos al trasladar un código Python a un lenguaje tipado estáticamente como F # o Scala; Las bibliotecas pueden ser sustituidas, la concisión es comparable, pero tengo muchos códigos Python, que son los siguientes: @specialclass class Thing(object): @specialFunc def method1(arg1, arg2): … @specialFunc def method2(arg3, arg4, arg5): […]

¿Hay un equivalente de Python para la opción de Scala o cualquiera?

Realmente disfruto usando las mónadas Option y Oither en Scala. ¿Hay algún equivalente para estas cosas en Python? Si no los hay, ¿cuál es la forma pythonica de manejar los errores o la “ausencia de valor” sin lanzar excepciones?

¿Existe un equivalente en scala / java de las colecciones de Python 3?

Quiero una clase que cuente la cantidad de objetos que tengo, que suena más eficiente que reunir todos los objetos y luego agruparlos. Python tiene una estructura ideal en colecciones . Contador, ¿Java o Scala tienen un tipo similar?

¿Cuál es la forma preferida de implementar ‘rendimiento’ en Scala?

Estoy escribiendo código para la investigación de doctorado y estoy empezando a usar Scala. A menudo tengo que hacer el procesamiento de texto. Estoy acostumbrado a Python, cuya statement de ‘rendimiento‘ es extremadamente útil para implementar iteradores complejos en archivos de texto grandes, a menudo de estructura irregular. Existen construcciones similares en otros idiomas (por […]

Arrancando un servidor web en Scala

Lo siguiente es posible usando Python: $ apt-get install python $ easy_install Flask $ cat > hello.py from flask import Flask app = Flask(__name__) @app.route(“/”) def hello(): return “Hello World!” if __name__ == “__main__”: app.run() $ python hello.py 4 comandos y 7 líneas de código para que un servidor web funcione es realmente impresionante. ¿Cuál […]

Simple, sin complicaciones, serialización de placa de cero en Scala / Java similar a Python’s Pickle?

¿Existe un enfoque simple y sin complicaciones para la serialización en Scala / Java que sea similar al pickle de Python? Pickle es una solución simple y bastante razonable que es razonablemente eficiente en espacio y tiempo (es decir, no es abismal) pero no le importa la accesibilidad entre idiomas, el control de versiones, etc. […]

Presentación de múltiples aplicaciones de chispa en modo independiente

Tengo la aplicación de 4 chispas (para encontrar el número de palabras del archivo de texto) que está escrita en 4 idiomas diferentes (R, python, java, scala) ./wordcount.R ./wordcount.py ./wordcount.java ./wordcount.scala spark trabaja en modo independiente … 1.4 nodos de trabajo 2.1 núcleo para cada nodo de trabajador 3.1 gb de memoria para cada nodo […]