¿Hay algo similar a la notación de corte en Python en Scala? Creo que esta es realmente una operación útil que debería incorporarse en todos los idiomas.
¿Es posible implementar en Scala algo equivalente a la statement de yield Python donde recuerda el estado local de la función donde se usa y “produce” el siguiente valor cada vez que se llama? Quería tener algo como esto para convertir una función recursiva en un iterador. Algo así como esto: # this is python […]
He estado buscando por un tiempo si hay alguna forma de usar una clase Scala en Pyspark , y no he encontrado ninguna documentación ni guía sobre este tema. Digamos que creo una clase simple en Scala que usa algunas bibliotecas de apache-spark , algo como: class SimpleClass(sqlContext: SQLContext, df: DataFrame, column: String) { def […]
Todos los ejemplos de “servidores” en scala utilizan actores, reactores, etc. Alguien me puede mostrar cómo escribir un servidor y cliente de eco simple y muerto, como en el siguiente ejemplo de Python de Servidor y Cliente : # A simple echo server import socket host = ” port = 50000 backlog = 5 size […]
Quiero poder usar una función de Scala como UDF en PySpark package com.test object ScalaPySparkUDFs extends Serializable { def testFunction1(x: Int): Int = { x * 2 } def testUDFFunction1 = udf { x: Int => testFunction1(x) } } Puedo acceder a testFunction1 en PySpark y hacer que devuelva valores: functions = sc._jvm.com.test.ScalaPySparkUDFs functions.testFunction1(10) Lo […]
Tengo problemas para encontrar en la documentación de Spark las operaciones que causan una reproducción aleatoria y una operación que no lo hace. En esta lista, ¿cuáles causan una confusión y cuáles no? Mapa y filtro no lo hace. Sin embargo, no estoy seguro con los demás. map(func) filter(func) flatMap(func) mapPartitions(func) mapPartitionsWithIndex(func) sample(withReplacement, fraction, seed) […]
¿Es posible canalizar Spark RDD a Python? Porque necesito una biblioteca de Python para hacer un cálculo de mis datos, pero mi proyecto principal de Spark se basa en Scala. ¿Hay alguna forma de mezclarlos o permitir que Python acceda al mismo contexto de chispa?
Tengo un HTTPD access_log pésimo y solo quiero omitir las líneas “pésimas”. En Scala esto es sencillo: import scala.util.Try val log = sc.textFile(“access_log”) log.map(_.split(‘ ‘)).map(a => Try(a(8))).filter(_.isSuccess).map(_.get).map(code => (code,1)).reduceByKey(_ + _).collect() Para python tengo la siguiente solución definiendo explícitamente una función en contraste usando la notación “lambda”: log = sc.textFile(“access_log”) def wrapException(a): try: return a[8] […]
¿Cuál es la forma más corta / elegante de implementar el siguiente código de Scala con un atributo abstracto en Python? abstract class Controller { val path: String } Se aplica una subclase de Controller para definir “ruta” por el comstackdor de Scala. Una subclase se vería así: class MyController extends Controller { override val […]
En teoría, Dalvik ejecuta cualquier código de byte de máquina virtual, creado, por ejemplo, con los comstackdores de Aspecto Fusión fría Clojure Maravilloso Script JavaFX JRuby Jython Rinoceronte Scala ¿Ya existen versiones de comstackdores de código de bytes para Dalvik disponibles para otros idiomas además de Java?