Desarrollo de Python
  1. Desarrollo de Python
  3. Especificar las propiedades de parquet pyspark
Intereting Posts
Comstackndo pygraphviz: opción de línea de comando no reconocida ‘-mno-cygwin’ diferencias entre “d = dict ()” y “d = {}” Serializar los métodos @property en una clase de Python formas de multiplicación de matriz numpy ¿Por qué mi cámara FPS está rodando, de una vez por todas? Cómo dejar / salir / desactivar un virtualenv de Python Generando texto plano desde un volcado de base de datos de Wikipedia Comportamiento extraño en una función al implementar el algoritmo de poda alfa-beta Instalación de Theano en Windows – Error de carga de DLL ¿Cómo cambiar el nombre de archivo de un archivo cargado en Django? Agrupando 500,000 puntos geoespaciales en python Python pip problemas de instalación de Requirements.txt Los árboles potenciados con gradiente de Spark ML no utilizan todos los nodos Controlando el mouse con Python Pygame, consigue el objeto clave del personaje

Especificar las propiedades de parquet pyspark

¿Cómo especificar el tamaño de bloque de parquet y el tamaño de página en PySpark? He buscado en todas partes, pero no puedo encontrar ninguna documentación para las llamadas de función o las bibliotecas de importación.

Según los archivos de usuarios de chispas. 

sc.hadoopConfiguration.setInt("dfs.blocksize", some_value) sc.hadoopConfiguration.setInt("parquet.block.size", some_value)

así que en PySpark 

 sc._jsc.hadoopConfiguration().setInt("dfs.blocksize", some_value) sc._jsc.hadoopConfiguration().setInt("parquet.block.size", some_value)