Pyspark Guardar el dataframe a S3

Quiero guardar el dataframe en s3, pero cuando guardo el archivo en s3, crea un archivo vacío con ${folder_name} , en el que quiero guardar el archivo.

Sintaxis para guardar el dataframe: –

 f.write.parquet("s3n://bucket-name/shri/test") 

Guarda el archivo en la carpeta de prueba pero crea $test en shri .

¿Hay alguna manera de guardarlo sin crear esa carpeta extra?

Pude hacerlo usando el código de abajo.

 df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite") 

Que yo sepa, no hay forma de controlar la denominación de los archivos de parquet reales. Cuando escribe un dataframe en un parquet, especifica cuál debería ser el nombre del directorio, y spark crea los archivos de parquet apropiados bajo ese directorio.

Encontré un post similar en la stack, aquí está el enlace. Tiene respuesta a la pregunta.

Archivo de salida de Junk Spark en S3 con signos de dólar