Articles of amazon s3

Filtrado de JSON nested en AWS Glue

Nos gustaría usar un trabajo de AWS-Glue para filtrar los mensajes JSON dentro de un grupo de s3. Aquí hay algunos ejemplos de JSON: { “property”: {“subproperty1”: “A”, “subproperty2”: “B” }} { “property”: {“subproperty1”: “C”, “subproperty2”: “D” }} Queremos filtrar en subproperty1 in [“A”, “B”] . Esto es lo que intentamos: applyFilter1 = Filter.apply( frame […]

Django no servirá archivos estáticos de Amazon S3 con un dominio personalizado

Hice la configuración de mi proyecto Django, DNS y bucket en Amazon S3 pero python manage.py collectstatic y, por lo tanto, los archivos cargados manualmente no funcionan. Configuración de AWS S3: Nombre del cubo: files.domain.com Política del cubo: { “Id”: “Policy1483363850641”, “Version”: “2012-10-17”, “Statement”: [ { “Sid”: “Stmt1483363848944”, “Action”: “s3:*”, “Effect”: “Allow”, “Resource”: “arn:aws:s3:::files.domain.com/*”, “Principal”: […]

La carga de la imagen del matraz a S3 solo envía HTML

Estoy intentando crear una aplicación pequeña que carga imágenes en un compartimiento de Amazon S3. Finalmente pude cargar algo con éxito, sin embargo, cuando lo revisé en la consola S3, todo lo que se cargó fue HTML: Matraz: def s3upload(image, acl=’public-read’): key = app.config[‘S3_KEY’] secret = app.config[‘S3_SECRET’] bucket = app.config[‘S3_BUCKET’] conn = S3Connection(key, secret) mybucket […]

Archivo S3 a local utilizando luigi plantea UnicodeDecodeError

Estoy copiando un archivo pdf a local, usando el siguiente código: with self.input_target().open(‘r’) as r: with self.output_target().open(‘w’) as w: for line in r: w.write(line) Que se basa en esta pregunta (tipo de) Pero cuando ejecuto ese código obtengo lo siguiente: UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xe2 in position 11: invalid continuation byte Probé este […]

Pyspark Guardar el dataframe a S3

Quiero guardar el dataframe en s3, pero cuando guardo el archivo en s3, crea un archivo vacío con ${folder_name} , en el que quiero guardar el archivo. Sintaxis para guardar el dataframe: – f.write.parquet(“s3n://bucket-name/shri/test”) Guarda el archivo en la carpeta de prueba pero crea $test en shri . ¿Hay alguna manera de guardarlo sin crear […]

Python / Boto 3: ¿Cómo recuperar / descargar archivos de AWS S3?

En Python / Boto 3, descubrí que para descargar un archivo individualmente desde S3 a local, puedes hacer lo siguiente: bucket = self._aws_connection.get_bucket(aws_bucketname) for s3_file in bucket.list(): if filename == s3_file.name: self._downloadFile(s3_file, local_download_directory) break; Y para descargar todos los archivos en un directorio elegido: else: bucket = self._aws_connection.get_bucket(aws_bucketname) for s3_file in bucket.list(): self._downloadFile(s3_file, local_download_directory) Y […]

PermanentRedirect al llamar a la operación PutObject

El siguiente código funciona localmente y carga archivos desde un directorio a S3. Está utilizando Boto3 con Python 3. s3 = boto3.resource(‘s3’, aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_ACCESS_KEY_SECRET) bucket = s3.Bucket(bucket_name) uploadFileNames = [] for (sourceDir, dirname, filenames) in os.walk(sourceDir): for filename in filenames: bucket.put_object(Key=filename, Body=open(“{}{}”.format(sourceDir, filename), “rb”)) break Mi problema es que cuando ejecuto el mismo código en […]

Carga de la imagen: iPhone Client – Django – S3

Tengo una pregunta general con respecto a las subidas de un cliente (en este caso, una aplicación de iPhone) a S3. Estoy usando Django para escribir mi servicio web en una instancia de EC2. El siguiente método es el mínimo para cargar un archivo en S3 y funciona muy bien con archivos más pequeños (jpgs […]

¿Cómo leo un csv almacenado en S3 con csv.DictReader?

Tengo un código que recupera un objeto AWS S3. ¿Cómo leo este StreamingBody con csv.DictReader de Python? import boto3, csv session = boto3.session.Session(aws_access_key_id=, aws_secret_access_key=, region_name=) s3_resource = session.resource(‘s3’) s3_object = s3_resource.Object(, ) streaming_body = s3_object.get()[‘Body’] #csv.DictReader(???)

Carga directa a S3 usando Python / Boto / Django para construir una política

He pasado por muchas iteraciones de este problema hasta ahora, he buscado muchos ejemplos diferentes y he revisado toda la documentación. Estoy tratando de combinar Plupload ( http://www.plupload.com/ ) con el método de publicación directa AWS S3 ( http://aws.amazon.com/articles/1434 ). Sin embargo, creo que hay algo malo en la forma en que estoy construyendo mi […]