Articles of amazon s3

Manejo de errores: Boto: Restablecimiento de la conexión por Peer

Tengo un script que se descarga desde Amazon S3. Los guiones funcionan el 99.9% del tiempo. Ocasionalmente obtengo el siguiente error (socket.error: [Errno 104] Restablecimiento de la conexión por par). Una vez que reinicie el código el error parece desaparecer. Ya que es difícil recrear el error. Espero que el código copiado a continuación solucione […]

¿Cómo actualizar los metadatos de un objeto existente en AWS S3 usando python boto3?

La documentación de boto3 no especifica claramente cómo actualizar los metadatos del usuario de un objeto S3 ya existente.

Sube directamente a S3 desde django

Estoy realmente atascado aquí. Quiero poder subir directamente a S3 desde un formulario de django. Esto se va a utilizar para mantener imágenes en pantalla. Seguí esto: http://django-storages.readthedocs.org/en/latest/backends/amazon-S3.html pero lamentablemente me quedo atascado en la adición DEFAULT_FILE_STORAGE = ‘storages.backends.s3.S3Storage’ a settings.py por alguna razón. django ni siquiera reconoce el cambio que he hecho. (Lo cambié […]

Cómo leer un archivo csv desde un cubo de s3 usando Pandas en Python

Estoy tratando de leer un archivo CSV ubicado en un cubo de AWS S3 en la memoria como un dataframe de pandas usando el siguiente código: import pandas as pd import boto data = pd.read_csv(‘s3:/example_bucket.s3-website-ap-southeast-2.amazonaws.com/data_1.csv’) Para dar acceso completo, he establecido la política de depósito en el depósito S3 de la siguiente manera: { “Version”: […]

PySpark usando roles IAM para acceder a S3

Me pregunto si PySpark admite el acceso a S3 utilizando los roles IAM. Específicamente, tengo una restricción comercial en la que tengo que asumir un rol de AWS para acceder a un grupo dado. Esto está bien cuando se usa boto (ya que es parte de la API), pero no puedo encontrar una respuesta definitiva […]

Amazon AWS Cognito y Python Boto3 para establecer la conexión de AWS y cargar archivos en Bucket

Estoy tratando de usar el servicio de AWS cognito para autenticar y cargar un archivo. Me han proporcionado mi regionType, identityPool, ID de cuenta de AWS y UnAuthRole. También sé los nombres de producción y desarrollo del cubo. Creo que estoy configurando la clave de acceso de AWS y la clave secreta de AWS … […]

Python Generated Signature para S3 Post

Creo que he leído casi todo lo que hay que leer en la encoding de base 64 de una firma para publicación en el navegador, basada en formularios en S3: documentos antiguos y nuevos. Por ejemplo: http://doc.s3.amazonaws.com/proposals/post.html Y hasta encontré esto: http://s3.amazonaws.com/doc/s3-example-code/post/post_sample.html En lugar de usar el generador de políticas más nuevo de Amazon o […]

Carga de Amazon AWS S3 basada en el navegador usando POST –

Estoy creando una aplicación web que incluye una función de carga de archivos. Mi objective es iniciar la carga de los usuarios directamente a un contenedor S3. La estrategia es firmar previamente una solicitud POST que se enviará como un formulario. El obstáculo es un error de SignatureDoesNotMatch ; por lo que puedo decir, me […]

¿Cómo puedo listar el contenido del directorio de un grupo de S3 usando Python y Boto3?

Estoy intentando enumerar todos los directorios dentro de un grupo de S3 usando Python y Boto3. Estoy usando el siguiente código: s3 = session.resource(‘s3’) # I already have a boto3 Session object bucket_names = [ ‘this/bucket/’, ‘that/bucket/’ ] for name in bucket_names: bucket = s3.Bucket(name) for obj in bucket.objects.all(): # this raises an exception # […]

¿Cómo clonar una clave en Amazon S3 usando Python (y boto)?

Tengo un archivo contenido en una clave en mi cubo S3. Quiero crear una nueva clave, que contendrá el mismo archivo. ¿Es posible hacerlo sin descargar ese archivo? Estoy buscando una solución en Python (y preferiblemente una biblioteca de boto).