Articles of amazon s3

Cómo instalar pymysql en AWS lambda

He buscado aquí y aquí mientras intentaba averiguar cómo hacer funcionar pymysql en AWS lambda. Los ejemplos que he visto hasta ahora son extremadamente complejos, y con el tutorial de GitHub llegué hasta IAM antes de comenzar a encontrar errores de permisos que no sabía cómo resolver. Literalmente, todo lo que quiero hacer es llamar […]

Acceso a metadatos desde AWS S3 con AWS Lambda

Me gustaría recuperar algunos metadatos que agregué (usando la consola x-amz-meta-my_variable) cada vez que subo un objeto a S3. He configurado lambda a través de la consola para disparar cada vez que se carga un objeto en mi cubo Me pregunto si puedo usar algo como variable = event[‘Records’][0][‘s3’][‘object’][‘my_variable’] para recuperar estos datos o si […]

Boto3 S3, ordenados por última modificación

Necesito buscar una lista de elementos de S3 con Boto3, pero en lugar de devolver el orden de clasificación predeterminado (descendente) quiero que lo devuelva a través de orden inverso. Sé que puedes hacerlo a través de awscli: aws s3api list-objects –bucket mybucketfoo –query “reverse(sort_by(Contents,&LastModified))” y es factible a través de la consola de UI […]

¿Puedo usar boto3 de forma anónima?

Con boto pude conectarme a grupos de S3 públicos sin credenciales pasando el argumento anon= keyword. s3 = boto.connect_s3(anon=True) ¿Es esto posible con boto3 ?

¿Alguna forma de escribir archivos DIRECTAMENTE en S3 usando boto3?

Escribí una secuencia de comandos de Python para procesar archivos muy grandes (pocos TB en total), que ejecutaré en una instancia de EC2. Después, quiero almacenar los archivos procesados ​​en un cubo S3. Actualmente, mi script primero guarda los datos en el disco y luego los carga en S3. Desafortunadamente, esto será bastante costoso dado […]

¿Por qué S3 (usar con boto y django-storages) proporciona url firmado incluso para archivos públicos?

Esto es extraño. Tengo una mezcla de archivos públicos y privados. Quiero direcciones URL normales en archivos públicos, y direcciones URL firmadas en archivos privados. Intenté cambiar AWS_QUERYSTRING_AUTH to False como veo por defecto, es True en django-storages. Pero, cuando lo cambio, mi URL de archivos privados no está firmada (por lo tanto, no es […]

Python: Amazon S3 no puede obtener el cazo: dice 403 Prohibido

Tengo un cubo para mi organización en Amazon S3 que se parece a mydev.orgname Tengo una aplicación Java que se puede conectar a Amazon S3 con las credenciales y se puede conectar a S3, crear, leer archivos Tengo un requisito donde una aplicación lee los datos de Python del mismo grupo. Así que estoy usando […]

Leyendo un archivo JSON desde S3 usando Python boto3

Seguí siguiendo JSON en S3 ‘prueba’ de cubo { ‘Details’ : “Something” } Estoy usando el siguiente código para leer este JSON e imprimir la clave ‘Detalles’ s3 = boto3.resource(‘s3’, aws_access_key_id=, aws_secret_access_key= ) content_object = s3.Object(‘test’, ‘sample_json.txt’) file_content = content_object.get()[‘Body’].read().decode(‘utf-8’) json_content = json.loads(repr(file_content)) print(json_content[‘Details’]) Y estoy recibiendo un error ya que ‘los índices de cadena […]

¿Es posible leer un archivo de S3 en Google App Engine usando boto?

Quiero manipular un objeto de python encurtido almacenado en S3 en el recinto de pruebas de Google App Engine. Utilizo la sugerencia en la documentación de boto: from boto.s3.connection import S3Connection from boto.s3.key import Key conn = S3Connection(config.key, config.secret_key) bucket = conn.get_bucket(‘bucketname’) key = bucket.get_key(“picture.jpg”) fp = open (“picture.jpg”, “w”) key.get_file (fp) pero esto requiere […]

Pandas en AWS lambda da error numpy

He estado intentando ejecutar mi código en AWS Lambda, que importa pandas. Así que aquí está lo que he hecho. Tengo un archivo de Python que contiene un código simple como sigue (Este archivo tiene el controlador lambda) import json print(‘Loading function’) import pandas as pd def lambda_handler(event, context): return “Welcome to Pandas usage in […]