Articles of boto

¿Cómo obtengo el tamaño de archivo / clave en boto S3?

Debe haber una manera fácil de obtener el tamaño del archivo (tamaño de la clave) sin pasar por un archivo completo. Puedo verlo en las Propiedades del navegador AWS S3. Y creo que puedo sacarlo del encabezado “Contenido de longitud” de una solicitud “HEAD”. Pero no estoy conectando los puntos sobre cómo hacer esto con […]

Subir imagen disponible en la URL pública a S3 usando boto

Estoy trabajando en un entorno web de Python y simplemente puedo cargar un archivo del sistema de archivos a S3 usando key.set_contents_from_filename de boto‘s (ruta / a / archivo). Sin embargo, me gustaría subir una imagen que ya está en la web (por ejemplo, http://sofes.miximages.com/python/A9h_htACIAAaCf6.jpg:large ). ¿Debería descargar de alguna manera la imagen al sistema […]

La forma más rápida de descargar 3 millones de objetos desde un cubo S3

He intentado usar Python + boto + multiprocessing, S3cmd y J3tset pero luchando con todos ellos. ¿Alguna sugerencia, tal vez un script preparado que haya estado usando o de alguna otra forma que no conozca? EDITAR: eventlet + boto es una solución valiosa como se menciona a continuación. Encontré un buen artículo de referencia de […]

Al utilizar la biblioteca de Amazon s3 boto, ¿cómo puedo obtener la URL de una clave guardada?

Estoy guardando una llave en un cubo con: key = bucket.new_key(fileName) key.set_contents_from_string(base64.b64decode(data)) key.set_metadata(‘Content-Type’, ‘image/jpeg’) key.set_acl(‘public-read’) Una vez que se haya guardado correctamente, ¿cómo puedo acceder a la URL del archivo recién creado?

Creando mTurk HIT desde Layout con parámetros usando boto y python

Estoy intentando utilizar boto para generar un HIT en turk mecánicos. El objective es utilizar un diseño común que ya se genera en mi cuenta de mTurk, y pasarle urls de imágenes para crear HIT de forma iterativa. El problema es que incluso con la correcta asignación de nombre al parámetro si para las URL […]

¿Cómo crear un cubo s3 utilizando Boto3?

Quiero habilitar los registros de cloudtrail para mi cuenta y, por lo tanto, necesito crear un depósito de s3. Quería automatizar esta tarea usando Boto3. Actualmente estoy usando la siguiente secuencia de comandos sess = Session(aws_access_key_id=tmp_access_key, aws_secret_access_key=tmp_secret_key, aws_session_token=security_token) s3_conn_boto3 = sess.client(service_name=’s3′, region_name=region) bucket = s3_conn_boto3.create_bucket(Bucket=access_log_bucket_name, CreateBucketConfiguration={‘LocationConstraint’:’us-east-1′}, ACL=’authenticated-read’,..). Soy nuevo en Boto3, por lo que no […]

Amazon S3 Python S3Boto 403 prohibido cuando la firma tiene el signo ‘+’

Estoy usando Django y S3Boto y cada vez que una firma tiene un signo ‘+’ , obtengo un 403 Forbidden . Si no hay un signo ‘+’ en la firma, obtengo el recurso correctamente. ¿Qué podría estar mal aquí? ACTUALIZAR: El repository está en: https://github.com/boto/boto Los archivos en cuestión son: boto/utils.py boto/s3/connection.py NOTA: Soy bastante […]

Cómo conectarse a S3 en python y descargar un csv

Quiero conectarme a un grupo privado de s3 y descargar un csv en python. ¿Como hacer esto? Veo muchos comentarios hablando sobre boto3, así que esto es lo que he intentado y está fallando. from boto3.session import Session import pandas as pd import boto3 ACCESS_KEY=’A’ SECRET_KEY=’s/’ session = Session(aws_access_key_id=ACCESS_KEY, aws_secret_access_key=SECRET_KEY) s3 = session.resource(‘s3’) obj = […]

AWS boto Obtener instantáneas en el período de tiempo

Estoy usando AWS y obteniendo instantáneas usando boto (“La interfaz de Python para Amazon Web Services”). Estoy extrayendo todas las instantáneas usando conn.get_all_snapshots() , pero solo quiero recuperar los datos necesarios. Estoy usando un calendario para ver las instantáneas, por lo que sería muy útil si solo pudiera sacar las instantáneas dentro del mes actual […]

Liberar un mensaje a SQS

Tengo algunos servidores EC2 que sacan el trabajo de una cola SQS. De vez en cuando, se encuentran con una situación en la que no pueden terminar el trabajo. Tengo el proceso de enviarme un correo electrónico de la condición. Tal como está ahora, el mensaje permanece “en vuelo” hasta que se agote. Me gustaría […]