Articles of amazon s3

Múltiples sistemas Django Storage Backend

Tengo la aplicación django que usaba el backend S3BotoStorage para almacenar los archivos cargados en Amazon s3. Pero en los servicios de api web (usando django-tastypie) tardaba mucho tiempo en cargar el archivo en s3. Como hubo solicitudes, se pasa a través del servidor web y luego al servidor de almacenamiento Amazon S3. Por lo […]

HTTPSConnectionPool (host = ‘s3-us-west-1b.amazonaws.com’, puerto = 443): se rebasaron los rebashs máximos con url

Estoy tratando de copiar un archivo de mi instancia de aws ec2 a la carpeta de S3, pero estoy recibiendo un error Aquí está el ejemplo de comando aws s3 cp /home/abc/icon.jpg s3: // mybucket / myfolder Este es el error que estoy recibiendo carga fallida: ./icon.jpg a s3: //mybucket/myfolder/icon.jpg HTTPSConnectionPool (host = ‘s3-us-west-1b.amazonaws.com’, puerto […]

Lectura de archivos activados por el evento s3.

Esto es lo que quiero hacer: El usuario carga un archivo csv en AWS S3 bucket. Al subir el archivo, S3 bucket invoca la función lambda que he creado. Mi función lambda lee el contenido del archivo csv, luego envía un correo electrónico con el contenido y la información del archivo Ambiente local Versión de […]

Completa un multipart_upload con boto3?

Intenté esto: import boto3 from boto3.s3.transfer import TransferConfig, S3Transfer path = “/temp/” fileName = “bigFile.gz” # this happens to be a 5.9 Gig file client = boto3.client(‘s3’, region) config = TransferConfig( multipart_threshold=4*1024, # number of bytes max_concurrency=10, num_download_attempts=10, ) transfer = S3Transfer(client, config) transfer.upload_file(path+fileName, ‘bucket’, ‘key’) Resultado: 5.9 archivo de concierto en s3. No parece […]

S3 usando boto y SigV4 – parámetro de host faltante

Durante el desarrollo utilicé un cubo S3 en Irlanda, que funcionó bien. Para la producción, quiero usar la nueva ubicación de “Frankfurt” de S3, pero aparentemente la nueva región de Frankfurt usa “SigV4” que rompe mi script de python. Al agregar el siguiente bloque a ~ / .boto, aparece el siguiente error: ~ / .boto: […]

Usando boto, establezca content_type en archivos que ya están presentes en s3

Estoy usando almacenes django con el backend s3boto. Según este problema, http://code.larlet.fr/django-storages/issue/5/s3botostorage-set-content-type-header-acl-fixed-use-http-and-disable-query-auth-by Tengo un montón de archivos (todos ellos) que tienen el tipo de contenido ‘application / octet-stream’. Dado que tengo una instancia de , ¿cómo puedo configurar el tipo de contenido? In [29]: a.file.file.key.content_type Out[29]: ‘application/octet-stream’ In [30]: mimetypes.guess_type(a.file.file.key.name)[0] Out[30]: ‘image/jpeg’ In [31]: type(a.file.file.key) […]

Luigi Pipeline a partir de S3

Mis archivos iniciales están en AWS S3 . ¿Podría alguien señalarme cómo necesito configurar esto en una Luigi Task ? luigi.S3 la documentación y encontré luigi.S3 pero no tengo claro qué hacer con eso, luego busqué en la web y solo obtuve enlaces de mortar-luigi e implementación encima de luigi. ACTUALIZAR Después de seguir el […]

¿Cómo puedo leer desde S3 en pyspark ejecutando en modo local?

Estoy usando PyCharm 2018.1 usando Python 3.4 con Spark 2.3 instalado a través de pip en un virtualenv. No hay instalación de hadoop en el host local, por lo que no hay instalación de Spark (por lo tanto no hay SPARK_HOME, HADOOP_HOME, etc.) Cuando bash esto: from pyspark import SparkConf from pyspark import SparkContext conf […]

python: carga de un gráfico desde la memoria a s3 usando matplotlib y boto

Este es mi script de trabajo que genera un gráfico, lo guarda localmente en el disco, lo carga en S3 y elimina el archivo: plt.figure(figsize=(6,6)) plt.plot(x, y, ‘bo’) plt.savefig(‘file_location’) conn = boto.s3.connect_to_region( region_name=AWS_REGION, aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_SECRET_ACCESS_KEY, calling_format=boto.s3.connection.OrdinaryCallingFormat() ) bucket = conn.get_bucket(‘bucket_name’) k = Key(bucket) k.key = ‘file_name’ k.set_contents_from_filename(‘file_location’) os.remove(file_location) Lo que quiero es omitir la escritura […]

Leyendo múltiples archivos csv desde S3 bucket con boto3

Necesito leer varios archivos csv de S3 con boto3 en python y finalmente combinar esos archivos en un solo dataframe en pandas. Soy capaz de leer un solo archivo de la siguiente secuencia de comandos en Python s3 = boto3.resource(‘s3’) bucket = s3.Bucket(‘test-bucket’) for obj in bucket.objects.all(): key = obj.key body = obj.get()[‘Body’].read() Siguiendo mi […]