Articles of amazon web services

Clasificar imágenes sobre conceptos básicos de similitud.

Tengo 30, 40 imágenes de seres humanos, que quiero obtener en código Python. Y hacer grupo de fotos similares. Como 5 pic de john y 10 de peter. Me gusta esto . Soy nuevo en el procesamiento de imágenes. Así que mi pregunta es qué algo es mejor para esto. Y quiero hacer esto en […]

Filtrado de JSON nested en AWS Glue

Nos gustaría usar un trabajo de AWS-Glue para filtrar los mensajes JSON dentro de un grupo de s3. Aquí hay algunos ejemplos de JSON: { “property”: {“subproperty1”: “A”, “subproperty2”: “B” }} { “property”: {“subproperty1”: “C”, “subproperty2”: “D” }} Queremos filtrar en subproperty1 in [“A”, “B”] . Esto es lo que intentamos: applyFilter1 = Filter.apply( frame […]

Hadoop / Elastic Map Reducir con ejecutable binario?

Estoy escribiendo y distribuyendo una aplicación de procesamiento de imágenes que utiliza hadoop streaming, python, matlab y elastic map map. He comstackdo un ejecutable binario de mi código matlab usando el comstackdor matlab. Me pregunto cómo puedo incorporar esto en mi flujo de trabajo para que el binario sea parte del procesamiento en el mapa […]

Para verificar si la instancia de AWS está activa después de reiniciar usando Python

¿Hay alguna manera de verificar si una instancia de AWS finalmente se ha generado en Python usando boto3 o de otra manera? El estado de ejecución no distingue entre reiniciar y finalmente la fase arriba.

pymongo: no se puede conectar a mongodb que se ejecuta en EC2

Me estoy conectando a un servidor mongodb en EC2. Las colecciones mongo requieren autenticación para conectarse. Intenté todo, pero recibo el siguiente error y parece que no puedo corregirlo. from pymongo import MongoClient mongo_username = “username” mongo_password = “password” ssh_user = “user” ssh_address = “ec2-**********.amazonaws.com” ssh_port = 22 private_key = “path/to/key/mykey.pem” def connect_to_mongo(): try: client […]

La carga de la imagen del matraz a S3 solo envía HTML

Estoy intentando crear una aplicación pequeña que carga imágenes en un compartimiento de Amazon S3. Finalmente pude cargar algo con éxito, sin embargo, cuando lo revisé en la consola S3, todo lo que se cargó fue HTML: Matraz: def s3upload(image, acl=’public-read’): key = app.config[‘S3_KEY’] secret = app.config[‘S3_SECRET’] bucket = app.config[‘S3_BUCKET’] conn = S3Connection(key, secret) mybucket […]

Comparando un gran conjunto de imágenes por contenido

Estoy ejecutando un servidor con Flask (Python) que permite a los usuarios cargar imágenes. (Eventualmente, las imágenes se enviarán a un contenedor de S3; por ahora, solo se guardan en el disco). Sin embargo, quiero evitar imágenes duplicadas y similares. Esto significa que cada vez que un usuario intenta cargar una imagen, tengo que buscar […]

Obteniendo el error “ImportError: no se puede importar el nombre HTTPSConnection” en Python 2.7

Estoy tratando de implementar django en AWS ElasticBeanstalk. Mientras estaba siguiendo los pasos que se muestran aquí , me quedo con el comando “eb init”. Estoy usando Python 2.7 en Ubuntu 12.10 (vmware) Estoy recibiendo el error de la siguiente manera: eb init ….. from lib.aws.http_client import HTTP_GET, HTTP_POST File “/home/g/Documents/Files/AWS/AWS-ElasticBeanstalk-CLI-2.4.0/eb/linux/python2.7/lib/aws/http_client.py”, line 17, in from […]

AWS EMR Spark “Sin módulo llamado pyspark”

Creé un cluster de chispas, ssh en el master, y lancé el shell: MASTER=yarn-client ./spark/bin/pyspark Cuando hago lo siguiente: x = sc.textFile(“s3://location/files.*”) xt = x.map(lambda x: handlejson(x)) table= sqlctx.inferSchema(xt) Obtuve el siguiente error: Error from python worker: /usr/bin/python: No module named pyspark PYTHONPATH was: /mnt1/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/filecache/11/spark-assembly-1.1.0-hadoop2.4.0.jar java.io.EOFException java.io.DataInputStream.readInt(DataInputStream.java:392) org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:151) org.apache.spark.api.python.PythonWorkerFactory.createThroughDaemon(PythonWorkerFactory.scala:78) org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:54) org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:97) org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:66) org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262) org.apache.spark.rdd.RDD.iterator(RDD.scala:229) org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:62) […]

Instalar paquete personalizado de python en virtualenv

Quiero implementar una aplicación de flask de python utilizando Elastic Beanstalk de Amazon. Por lo tanto, quiero usar virtualenv para asegurarme de obtener los paquetes correctos. Sin embargo, un paquete (docx) no está disponible a través de pip y me gustaría instalarlo manualmente. Si lo instalo manualmente a través de python setup.py install la instalación […]