Tenemos una aplicación App Engine que escribe muchos archivos de un tamaño relativamente grande en Google Cloud Store. Estos archivos son CSV que se crean dinámicamente, por lo que usamos StringIO.StringIO de Python como búfer y csv.writer como la interfaz para escribir en ese búfer. En general, nuestro proceso se ve así: # imports as […]
He estado tratando de crear una URL firmada con gsutil de almacenamiento en la nube de Google, he estado usando python desde mi máquina de Windows Hasta ahora lo que he hecho es Creé una cuenta de servicio desde la consola de desarrolladores de Google. Luego, desde mi python, ejecuté este comando para configurar la […]
En el motor de aplicaciones puedo servir archivos de cloudstorage como un pdf utilizando el paquete predeterminado de mi aplicación: http://storage.googleapis.com/.appspot.com/ Pero, ¿cómo puedo servir archivos locales de almacenamiento en la nube en el SDK, sin hacer uso de blob_key? Escribo en el cubo por defecto de esta manera: gcs_file_name = ‘/%s/%s’ % (app_identity.get_default_gcs_bucket_name(), file_name) […]
Este debería ser un requisito bastante común y un proceso simple: cargar datos de forma masiva en el almacén de datos de Appengine. Sin embargo, ninguna de las soluciones anteriores mencionadas en stackoverflow (enlaces a continuación *) parece funcionar más. El método de carga masiva, que fue la solución más razonable al cargar en el […]
He estado decapando los objetos al sistema de archivos y volviéndolos a leer cuando es necesario para trabajar con esos objetos. Actualmente tengo este código para ese propósito. def pickle(self, directory, filename): if not os.path.exists(directory): os.makedirs(directory) with open(directory + ‘/’ + filename, ‘wb’) as handle: pickle.dump(self, handle) @staticmethod def load(filename): with open(filename, ‘rb’) as handle: […]
Me gustaría utilizar las funciones de la biblioteca del cliente de almacenamiento en la nube de Google . Para eso tengo que import cloudstorage . Para obtener el cloudstorage descargo la biblioteca del cliente Google Cloud Storage . Intento importar cloudstorage usando python -c “import cloudstorage” . Obtuve el siguiente error: Traceback (most recent call […]
He leído la pregunta de Envío de imágenes al almacenamiento en la nube de Google mediante el motor de aplicaciones de Google . Sin embargo, los códigos en la respuesta que el archivo se cargará primero en Blobstore, por lo que el archivo no se puede superar en 32 MB. ¿Cómo puedo cargar el archivo […]
Estoy intentando cargar una consulta grande de pandas.DataFrame en Google utilizando la función pandas.DataFrame.to_gbq() documentada aquí . El problema es que to_gbq() tarda 2.3 minutos, mientras que la carga directa a Google Cloud Storage GUI demora menos de un minuto. Estoy planeando subir un montón de marcos de datos (~ 32) cada uno con un […]
Estoy intentando configurar un sitio de motor de aplicación de google basado en python básico que permita a los usuarios cargar archivos en el almacenamiento en la nube de Google (principalmente imágenes) He estado revisando la documentación de la API JSON y la descripción general de la biblioteca del cliente GCS (así como de blobstore, […]
Quiero que google.appengine.ext.blobstore y google.appengine.api.images funcionen fuera de App Engine. ¿Estos módulos requieren App Engine para funcionar? Quiero crear URL públicas pero no adivinables de mis imágenes en Google Cloud Storage y servirlas a través de Django. Leí que esto se hace con google.appengine.ext.blobstore.create_gs_key() y google.appengine.api.images.get_serving_url() . Esto es lo que tengo hasta ahora: from […]