Articles of google cloud platform

Utilice la ventana acoplable para las dependencias de flujo de datos de Google Cloud.

Estoy interesado en usar Google Cloud Dataflow para procesar en paralelo videos. Mi trabajo utiliza tanto OpenCV como tensorflow. ¿Es posible simplemente ejecutar los trabajadores dentro de una instancia de ventana acoplable, en lugar de instalar todas las dependencias desde el origen como se describe: https://cloud.google.com/dataflow/pipelines/dependencies-python Habría esperado una bandera para un contenedor docker, que […]

apache_beam.transforms.util.Reshuffle () no está disponible para GCP Dataflow

He actualizado al último paquete apache_beam [gcp] a través de la pip install –upgrade apache_beam[gcp] . Sin embargo, noté que Reshuffle () no aparece en la distribución [gcp] . ¿Esto significa que no podré usar Reshuffle() en ningún canal de flujo de datos? ¿Hay alguna manera de evitar esto? ¿O es posible que el paquete […]

Ejecute la extracción sincrónica en Google Cloud Pub / Sub con la API del cliente de Python

No puedo encontrar la marca returnIm … Inmediatamente en la API del cliente de Python. ¿Hay alguna razón específica para eso? ¿Hay otra forma de obtener un mensaje en cola de forma sincronizada desde una suscripción en Python?

Implementar script de Python en la plataforma de nube Google

Estoy pensando en cómo implementar mi script en la plataforma de nube Google. Ya he creado un directorio o carpeta que contiene el script.py y todas las bibliotecas en la carpeta /lib . lo que no consigo es configurar mi app.yaml para ejecutar script.py (python 2.7) y acceder a lib si es necesario. Tampoco sé […]

BigQuery comprueba la superposición de matrices

Así que estoy escribiendo una consulta de BigQuery y, básicamente, solo necesito poder verificar si alguna de las cadenas está presente como elementos en una de las columnas de la tabla, donde la columna sobre la que se trata contiene matrices de cadenas. Solo por contexto, estoy escribiendo la consulta como parte de un pequeño […]

Cargue ndarray (imagen en OpenCV) en el almacenamiento en la nube de Google como .jpg o .png

Tengo problemas similares, como Cómo cargar una imagen de bytes en Google Cloud Storage desde un script de Python . Probé esto from google.cloud import storage import cv2 from tempfile import TemporaryFile import google.auth credentials, project = google.auth.default() client = storage.Client() # http://sofes.miximages.com/python/ServiceLogin’) with TemporaryFile() as gcs_image: image.tofile(gcs_image) blob = bucket.get_blob(gcs_image) print(blob.download_as_string()) blob.upload_from_string(‘New contents!’) blob2 […]

¿Por qué la exportación de GOOGLE_APPLICATION_CREDENTIALS no funciona con `bq`?

Los documentos de Google dicen que se deben exportar las GOOGLE_APPLICATION_CREDENTIALS con la ruta a la clave JSON de una cuenta de servicio, y gcloud la usará. No puedo conseguir que funcione. Mi orden es: GOOGLE_APPLICATION_CREDENTIALS=/home/ubuntu/.config/google-creds.json bq ls Esto solo trae un error: Actualmente no tienes una cuenta activa seleccionada. Por favor, corre: $ gcloud […]

API de Google Cloud Vision: “La solicitud tenía un scope de autenticación insuficiente”.

Hola, estoy tratando de usar la API de la visión en la nube de Google, específicamente este ejemplo: https://cloud.google.com/vision/docs/label-tutorial#label_tutorial_1 Seguí este tutorial: https://cloud.google.com/vision/docs/getting-started#set_up_a_service_account para configurar una cuenta de servicio, pero cuando ejecuto mi código obtengo: googleapiclient.errors.HttpError: ¿Alguien puede ayudar? No puedo entender qué está pasando, mi código es 1: 1 con los tutoriales.

Cómo agregar “matriz de cadenas” como un valor de esquema para BigQuery

Quiero almacenar una matriz de valores de cadena en una sola columna en BigQuery. Para hacer eso, primero necesito crear una tabla con el esquema apropiado. El identificador de esquema para la matriz es ARRAY donde T es el tipo de datos. Por ejemplo: T reemplazado por INT64 como ARRAY habilita el almacenamiento de una […]

¿Cómo puedo descargar los archivos dentro de una carpeta en la plataforma de nube Google con Python?

from google.cloud import storage client = storage.Client() bucket = client.get_bucket([bucket_name]) blob = bucket.get_blob([path to the .txt file]) blob.download_to_filename([local path to the downloaded .txt file]) ¿Cómo puedo ajustar mi código de Python para agregar algo como el for filename in os.listdir(path): para copiar todos los archivos en una carpeta determinada localmente allí?