Articles of google cloud platform

Google App Engine Standard dev_appserver.py da un error de importación

Estoy intentando ejecutar dev_appserver.py en este ejemplo de matraz estándar de Google App Engine Como dicen las instrucciones corro: pip install -t lib -r requirements.txt dev_appserver.py app.yaml Debería poder ir a http://localhost:8080/form pero obtengo ImportError: No module named msvcrt . Encontré que usar Flask==0.10.1 y Werkzeug==0.12.2 funciona pero nada más nuevo. Versiones: OS: Windows 10 […]

Flujo de datos: uso del módulo Top con Python SDK: PCollection de un solo elemento

Estaba mirando el ejemplo word_counting.py en el repository de incubadora-haz (vinculado a la documentación de Dataflow), y quiero modificarlo para obtener la n con la mayor cantidad de incidencias . Aquí está mi tubería: counts = (lines | ‘split’ >> (beam.ParDo(WordExtractingDoFn()) .with_output_types(unicode)) | ‘pair_with_one’ >> beam.Map(lambda x: (x, 1)) | ‘group’ >> beam.GroupByKey() | ‘count’ […]

¿La mejor forma de importar datos en Google-colaboratory para cómputo y capacitación rápidos?

Estoy ejecutando un modelo de aprendizaje profundo simple en el colab de Google, pero funciona más lento que mi MacBook Air sin GPU. Leí esta pregunta y descubrí que es un problema debido a la importación de conjuntos de datos a través de Internet, pero no puedo descubrir cómo acelerar este proceso. Mi modelo se […]

Normalización de datos con tensorflow tf-transform

Estoy haciendo una predicción de neural network con mis propios conjuntos de datos utilizando Tensorflow. Lo primero que hice fue un modelo que funciona con un pequeño conjunto de datos en mi computadora. Después de esto, cambié un poco el código para usar Google Cloud ML-Engine con conjuntos de datos más grandes para realizar en […]

Leyendo blobs realmente grandes sin descargarlos en Google Cloud (¿streaming?)

¡por favor ayuda! [+] Lo que tengo: Un montón de manchas en cada cubo. Los blobs pueden variar en tamaño desde ser menos de un Kilo-byte a ser muchos Giga-bytes. [+] Lo que estoy tratando de hacer: necesito poder transmitir los datos en esos blobs (como un búfer de tamaño 1024 o algo así) o […]

Google Cloud Storage – ¿Cómo cargar un archivo desde Python 3?

¿Cómo puedo cargar un archivo en Google Cloud Storage desde Python 3? Eventualmente Python 2, si no es factible desde Python 3. He mirado y mirado, pero no he encontrado una solución que realmente funcione. Intenté boto , pero cuando trato de generar el archivo .boto necesario a través de gsutil config -e , sigue […]

Convertir JSON en JSON delimitado de nueva línea en Python

Mi objective es convertir el archivo JSON en un formato que pueda cargarse desde Cloud Storage en BigQuery ( como se describe aquí ) con Python. He intentado usar el paquete newlineJSON para la conversión, pero recibe el siguiente error. JSONDecodeError: Expecting value or ‘]’: line 2 column 1 (char 5) ¿Alguien tiene la solución […]

Utilice la ventana acoplable para las dependencias de flujo de datos de Google Cloud.

Estoy interesado en usar Google Cloud Dataflow para procesar en paralelo videos. Mi trabajo utiliza tanto OpenCV como tensorflow. ¿Es posible simplemente ejecutar los trabajadores dentro de una instancia de ventana acoplable, en lugar de instalar todas las dependencias desde el origen como se describe: https://cloud.google.com/dataflow/pipelines/dependencies-python Habría esperado una bandera para un contenedor docker, que […]

apache_beam.transforms.util.Reshuffle () no está disponible para GCP Dataflow

He actualizado al último paquete apache_beam [gcp] a través de la pip install –upgrade apache_beam[gcp] . Sin embargo, noté que Reshuffle () no aparece en la distribución [gcp] . ¿Esto significa que no podré usar Reshuffle() en ningún canal de flujo de datos? ¿Hay alguna manera de evitar esto? ¿O es posible que el paquete […]

Ejecute la extracción sincrónica en Google Cloud Pub / Sub con la API del cliente de Python

No puedo encontrar la marca returnIm … Inmediatamente en la API del cliente de Python. ¿Hay alguna razón específica para eso? ¿Hay otra forma de obtener un mensaje en cola de forma sincronizada desde una suscripción en Python?