Articles of google cloud platform

Autenticación de la API de Google con una cuenta de servicio mediante Python Oauthlib

No quiero usar la biblioteca de cliente de las API de Google para Python, pero todavía quiero acceder a la API de Google en Python usando Oauthlib . Después de crear una cuenta de servicio en la consola de desarrolladores de Google , descargué el archivo json con la información para autenticar y luego hacer […]

No se puede leer el archivo csv cargado en el contenedor de almacenamiento en la nube de Google

Objetivo: leer el archivo csv cargado en el contenedor de almacenamiento en la nube de Google. Entorno: ejecute el cuaderno Jupyter utilizando la instancia SSH en el nodo maestro. Uso de python en el cuaderno Jupyter que intenta acceder a un archivo csv simple cargado en el depósito de almacenamiento en la nube de Google. […]

DockerDaemonConnectionError al configurar Google Cloud Managed VM en Ubuntu

Estoy tratando de instalar Google Cloud Managed VM en Ubuntu de acuerdo con estos manuales: [1] , [2] He instalado Docker siguiendo la guía de instalación de Docker . Ejecutar Docker con: sudo docker -H tcp://127.0.0.1:2376 -d He creado claves de certificado de acuerdo con la guía HTTPS Docker . Mis variables de entorno: DOCKER_HOST […]

Google App Engine Standard dev_appserver.py da un error de importación

Estoy intentando ejecutar dev_appserver.py en este ejemplo de matraz estándar de Google App Engine Como dicen las instrucciones corro: pip install -t lib -r requirements.txt dev_appserver.py app.yaml Debería poder ir a http://localhost:8080/form pero obtengo ImportError: No module named msvcrt . Encontré que usar Flask==0.10.1 y Werkzeug==0.12.2 funciona pero nada más nuevo. Versiones: OS: Windows 10 […]

Flujo de datos: uso del módulo Top con Python SDK: PCollection de un solo elemento

Estaba mirando el ejemplo word_counting.py en el repository de incubadora-haz (vinculado a la documentación de Dataflow), y quiero modificarlo para obtener la n con la mayor cantidad de incidencias . Aquí está mi tubería: counts = (lines | ‘split’ >> (beam.ParDo(WordExtractingDoFn()) .with_output_types(unicode)) | ‘pair_with_one’ >> beam.Map(lambda x: (x, 1)) | ‘group’ >> beam.GroupByKey() | ‘count’ […]

¿La mejor forma de importar datos en Google-colaboratory para cómputo y capacitación rápidos?

Estoy ejecutando un modelo de aprendizaje profundo simple en el colab de Google, pero funciona más lento que mi MacBook Air sin GPU. Leí esta pregunta y descubrí que es un problema debido a la importación de conjuntos de datos a través de Internet, pero no puedo descubrir cómo acelerar este proceso. Mi modelo se […]

Normalización de datos con tensorflow tf-transform

Estoy haciendo una predicción de neural network con mis propios conjuntos de datos utilizando Tensorflow. Lo primero que hice fue un modelo que funciona con un pequeño conjunto de datos en mi computadora. Después de esto, cambié un poco el código para usar Google Cloud ML-Engine con conjuntos de datos más grandes para realizar en […]

Leyendo blobs realmente grandes sin descargarlos en Google Cloud (¿streaming?)

¡por favor ayuda! [+] Lo que tengo: Un montón de manchas en cada cubo. Los blobs pueden variar en tamaño desde ser menos de un Kilo-byte a ser muchos Giga-bytes. [+] Lo que estoy tratando de hacer: necesito poder transmitir los datos en esos blobs (como un búfer de tamaño 1024 o algo así) o […]

Google Cloud Storage – ¿Cómo cargar un archivo desde Python 3?

¿Cómo puedo cargar un archivo en Google Cloud Storage desde Python 3? Eventualmente Python 2, si no es factible desde Python 3. He mirado y mirado, pero no he encontrado una solución que realmente funcione. Intenté boto , pero cuando trato de generar el archivo .boto necesario a través de gsutil config -e , sigue […]

Convertir JSON en JSON delimitado de nueva línea en Python

Mi objective es convertir el archivo JSON en un formato que pueda cargarse desde Cloud Storage en BigQuery ( como se describe aquí ) con Python. He intentado usar el paquete newlineJSON para la conversión, pero recibe el siguiente error. JSONDecodeError: Expecting value or ‘]’: line 2 column 1 (char 5) ¿Alguien tiene la solución […]