Articles of google bigquery

ImportError: no se puede importar el nombre ‘opentype’ en una nueva instalación

Acabo de crear un motor de computación de Google Cloud, instalé el paquete google-cloud con pip y pip3, y estoy experimentando el siguiente error al iniciar un script con python3 from google.cloud import bigquery File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/__init__.py”, line 35, in from google.cloud.bigquery.client import Client File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/client.py”, line 36, in (more traceback lines..) from pyasn1_modules.rfc2459 import Certificate […]

Paginando BigQuery

Estoy intentando crear algo similar al panel de control de BigQuery de Google, excepto con consultas / vistas predefinidas. El problema que estoy encontrando es paginar los datos. El punto final de tabledata es compatible con la paginación porque puede especificar un índice de inicio o usar un token de página, lo que me permite […]

Error al importar el módulo de api de Google Cloud Bigquery en la aplicación python

Estoy intentando importar bigquery en mi aplicación de python from google.cloud import bigquery y ejecutarlo localmente con dev_appserver.py, pero recibo un error: File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 240, in Handle handler = _config_handle.add_wsgi_middleware(self._LoadHandler()) File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 299, in _LoadHandler handler, path, err = LoadObject(self._handler) File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 85, in LoadObject obj = __import__(path[0]) File “/Volumes/Budhi/Users/anjas/Projects/wordworks/urlworker/main.py”, line 9, […]

Bigquery – Insertar nueva fila de datos en la tabla por python

Leí muchos documentos sobre google bigquery-python, pero no entiendo cómo administrar datos de bigquery por código de python. Al principio, hago una nueva tabla como abajo. credentials = GoogleCredentials.get_application_default() service = build(‘bigquery’, ‘v2’, credentials = credentials) project_id = ‘my_project’ dataset_id = ‘my_dataset’ table_id = ‘my_table’ project_ref = {‘projectId’: project_id} dataset_ref = {‘datasetId’: dataset_id, ‘projectId’: project_id} […]

Transmisión de Pub / Sub a BigQuery

Estoy tratando de transmitir algunos datos de google PubSub a BigQuery usando un flujo de datos de Python. Para propósitos de prueba, he adaptado el siguiente código https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master/python/dataflow_examples/cookbook/bigquery_schema.py en un flujo de datos mediante la configuración options.view_as(StandardOptions).streaming = True Entonces cambié el pipeline de record_ids para leer de Pub / Sub # ADDED THIS lines […]

Cómo convertir CSV en un diccionario en el flujo de datos de haz apache

Me gustaría leer un archivo csv y escribirlo en BigQuery utilizando el flujo de datos de apache beam. Para hacer esto, necesito presentar los datos a BigQuery en forma de un diccionario. ¿Cómo puedo transformar los datos utilizando apache beam para hacer esto? Mi archivo csv de entrada tiene dos columnas, y quiero crear una […]

Cómo pivotar en Google BigQuery

Supongamos que tengo la siguiente consulta enviada a BQ: SELECT shipmentID, category, quantity FROM [myDataset.myTable] Además, supongamos que la consulta devuelve datos como: shipmentID category quantity 1 shoes 5 1 hats 3 2 shirts 1 2 hats 2 3 toys 3 2 books 1 3 shirts 1 ¿Cómo puedo hacer pivotar los resultados, desde dentro […]

Configuración de GOOGLE_APPLICATION_CREDENTIALS para BigQuery Python CLI

Estoy tratando de conectarme a Google BigQuery a través de la API de BigQuery, usando Python. Sigo esta página aquí: https://cloud.google.com/bigquery/bigquery-api-quickstart Mi código es el siguiente: import os import argparse from apiclient.discovery import build from apiclient.errors import HttpError from oauth2client.client import GoogleCredentials GOOGLE_APPLICATION_CREDENTIALS = ‘./Peepl-cb1dac99bdc0.json’ def main(project_id): # Grab the application’s default credentials from the […]

Particionando una mesa

Bigquery permite la partición, solo por fecha, en este momento. Supongamos que tengo un millón de filas de la tabla con el campo inserted_timestamp marca de tiempo. Supongamos que este campo tiene fechas desde hace 1 año. ¿Cuál es la forma correcta de mover los datos existentes a una nueva tabla particionada? Editado Vi que […]

Obtención de error: redirect_uri_mismatch El URI de redireccionamiento en la solicitud: http: // localhost: 8080 / oauth2callback no coincide con un URI de redireccionamiento registrado

Recibo este error al intentar ejecutar mi aplicación … The redirect URI in the request: http://localhost:8080/oauth2callback did not match a registered redirect URI En la consola de google API he registrado mis URL de redireccionamiento Redirect URIs: http://localhost:8080/ Y en client_secrets.json también estoy usando lo mismo que redirigir url. Sigo este tutorial https://developers.google.com/bigquery/articles/dashboard#addoauth2 Editar: Acabo […]