Articles of google bigquery

Inserte una gran cantidad de datos en BigQuery a través de la biblioteca bigquery-python

Tengo archivos csv de gran tamaño y archivos de Excel donde los leo y creo dinámicamente los scripts de tabla necesarios según los campos y los tipos que tenga. Luego inserte los datos en la tabla creada. He leído esto y entiendo que debo enviarlos con jobs.insert() lugar de tabledata.insertAll() para una gran cantidad de […]

Cómo agregar “matriz de cadenas” como un valor de esquema para BigQuery

Quiero almacenar una matriz de valores de cadena en una sola columna en BigQuery. Para hacer eso, primero necesito crear una tabla con el esquema apropiado. El identificador de esquema para la matriz es ARRAY donde T es el tipo de datos. Por ejemplo: T reemplazado por INT64 como ARRAY habilita el almacenamiento de una […]

¿Cómo instalar gcp en Python?

Muchos de los ejemplos de BigQuery comienzan con: import gcp.bigquery as bq Pero obtengo ImportError: No module named gcp.bigquery cuando bash ejecutar esto. ¿Cómo instalo esta biblioteca? Estoy trabajando en un virtualenv con python 2.7. He intentado pip install gcp , pip install gcloud y pip install google-api-python-client . Ninguno de ellos me ayuda y […]

Cómo escribir diccionarios en Bigquery en Dataflow usando python

Intento leer desde un csv desde GCP Storage, convertirlo en diccionarios y luego escribir en una tabla de Bigquery de la siguiente manera: p | ReadFromText(“gs://bucket/file.csv”) | (beam.ParDo(BuildAdsRecordFn())) | WriteToBigQuery(‘ads_table’,dataset=’dds’,project=’doubleclick-2′,schema=ads_schema) donde: ‘doubleclick-2’ y ‘dds’ son proyectos y conjuntos de datos existentes, ads_schema se define de la siguiente manera: ads_schema=’Advertiser_ID:INTEGER,Campaign_ID:INTEGER,Ad_ID:INTEGER,Ad_Name:STRING,Click_through_URL:STRING,Ad_Type:STRING’ BuildAdsRecordFn () se define de la […]

Trabajo de consulta asíncrona de BigQuery: el método fetch_results () devuelve un número de valores incorrecto

Estoy escribiendo el código de Python con la API de BigQuery Client e bash usar el código de consulta asíncrono (escrito en todas partes como un ejemplo de código), y está fallando en la llamada al método fetch_data (). Python se equivoca con el error: ValueError: demasiados valores para descomprimir Por lo tanto, los 3 […]

ImportError: no se puede importar el nombre ‘opentype’ en una nueva instalación

Acabo de crear un motor de computación de Google Cloud, instalé el paquete google-cloud con pip y pip3, y estoy experimentando el siguiente error al iniciar un script con python3 from google.cloud import bigquery File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/__init__.py”, line 35, in from google.cloud.bigquery.client import Client File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/client.py”, line 36, in (more traceback lines..) from pyasn1_modules.rfc2459 import Certificate […]

Paginando BigQuery

Estoy intentando crear algo similar al panel de control de BigQuery de Google, excepto con consultas / vistas predefinidas. El problema que estoy encontrando es paginar los datos. El punto final de tabledata es compatible con la paginación porque puede especificar un índice de inicio o usar un token de página, lo que me permite […]

Error al importar el módulo de api de Google Cloud Bigquery en la aplicación python

Estoy intentando importar bigquery en mi aplicación de python from google.cloud import bigquery y ejecutarlo localmente con dev_appserver.py, pero recibo un error: File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 240, in Handle handler = _config_handle.add_wsgi_middleware(self._LoadHandler()) File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 299, in _LoadHandler handler, path, err = LoadObject(self._handler) File “/Volumes/Budhi/Users/anjas/Projects/google-cloud-sdk/platform/google_appengine/google/appengine/runtime/wsgi.py”, line 85, in LoadObject obj = __import__(path[0]) File “/Volumes/Budhi/Users/anjas/Projects/wordworks/urlworker/main.py”, line 9, […]

Bigquery – Insertar nueva fila de datos en la tabla por python

Leí muchos documentos sobre google bigquery-python, pero no entiendo cómo administrar datos de bigquery por código de python. Al principio, hago una nueva tabla como abajo. credentials = GoogleCredentials.get_application_default() service = build(‘bigquery’, ‘v2’, credentials = credentials) project_id = ‘my_project’ dataset_id = ‘my_dataset’ table_id = ‘my_table’ project_ref = {‘projectId’: project_id} dataset_ref = {‘datasetId’: dataset_id, ‘projectId’: project_id} […]

Transmisión de Pub / Sub a BigQuery

Estoy tratando de transmitir algunos datos de google PubSub a BigQuery usando un flujo de datos de Python. Para propósitos de prueba, he adaptado el siguiente código https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master/python/dataflow_examples/cookbook/bigquery_schema.py en un flujo de datos mediante la configuración options.view_as(StandardOptions).streaming = True Entonces cambié el pipeline de record_ids para leer de Pub / Sub # ADDED THIS lines […]