Articles of google bigquery

Pandas / Google BigQuery: la falta de coincidencia del esquema hace que la carga falle

El esquema en mi tabla de Google se ve así: price_datetime : DATETIME, symbol : STRING, bid_open : FLOAT, bid_high : FLOAT, bid_low : FLOAT, bid_close : FLOAT, ask_open : FLOAT, ask_high : FLOAT, ask_low : FLOAT, ask_close : FLOAT Después de hacer pandas.read_gbq , obtengo un dataframe con dataframe de columna como este: price_datetime […]

Google Dataflow: ejecutando consultas dinámicas con BigQuery + Pub / Sub en Python

Lo que me gustaría hacer en la tubería: Leer de pub / sub (hecho) Transforma estos datos al diccionario (hecho) Tome el valor de una clave especificada del dict (hecho) Ejecute una consulta parametrizada / dinámica desde BigQuery en la que la parte donde debería estar así: SELECT field1 FROM Table where field2 = @valueFromP/S […]

BigQuery comprueba la superposición de matrices

Así que estoy escribiendo una consulta de BigQuery y, básicamente, solo necesito poder verificar si alguna de las cadenas está presente como elementos en una de las columnas de la tabla, donde la columna sobre la que se trata contiene matrices de cadenas. Solo por contexto, estoy escribiendo la consulta como parte de un pequeño […]

Inserte una gran cantidad de datos en BigQuery a través de la biblioteca bigquery-python

Tengo archivos csv de gran tamaño y archivos de Excel donde los leo y creo dinámicamente los scripts de tabla necesarios según los campos y los tipos que tenga. Luego inserte los datos en la tabla creada. He leído esto y entiendo que debo enviarlos con jobs.insert() lugar de tabledata.insertAll() para una gran cantidad de […]

Cómo agregar “matriz de cadenas” como un valor de esquema para BigQuery

Quiero almacenar una matriz de valores de cadena en una sola columna en BigQuery. Para hacer eso, primero necesito crear una tabla con el esquema apropiado. El identificador de esquema para la matriz es ARRAY donde T es el tipo de datos. Por ejemplo: T reemplazado por INT64 como ARRAY habilita el almacenamiento de una […]

¿Cómo instalar gcp en Python?

Muchos de los ejemplos de BigQuery comienzan con: import gcp.bigquery as bq Pero obtengo ImportError: No module named gcp.bigquery cuando bash ejecutar esto. ¿Cómo instalo esta biblioteca? Estoy trabajando en un virtualenv con python 2.7. He intentado pip install gcp , pip install gcloud y pip install google-api-python-client . Ninguno de ellos me ayuda y […]

Cómo escribir diccionarios en Bigquery en Dataflow usando python

Intento leer desde un csv desde GCP Storage, convertirlo en diccionarios y luego escribir en una tabla de Bigquery de la siguiente manera: p | ReadFromText(“gs://bucket/file.csv”) | (beam.ParDo(BuildAdsRecordFn())) | WriteToBigQuery(‘ads_table’,dataset=’dds’,project=’doubleclick-2′,schema=ads_schema) donde: ‘doubleclick-2’ y ‘dds’ son proyectos y conjuntos de datos existentes, ads_schema se define de la siguiente manera: ads_schema=’Advertiser_ID:INTEGER,Campaign_ID:INTEGER,Ad_ID:INTEGER,Ad_Name:STRING,Click_through_URL:STRING,Ad_Type:STRING’ BuildAdsRecordFn () se define de la […]

Trabajo de consulta asíncrona de BigQuery: el método fetch_results () devuelve un número de valores incorrecto

Estoy escribiendo el código de Python con la API de BigQuery Client e bash usar el código de consulta asíncrono (escrito en todas partes como un ejemplo de código), y está fallando en la llamada al método fetch_data (). Python se equivoca con el error: ValueError: demasiados valores para descomprimir Por lo tanto, los 3 […]

ImportError: no se puede importar el nombre ‘opentype’ en una nueva instalación

Acabo de crear un motor de computación de Google Cloud, instalé el paquete google-cloud con pip y pip3, y estoy experimentando el siguiente error al iniciar un script con python3 from google.cloud import bigquery File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/__init__.py”, line 35, in from google.cloud.bigquery.client import Client File “/usr/local/lib/python3.5/dist-packages/google/cloud/bigquery/client.py”, line 36, in (more traceback lines..) from pyasn1_modules.rfc2459 import Certificate […]

Paginando BigQuery

Estoy intentando crear algo similar al panel de control de BigQuery de Google, excepto con consultas / vistas predefinidas. El problema que estoy encontrando es paginar los datos. El punto final de tabledata es compatible con la paginación porque puede especificar un índice de inicio o usar un token de página, lo que me permite […]