Articles of google bigquery

¿Cómo consultar BigQuery mediante progtwigción desde Python sin interacción del usuario final?

Esta pregunta parece que debería ser tan simple de responder, pero después de días de investigación y varios callejones sin salida, parece que no puedo obtener los resultados de la consulta de BigQuery sin que insista en OAuth basado en el usuario. ¿Alguien ha tenido suerte con esto? No estoy usando Google AppEngine para mi […]

La consulta incompleta de Google BigQuery responde en bashs impares

Al consultar BigQuery a través de la API de Python usando: service.jobs().getQueryResults Estamos descubriendo que el primer bash funciona bien: todos los resultados esperados se incluyen en la respuesta. Sin embargo, si la consulta se ejecuta una segunda vez poco después de la primera (aproximadamente en 5 minutos), solo se devuelve un pequeño subconjunto de […]

Convertir JSON en JSON delimitado de nueva línea en Python

Mi objective es convertir el archivo JSON en un formato que pueda cargarse desde Cloud Storage en BigQuery ( como se describe aquí ) con Python. He intentado usar el paquete newlineJSON para la conversión, pero recibe el siguiente error. JSONDecodeError: Expecting value or ‘]’: line 2 column 1 (char 5) ¿Alguien tiene la solución […]

Cómo usar Bigquery streaming insertall en la aplicación motor y python

Me gustaría desarrollar una aplicación de motor de aplicaciones que transmita directamente datos a una tabla de BigQuery. De acuerdo con la documentación de Google, hay una forma sencilla de transmitir datos a bigquery: http://googlecloudplatform.blogspot.co.il/2013/09/google-bigquery-goes-real-time-with-streaming-inserts-time-based-queries-and-more.html https://developers.google.com/bigquery/streaming-data-into-bigquery#streaminginsertexamples (nota: en el enlace anterior, debe seleccionar la pestaña de python y no Java) Aquí está el fragmento de […]

Pandas / Google BigQuery: la falta de coincidencia del esquema hace que la carga falle

El esquema en mi tabla de Google se ve así: price_datetime : DATETIME, symbol : STRING, bid_open : FLOAT, bid_high : FLOAT, bid_low : FLOAT, bid_close : FLOAT, ask_open : FLOAT, ask_high : FLOAT, ask_low : FLOAT, ask_close : FLOAT Después de hacer pandas.read_gbq , obtengo un dataframe con dataframe de columna como este: price_datetime […]

Google Dataflow: ejecutando consultas dinámicas con BigQuery + Pub / Sub en Python

Lo que me gustaría hacer en la tubería: Leer de pub / sub (hecho) Transforma estos datos al diccionario (hecho) Tome el valor de una clave especificada del dict (hecho) Ejecute una consulta parametrizada / dinámica desde BigQuery en la que la parte donde debería estar así: SELECT field1 FROM Table where field2 = @valueFromP/S […]

BigQuery comprueba la superposición de matrices

Así que estoy escribiendo una consulta de BigQuery y, básicamente, solo necesito poder verificar si alguna de las cadenas está presente como elementos en una de las columnas de la tabla, donde la columna sobre la que se trata contiene matrices de cadenas. Solo por contexto, estoy escribiendo la consulta como parte de un pequeño […]

Inserte una gran cantidad de datos en BigQuery a través de la biblioteca bigquery-python

Tengo archivos csv de gran tamaño y archivos de Excel donde los leo y creo dinámicamente los scripts de tabla necesarios según los campos y los tipos que tenga. Luego inserte los datos en la tabla creada. He leído esto y entiendo que debo enviarlos con jobs.insert() lugar de tabledata.insertAll() para una gran cantidad de […]

Cómo agregar “matriz de cadenas” como un valor de esquema para BigQuery

Quiero almacenar una matriz de valores de cadena en una sola columna en BigQuery. Para hacer eso, primero necesito crear una tabla con el esquema apropiado. El identificador de esquema para la matriz es ARRAY donde T es el tipo de datos. Por ejemplo: T reemplazado por INT64 como ARRAY habilita el almacenamiento de una […]

¿Cómo instalar gcp en Python?

Muchos de los ejemplos de BigQuery comienzan con: import gcp.bigquery as bq Pero obtengo ImportError: No module named gcp.bigquery cuando bash ejecutar esto. ¿Cómo instalo esta biblioteca? Estoy trabajando en un virtualenv con python 2.7. He intentado pip install gcp , pip install gcloud y pip install google-api-python-client . Ninguno de ellos me ayuda y […]