Articles of google bigquery

bq.py no paginando resultados

Estamos trabajando en escribir un contenedor para bq.py y estamos teniendo algunos problemas con los conjuntos de resultados mayores que 100k filas. Parece que en el pasado esto ha funcionado bien (tuvimos problemas relacionados con las respuestas de consultas incompletas de Google BigQuery en bashs impares ). ¿Quizás no entiendo los límites explicados en la […]

¿Cómo autenticarse con gcloud big query usando un archivo de credenciales json?

En la documentación de gcloud para google bigquery , se establece que la autenticación se puede determinar desde from_service_account_json. He intentado lo siguiente from gcloud import bigquery client = bigquery.Client.from_service_account_json(‘/Library/gcloud_api_credentials.json’) El archivo json se parece a lo siguiente (Nota: credenciales codificadas por lo que ahora son falsas). {“type”: “service_account”, “project_id”: “example_project”, “private_key_id”: “c7e371776ab6e2dsfafdsaff97edf9377178c8”, “private_key”: “—–BEGIN […]

Python BigQuery allowLargeResults con pandas.io.gbq

Quiero usar la biblioteca de Pandas para leer datos de BigQuery . ¿Cómo permito grandes resultados? Para las interacciones que no son Pandas BigQuery, esto se puede lograr de esta manera . Código actual con pandas: sProjectID = “project-id” sQuery = ”’ SELECT column1, column2 FROM [dataset_name.tablename] ”’ from pandas.io import gbq df = gbq.read_gbq(sQuery, […]

¿Cómo consultar BigQuery mediante progtwigción desde Python sin interacción del usuario final?

Esta pregunta parece que debería ser tan simple de responder, pero después de días de investigación y varios callejones sin salida, parece que no puedo obtener los resultados de la consulta de BigQuery sin que insista en OAuth basado en el usuario. ¿Alguien ha tenido suerte con esto? No estoy usando Google AppEngine para mi […]

La consulta incompleta de Google BigQuery responde en bashs impares

Al consultar BigQuery a través de la API de Python usando: service.jobs().getQueryResults Estamos descubriendo que el primer bash funciona bien: todos los resultados esperados se incluyen en la respuesta. Sin embargo, si la consulta se ejecuta una segunda vez poco después de la primera (aproximadamente en 5 minutos), solo se devuelve un pequeño subconjunto de […]

Convertir JSON en JSON delimitado de nueva línea en Python

Mi objective es convertir el archivo JSON en un formato que pueda cargarse desde Cloud Storage en BigQuery ( como se describe aquí ) con Python. He intentado usar el paquete newlineJSON para la conversión, pero recibe el siguiente error. JSONDecodeError: Expecting value or ‘]’: line 2 column 1 (char 5) ¿Alguien tiene la solución […]

Cómo usar Bigquery streaming insertall en la aplicación motor y python

Me gustaría desarrollar una aplicación de motor de aplicaciones que transmita directamente datos a una tabla de BigQuery. De acuerdo con la documentación de Google, hay una forma sencilla de transmitir datos a bigquery: http://googlecloudplatform.blogspot.co.il/2013/09/google-bigquery-goes-real-time-with-streaming-inserts-time-based-queries-and-more.html https://developers.google.com/bigquery/streaming-data-into-bigquery#streaminginsertexamples (nota: en el enlace anterior, debe seleccionar la pestaña de python y no Java) Aquí está el fragmento de […]

Pandas / Google BigQuery: la falta de coincidencia del esquema hace que la carga falle

El esquema en mi tabla de Google se ve así: price_datetime : DATETIME, symbol : STRING, bid_open : FLOAT, bid_high : FLOAT, bid_low : FLOAT, bid_close : FLOAT, ask_open : FLOAT, ask_high : FLOAT, ask_low : FLOAT, ask_close : FLOAT Después de hacer pandas.read_gbq , obtengo un dataframe con dataframe de columna como este: price_datetime […]

Google Dataflow: ejecutando consultas dinámicas con BigQuery + Pub / Sub en Python

Lo que me gustaría hacer en la tubería: Leer de pub / sub (hecho) Transforma estos datos al diccionario (hecho) Tome el valor de una clave especificada del dict (hecho) Ejecute una consulta parametrizada / dinámica desde BigQuery en la que la parte donde debería estar así: SELECT field1 FROM Table where field2 = @valueFromP/S […]

BigQuery comprueba la superposición de matrices

Así que estoy escribiendo una consulta de BigQuery y, básicamente, solo necesito poder verificar si alguna de las cadenas está presente como elementos en una de las columnas de la tabla, donde la columna sobre la que se trata contiene matrices de cadenas. Solo por contexto, estoy escribiendo la consulta como parte de un pequeño […]