Desarrollo de Python
  1. Desarrollo de Python
  3. Lea el archivo CSV a Datalab desde Google Cloud Storage y conviértalo a pandas dataframe
Intereting Posts
Una buena manera de obtener el conjunto de caracteres / encoding de una respuesta HTTP en Python Python agregar nuevo elemento al diccionario ¿Existe alguna alternativa para el módulo ‘nltk.model.NGramModel’ que se eliminó ahora? ¿Cómo calcular de manera eficiente una desviación estándar de funcionamiento? Caminando y procesando archivos en el directorio en python. Códigos de salida en Python Obtener el tamaño del disco duro en Python ¿Es un buen estilo llamar comandos bash dentro de un script de Python usando os.system (“código bash”)? ¿Cómo contar e imprimir el número de palabras en cada línea en un archivo? ¿Por qué la función “aplicar” de mi Pandas no hace referencia a varias columnas que funcionan? json.dumps desordena el orden Python: obtenga la puerta de enlace predeterminada para una interfaz local / dirección IP en Linux Almacenar el historial versionado de Field en un modelo Django Data Modeling Advice para el sistema de etiquetado de blogs en Google App Engine Python: cualquier () rendimiento inesperado

Lea el archivo CSV a Datalab desde Google Cloud Storage y conviértalo a pandas dataframe

Estoy tratando de leer un archivo csv guardado en gs en un dataframe para su análisis

He seguido los siguientes pasos sin éxito. 

mybucket = storage.Bucket('bucket-name') data_csv = mybucket.object('data.csv') df = pd.read_csv(data_csv)

Esto no funciona, ya que data_csv no es una ruta como esperaba pd.read_csv. También probé 

 %%gcs read --object $data_csv --variable data #result: %gcs: error: unrecognized arguments: Cloud Storage Object gs://path/to/file.csv

¿Cómo puedo leer mi archivo para análisis hacer esto?

Gracias

Solo necesitas usar la propiedad uri del objeto para obtener la ruta real: 

 uri = data_csv.uri %%gcs read --object $uri --variable data

La primera parte de su código no funciona porque los pandas esperan que los datos estén en el sistema de archivos local, pero está utilizando un grupo GCS, que está en la nube.

%% gcs devuelve objetos de bytes. Para leerlo usa BytesIO de io (python 3) 

 mybucket = storage.Bucket('bucket-name') data_csv = mybucket.object('data.csv') %%gcs read --object $data_csv --variable data df = pd.read_csv(BytesIO(data_csv), sep = ';')

Si su archivo csv está separado por comas, no es necesario que especifique , que es el valor predeterminado. Lea más sobre la biblioteca y los paquetes de io aquí: Herramientas principales para trabajar con flujos