Articles of gzip

¿Cómo puedo leer el archivo tar.gz usando pandas read_csv con la opción de compresión gzip?

Tengo un csv muy simple, con los siguientes datos, comprimidos dentro del archivo tar.gz. Necesito leer eso en dataframe usando pandas.read_csv. AB 0 1 4 1 2 5 2 3 6 import pandas as pd pd.read_csv(“sample.tar.gz”,compression=’gzip’) Sin embargo, estoy recibiendo error: CParserError: Error tokenizing data. C error: Expected 1 fields in line 440, saw 2 […]

Enviando datos en formato gzip

He escuchado cómo los navegadores pueden recibir páginas comprimidas desde el servidor. ¿Pueden también gzip los datos del formulario que envían al servidor? Y si es posible, ¿cómo descomprimiré estos datos en el servidor? Estoy usando el módulo de aplicación web de AppEngine, pero una explicación general / punteros a tutoriales sería suficiente. He hecho […]

Python 2.5.2: lo que era en lugar de la statement ‘con’

Escribí mi código para Python 2.7 pero el servidor tiene 2.5. ¿Cómo reescribo el siguiente código para que se ejecute en Python 2.5.2? gzipHandler = gzip.open(gzipFile) try: with open(txtFile, ‘w’) as out: for line in gzipHandler: out.write(line) except: pass En este momento, cuando bash ejecutar mi script, aparece este error: Advertencia: ‘with’ se convertirá en […]

Descarga de contenido comprimido a través de HTTP usando Python

¿Cómo aprovecho la compresión de HTTP 1.1 al descargar páginas web con Python? Actualmente estoy usando el módulo urllib incorporado para descargar contenido web. Al leer la documentación no pude encontrar ninguna información que de hecho esté usando compresión. ¿Ya está integrado en urllib o hay otra biblioteca que puedo usar?

Python Gzip – Anexando a archivo sobre la marcha

¿Es posible adjuntar a un archivo de texto comprimido gzip al vuelo usando Python? Básicamente estoy haciendo esto: import gzip content = “Lots of content here” f = gzip.open(‘file.txt.gz’, ‘a’, 9) f.write(content) f.close() Se agrega una línea (nota “adjunta”) al archivo cada 6 segundos aproximadamente, pero el archivo resultante es tan grande como un archivo […]

Gzipping todo el tráfico HTTP con Pyramid

Estoy creando un servicio móvil basado en el marco de Pyramid. Porque es móvil todo para reducir el uso de ancho de banda es más. Estoy considerando enviar todo el tráfico, incluso las páginas HTML dinámicas. ¿Qué tipo de ganchos proporciona el marco Pyramid para esto? ¿O hay middleware WSGI para la tarea? Me gustaría […]

¿Cómo comprimir el archivo csv en un archivo zip directamente?

Estoy generando un número de archivos csv dinámicamente, usando el siguiente código: import csv fieldnames = [‘foo1’, ‘foo2’, ‘foo3’, ‘foo4’] with open(csvfilepath, ‘wb’) as csvfile: csvwrite = csv.DictWriter(csvfile, delimiter=’,’, fieldnames=fieldnames) csvwrite.writeheader() for row in data: csvwrite.writerow(row) Para ahorrar espacio, quiero comprimirlos. Usar el módulo gzip es bastante fácil: with gzip.open(“foo.gz”, “w”) as csvfile : csvwrite […]

Python no puede leer el archivo “warc.gz” completamente

Para mi trabajo, rasco los sitios web y los escribo en archivos comprimidos (con la extensión “warc.gz”). Uso Python 2.7.11 y la biblioteca warc 0.2.1. Noté que para la mayoría de los archivos no puedo leerlos completamente con la biblioteca warc. Por ejemplo, si el archivo warc.gz tiene 517 registros, solo puedo leer unos 200. […]

¿Cómo puedo crear una instancia de GzipFile desde el “objeto tipo archivo” que devuelve urllib.urlopen ()?

Estoy jugando con la API de desbordamiento de stack usando Python. Estoy tratando de decodificar las respuestas gzipped que da la API. import urllib, gzip url = urllib.urlopen(‘http://api.stackoverflow.com/1.0/badges/name’) gzip.GzipFile(fileobj=url).read() De acuerdo con la documentación de urllib2 , urlopen “devuelve un objeto similar a un archivo”. Sin embargo, cuando ejecuto read() en el objeto GzipFile que […]

Python: ¿Creando un gzip como un archivo de transmisión?

Estoy tratando de descubrir la mejor manera de comprimir una secuencia con el zlib de Python. Tengo un flujo de entrada similar a un archivo ( input , a continuación) y una función de salida que acepta un tipo de archivo ( output_function , abajo): with open(“file”) as input: output_function(input) Y me gustaría comprimir input […]