Articles of gzip

Gzipping todo el tráfico HTTP con Pyramid

Estoy creando un servicio móvil basado en el marco de Pyramid. Porque es móvil todo para reducir el uso de ancho de banda es más. Estoy considerando enviar todo el tráfico, incluso las páginas HTML dinámicas. ¿Qué tipo de ganchos proporciona el marco Pyramid para esto? ¿O hay middleware WSGI para la tarea? Me gustaría […]

¿Cómo comprimir el archivo csv en un archivo zip directamente?

Estoy generando un número de archivos csv dinámicamente, usando el siguiente código: import csv fieldnames = [‘foo1’, ‘foo2’, ‘foo3’, ‘foo4’] with open(csvfilepath, ‘wb’) as csvfile: csvwrite = csv.DictWriter(csvfile, delimiter=’,’, fieldnames=fieldnames) csvwrite.writeheader() for row in data: csvwrite.writerow(row) Para ahorrar espacio, quiero comprimirlos. Usar el módulo gzip es bastante fácil: with gzip.open(“foo.gz”, “w”) as csvfile : csvwrite […]

Python no puede leer el archivo “warc.gz” completamente

Para mi trabajo, rasco los sitios web y los escribo en archivos comprimidos (con la extensión “warc.gz”). Uso Python 2.7.11 y la biblioteca warc 0.2.1. Noté que para la mayoría de los archivos no puedo leerlos completamente con la biblioteca warc. Por ejemplo, si el archivo warc.gz tiene 517 registros, solo puedo leer unos 200. […]

¿Cómo puedo crear una instancia de GzipFile desde el “objeto tipo archivo” que devuelve urllib.urlopen ()?

Estoy jugando con la API de desbordamiento de stack usando Python. Estoy tratando de decodificar las respuestas gzipped que da la API. import urllib, gzip url = urllib.urlopen(‘http://api.stackoverflow.com/1.0/badges/name’) gzip.GzipFile(fileobj=url).read() De acuerdo con la documentación de urllib2 , urlopen “devuelve un objeto similar a un archivo”. Sin embargo, cuando ejecuto read() en el objeto GzipFile que […]

Python: ¿Creando un gzip como un archivo de transmisión?

Estoy tratando de descubrir la mejor manera de comprimir una secuencia con el zlib de Python. Tengo un flujo de entrada similar a un archivo ( input , a continuación) y una función de salida que acepta un tipo de archivo ( output_function , abajo): with open(“file”) as input: output_function(input) Y me gustaría comprimir input […]

El parámetro de tamaño para gzip.open (). Read ()

Al trabajar con la biblioteca gzip en Python, muy a menudo me encontraba con un código que usa la función .read() en un patrón que se parece a esto: with gzip.open(filename) as bytestream: bytestream.read(16) buf = bytestream.read( IMAGE_SIZE * IMAGE_SIZE * num_images * NUM_CHANNELS ) data = np.frombuffer(buf, dtype=np.uint8).astype(np.float32) Aunque estoy familiarizado con el patrón […]

¿Es posible utilizar la compresión gzip con eventos enviados por el servidor (SSE)?

Me gustaría saber si es posible habilitar la compresión gzip para eventos enviados por el servidor (SSE; Content-Type: text / event-stream). Parece que es posible, de acuerdo con este libro: http://chimera.labs.oreilly.com/books/1230000000545/ch16.html Pero no puedo encontrar ningún ejemplo de SSE con compresión gzip. Intenté enviar mensajes gzip con el campo de encabezado de respuesta Codificación de […]

Cómo descomprimir el archivo gz usando Python

Necesito extraer un archivo gz que he descargado de un sitio FTP a un servidor de archivos local de Windows. Tengo las variables establecidas para la ruta local del archivo, y sé que GZIP puede utilizarlas. ¿Cómo puedo hacer esto? El archivo dentro del archivo GZ es un archivo XML.

Python – ¿Cómo gzip un archivo de texto grande sin MemoryError?

Uso el siguiente script de Python para comprimir un archivo de texto grande (por ejemplo, 10 GB ) en una instancia de EC2 m3.large. Sin embargo, siempre tengo un MemoryError : import gzip with open(‘test_large.csv’, ‘rb’) as f_in: with gzip.open(‘test_out.csv.gz’, ‘wb’) as f_out: f_out.writelines(f_in) # or the following: # for line in f_in: # f_out.write(line) […]

Habilitando la compresión en Heroku usando python

Google ahora penaliza por no ser tan móvil. Así que en un esfuerzo por mejorar las cosas, recomienda comprimir gran parte de mi Javascript con Gzip o Desinflar. He visto algunas recomendaciones antiguas sobre el desbordamiento de stack, pero no hay nada fuera de la caja e intenté buscar complementos, pero hasta ahora no parece […]