Obtención paralela de archivos

Para descargar archivos, estoy creando un objeto urlopen (clase urllib2) y lo estoy leyendo en trozos.

Me gustaría conectarme al servidor varias veces y descargar el archivo en seis sesiones diferentes. Haciendo eso, la velocidad de descarga debería ser más rápida. Muchos gestores de descargas tienen esta característica.

Pensé en especificar la parte del archivo que me gustaría descargar en cada sesión, y de alguna manera procesar todas las sesiones al mismo tiempo. No estoy seguro de cómo puedo lograr esto.

Parece que desea utilizar uno de los tipos de rango HTTP disponibles.

Editar enlace actualizado para apuntar al w3.org RFC almacenado

Como ya hemos estado hablando, he hecho uno usando PycURL.

Lo único que tenía que hacer era pycurl_instance.setopt(pycurl_instance.NOSIGNAL, 1) para evitar lockings.

Usé APScheduler para disparar solicitudes en los hilos separados. Gracias a sus consejos de cambiar la espera ocupada while True: pass a la while True: time.sleep(3) en el hilo principal, el código se comporta bastante bien y el uso del módulo Runner de la aplicación del paquete python-daemon está casi listo para ser utilizado Demonio típico de UN * X.