Articles of urllib

Python urllib descargando contenidos de un directorio en línea

Estoy tratando de hacer un progtwig que abra un directorio, luego use expresiones regulares para obtener los nombres de los puntos de poder y luego cree archivos localmente y copie su contenido. Cuando lo ejecuto parece que funciona, sin embargo, cuando bash abrir los archivos, siguen diciendo que la versión es incorrecta. from urllib.request import […]

¿Cómo corrijo un ValueError: lectura de excepción de archivo cerrado?

Este simple script de Python 3 : import urllib.request host = “scholar.google.com” link = “/scholar.bib?q=info:K7uZdMSvdQ0J:scholar.google.com/&output=citation&hl=en&as_sdt=1,14&ct=citation&cd=0” url = “http://” + host + link filename = “cite0.bib” print(url) urllib.request.urlretrieve(url, filename) plantea esta excepción: Traceback (most recent call last): File “C:\Users\ricardo\Desktop\Google-Scholar\BibTex\test2.py”, line 8, in urllib.request.urlretrieve(url, filename) File “C:\Python32\lib\urllib\request.py”, line 150, in urlretrieve return _urlopener.retrieve(url, filename, reporthook, data) File […]

En Python 3.2, puedo abrir y leer una página web HTTPS con http.client, pero urllib.request no puede abrir la misma página

Quiero abrir y leer https://yande.re/ con urllib.request , pero urllib.request un error de SSL. Puedo abrir y leer la página simplemente usando http.client con este código: import http.client conn = http.client.HTTPSConnection(‘www.yande.re’) conn.request(‘GET’, ‘https://yande.re/’) resp = conn.getresponse() data = resp.read() Sin embargo, el siguiente código que usa urllib.request falla: import urllib.request opener = urllib.request.build_opener() resp = […]

solicita response.iter_content () obtiene un archivo incompleto (1024MB en lugar de 1.5GB)?

Hola, he estado usando este fragmento de código para descargar archivos de un sitio web, hasta ahora los archivos de menos de 1 GB son buenos. Pero me di cuenta de que un archivo de 1.5GB está incompleto # s is requests session object r = s.get(fileUrl, headers=headers, stream=True) start_time = time.time() with open(local_filename, ‘wb’) […]

Compruebe el estado de finalización `urllib.urlretrieve (url, file_name)`

¿Cómo urllib.urlretrieve(url, file_name) si urllib.urlretrieve(url, file_name) ha completado antes de permitir que mi progtwig avance a la siguiente statement? Tomemos, por ejemplo, el siguiente fragmento de código: import traceback import sys import Image from urllib import urlretrieve try: print “Downloading gif…..” urlretrieve(imgUrl, “tides.gif”) # Allow time for image to download/save: time.sleep(5) print “Gif Downloaded.” except: […]

¿Por qué me sale urllib2.HTTPError con urllib2 y no tengo errores con urllib?

Tengo el siguiente código simple: import urllib2 import sys sys.path.append(‘../BeautifulSoup/BeautifulSoup-3.1.0.1′) from BeautifulSoup import * page=’http://en.wikipedia.org/wiki/Main_Page’ c=urllib2.urlopen(page) Este código genera los siguientes mensajes de error: c=urllib2.urlopen(page) File “/usr/lib64/python2.4/urllib2.py”, line 130, in urlopen return _opener.open(url, data) File “/usr/lib64/python2.4/urllib2.py”, line 364, in open response = meth(req, response) File “/usr/lib64/python2.4/urllib2.py”, line 471, in http_response response = self.parent.error( File “/usr/lib64/python2.4/urllib2.py”, […]

Cómo incrementar valores alfanuméricos.

Actualmente estoy trabajando en un progtwig. Me gustaría que incrementara un valor alfanumérico de 5 caracteres. (Lo siento si el incremento no es la palabra correcta). Así que me gustaría que el progtwig diga que comience en 55aa0 y termine en 99zz9. La razón por la que me gustaría que comenzara en 55aa0 y no […]

Extraer palabras clave Meta de la página web?

Necesito extraer las palabras clave meta de una página web usando Python. Estaba pensando que esto podría hacerse usando urllib o urllib2, pero no estoy seguro. ¿Alguien tiene alguna idea? Estoy usando Python 2.6 en Windows XP

Mantener los parámetros de URL en orden al codificar con urllib

Estoy tratando de simular una solicitud de obtención con python. Tengo un diccionario de parámetros y estoy usando urllib.urlencode para urlencodificarlos Noté que aunque el diccionario es de la forma: { “k1″:”v1”, “k2″:”v2”, “k3″:”v3”, .. } Al urlencodificar el orden de los parámetros se cambia a: /?k1=v1&k3=v3%k2=v2… ¿Por qué sucede esto y puedo forzar el […]

Python 3.4 urllib.request error (http 403)

Estoy tratando de abrir y analizar una página html. En Python 2.7.8 no tengo ningún problema: import urllib url = “https://ipdb.at/ip/66.196.116.112” html = urllib.urlopen(url).read() y todo está bien. Sin embargo, quiero pasar a Python 3.4 y allí obtengo el error 403 de HTTP (Prohibido). Mi código: import urllib.request html = urllib.request.urlopen(url) # same URL as […]