Articles of urlopen

Usando urlopen para abrir la lista de urls

Tengo un script en python que recupera una página web y la refleja. Funciona bien para una página específica, pero no puedo hacer que funcione para más de una. Asumí que podría poner varias URL en una lista y luego enviarlas a la función, pero recibo este error: Traceback (most recent call last): File “autowget.py”, […]

urllib2.urlopen sin tampón

Tengo cliente para la interfaz web para el proceso de larga ejecución. Me gustaría que la salida de ese proceso se muestre tal como aparece. Funciona muy bien con urllib.urlopen() , pero no tiene un parámetro de timeout . Por otro lado, con urllib2.urlopen() la salida está en búfer. ¿Hay una manera fácil de deshabilitar […]

Error 503 al intentar acceder a Google Patents usando python

Anteriormente, hoy pude extraer datos de Google Patents usando el siguiente código import urllib2 url = ‘http://www.google.com/search?tbo=p&q=ininventor:”John-Mudd”&hl=en&tbm=pts&source=lnt&tbs=ptso:us’ req = urllib2.Request(url, headers={‘User-Agent’ : “foobar”}) response = urllib2.urlopen(req) Ahora cuando voy a ejecutarlo obtengo el siguiente error 503. Solo había repasado este código tal vez 30 veces (estoy tratando de obtener todas las patentes de una lista […]

De nuevo urllib.error.HTTPError: HTTP Error 400: Solicitud incorrecta

Hy! Intenté abrir una página web, que normalmente se abre en el navegador, pero Python simplemente jura y no quiere trabajar. import urllib.request, urllib.error f = urllib.request.urlopen(‘http://www.booking.com/reviewlist.html?cc1=tr;pagename=sapphire’) Y otra forma import urllib.request, urllib.error opener=urllib.request.build_opener() f=opener.open(‘http://www.booking.com/reviewlist.html?cc1=tr;pagename=sapphi re’) Ambas opciones dan un tipo de error: Traceback (most recent call last): File “”, line 1, in File “C:\Python34\lib\urllib\request.py”, […]

¿Por qué urllib.urlopen.read () no corresponde al código fuente?

Estoy tratando de obtener la siguiente página web: import urllib urllib.urlopen(“http://www.gallimard-jeunesse.fr/searchjeunesse/advanced/(order)/author?catalog[0]=1&SearchAction=1”).read() El resultado no se corresponde con lo que veo al inspeccionar el código fuente de la página web con Google Chrome, por ejemplo. ¿Podría decirme por qué sucede esto y cómo podría mejorar mi código para superar el problema? Gracias por tu ayuda.

Web raspado urlopen en python

Estoy intentando obtener los datos de este sitio web: http://www.boursotwig.com/includes/cours/last_transactions.phtml?symbole=1xEURUS Parece que urlopen no recibe el código html y no entiendo por qué. Va como: html = urllib.request.urlopen(“http://www.boursotwig.com/includes/cours/last_transactions.phtml?symbole=1xEURUS”) print (html) Mi código es correcto, obtengo la fuente html de otras páginas web con el mismo código, pero parece que no reconoce esta dirección. se imprime: […]

La ruptura de urliben de Urllib en algunos sitios (por ejemplo, api de StackApps): devuelve resultados de basura

Estoy usando la función urlopen para intentar obtener un resultado JSON de la api StackOverflow. El código que estoy usando: >>> import urllib2 >>> conn = urllib2.urlopen(“http://api.stackoverflow.com/0.8/users/”) >>> conn.readline() El resultado que estoy obteniendo: ‘\x1f\x8b\x08\x00\x00\x00\x00\x00\x04\x00\xed\xbd\x07`\x1cI\x96%&/m\xca{\x7fJ\… Soy bastante nuevo en urllib, pero esto no parece ser el resultado que debería obtener. Lo he intentado en otros […]

tiempo de espera para urllib2.urlopen () en versiones pre Python 2.6

La documentación de urllib2 dice que el parámetro de tiempo de espera se agregó en Python 2.6. Desafortunadamente, mi base de código se ha ejecutado en las plataformas Python 2.5 y 2.4. ¿Hay alguna forma alternativa de simular el tiempo de espera? Todo lo que quiero hacer es permitir que el código hable con el […]

Utilice “objeto similar a un byte” de urlopen.read con JSON?

Solo trato de probar comandos muy simples de Python JSON, pero estoy teniendo algunos problemas. urlopen(‘http://www.similarsitesearch.com/api/similar/ebay.com’).read() debe dar salida ‘{“num”:20,”status”:”ok”,”r0″:”http:\\/\\/www.propertyroom.com\\/”,”r1″:”http:\\/\\/www.ubid.com\\/”,”r2″:”http:\\/\\/www.bidcactus.com\\/”,”r3″:”http:\\/\\/www.etsy.com\\/”,”r4″:”http:\\/\\/us.ebid.net\\/”,”r5″:”http:\\/\\/www.bidrivals.com\\/”,”r6″:”http:\\/\\/www.ioffer.com\\/”,”r7″:”http:\\/\\/www.shopgoodwill.com\\/”,”r8″:”http:\\/\\/www.beezid.com\\/”,”r9″:”http:\\/\\/www.webidz.com\\/”,”r10″:”http:\\/\\/www.auctionzip.com\\/”,”r11″:”http:\\/\\/www.overstock.com\\/”,”r12″:”http:\\/\\/www.bidspotter.com\\/”,”r13″:”http:\\/\\/www.paypal.com\\/”,”r14″:”http:\\/\\/www.ha.com\\/”,”r15″:”http:\\/\\/www.onlineauction.com\\/”,”r16″:”http:\\/\\/bidz.com\\/”,”r17″:”http:\\/\\/www.epier.com\\/”,”r18″:”http:\\/\\/www.sell.com\\/”,”r19″:”http:\\/\\/www.rasmus.com\\/”}’ pero me sale la misma cadena, con una b en el frente: b'{“num”:20,”status”:”ok”,”r0″:”http:\\/\\/www.propertyroom.com\\/”,”r1″:”http:\\/\\/www.ubid.com\\/”,”r2″:”http:\\/\\/www.bidcactus.com\\/”,”r3″:”http:\\/\\/www.etsy.com\\/”,”r4″:”http:\\/\\/us.ebid.net\\/”,”r5″:”http:\\/\\/www.bidrivals.com\\/”,”r6″:”http:\\/\\/www.ioffer.com\\/”,”r7″:”http:\\/\\/www.shopgoodwill.com\\/”,”r8″:”http:\\/\\/www.beezid.com\\/”,”r9″:”http:\\/\\/www.webidz.com\\/”,”r10″:”http:\\/\\/www.auctionzip.com\\/”,”r11″:”http:\\/\\/www.overstock.com\\/”,”r12″:”http:\\/\\/www.bidspotter.com\\/”,”r13″:”http:\\/\\/www.paypal.com\\/”,”r14″:”http:\\/\\/www.ha.com\\/”,”r15″:”http:\\/\\/www.onlineauction.com\\/”,”r16″:”http:\\/\\/bidz.com\\/”,”r17″:”http:\\/\\/www.epier.com\\/”,”r18″:”http:\\/\\/www.sell.com\\/”,”r19″:”http:\\/\\/www.rasmus.com\\/”}’ Posteriormente, cuando bash correr. json.loads(urlopen(‘http://similarsitesearch.com/api/similar/ebay.com’).read()) me da el mensaje de error: TypeError: no se puede usar un patrón de cadena en un […]

Python urllib2 urlopen respuesta

Python urllib2 urlopen respuesta: <addinfourl at 1081306700 whose fp = > esperado: {“token”: “mYWmzpunvasAT795niiR”}