Articles of urlopen

Python urllib2 urlopen respuesta

Python urllib2 urlopen respuesta: <addinfourl at 1081306700 whose fp = > esperado: {“token”: “mYWmzpunvasAT795niiR”}

¿Cómo establecer el indicador TCP_NODELAY al cargar la URL con urllib2?

Estoy usando urllib2 para cargar una página web, mi código es: httpRequest = urllib2.Request(“http:/www….com”) pageContent = urllib2.urlopen(httpRequest) pageContent.readline() ¿Cómo puedo obtener las propiedades del socket para establecer TCP_NODELAY ? En socket normal estaría usando la función: socket.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)

¿Cómo tratar con ® en url para urllib2.urlopen?

Recibí una url: https://www.packtpub.com/virtualization-and-cloud/citrix-xenapp®-75-desktop-virtualization-solutions ; Es de BeautifulSoup. url=u’https://www.packtpub.com/virtualization-and-cloud/citrix-xenapp\xae-75-desktop-virtualization-solutions’ Quiero alimentar de nuevo en urllib2.urlopen de nuevo. import urllib2 source = urllib2.urlopen(url).read() El error que recibo: UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\xae’ in position 43: illegal multibyte sequence Por lo tanto, he intentado: source = urllib2.urlopen(url.encode(“utf-8”)).read() Obtuvo la fuente de la página, sin embargo, […]

Python verifica si existe sitio

Quería comprobar si existe un determinado sitio web, esto es lo que estoy haciendo: user_agent = ‘Mozilla/20.0.1 (compatible; MSIE 5.5; Windows NT)’ headers = { ‘User-Agent’:user_agent } link = “http://www.abc.com” req = urllib2.Request(link, headers = headers) page = urllib2.urlopen(req).read() – ERROR 402 generated here! Si la página no existe (error 402, o cualquier otro error), […]

Cómo evitar una redirección “oculta” con urlopen () en Python

Estoy usando BeautifulSoup para el rastreo web y tengo problemas con un tipo particular de sitio web cuando uso urlopen . Cada artículo en el sitio web tiene su propia página única y el artículo viene en diferentes formatos (por ejemplo, 500 ml, 1L, 2L, … ). Cuando abro la URL del producto ( www.example.com/product1 […]

Dile a urllib2 que use DNS personalizado

Me gustaría decirle a urllib2.urlopen (o un abridor personalizado ) que use 127.0.0.1 (o ::1 ) para resolver direcciones. Sin embargo, no cambiaría mi /etc/resolv.conf . Una posible solución es usar una herramienta como dnspython para consultar direcciones y httplib para crear un abridor de URL personalizado. Sin urlopen , prefiero decirle a urlopen que […]

TypeError: urlopen () obtuvo varios valores para el argumento de la palabra clave ‘body’ mientras ejecutaba pruebas a través de Selenium y Python en Kubuntu 14.04

Estoy tratando de ejecutar un selenium en Python en Kubuntu 14.04. Me sale este mensaje de error intentando con chromedriver o geckodriver, ambos son el mismo error. Traceback (most recent call last): File “vse.py”, line 15, in driver = webdriver.Chrome(chrome_options=options, executable_path=r’/root/Desktop/chromedriver’) File “/usr/local/lib/python3.4/dist-packages/selenium/webdriver/chrome/webdriver.py”, line 75, in __init__ desired_capabilities=desired_capabilities) File “/usr/local/lib/python3.4/dist-packages/selenium/webdriver/remote/webdriver.py”, line 156, in __init__ self.start_session(capabilities, […]

¿Cómo puedo acelerar la búsqueda de páginas con urllib2 en python?

Tengo un script que busca varias páginas web y analiza la información. (Se puede ver un ejemplo en http://bluedevilbooks.com/search/?DEPT=MATH&CLASS=103&SEC=01 ) Ejecuté cProfile en él, y como asumí, urlopen toma mucho tiempo. ¿Hay una manera de recuperar las páginas más rápido? ¿O una forma de obtener varias páginas a la vez? Haré lo que sea más […]

¿Cómo obtener una url no ascii con Python urlopen?

Necesito obtener datos de una URL con caracteres que no sean ascii, pero urllib2.urlopen se niega a abrir el recurso y genera: UnicodeEncodeError: ‘ascii’ codec can’t encode character u’\u0131′ in position 26: ordinal not in range(128) Sé que la URL no cumple con los estándares, pero no tengo la oportunidad de cambiarla. ¿Cuál es la […]

¿Tiene urllib2.urlopen () cosas de caché?

No mencionaron esto en la documentación de Python. Y recientemente estoy probando un sitio web simplemente actualizando el sitio utilizando urllib2.urlopen () para extraer cierto contenido, me doy cuenta de que a veces cuando actualizo el sitio urllib2.urlopen () parece no obtener el contenido recién agregado. Así que me pregunto si hace cosas de caché […]