Articles of urllib

Python 3.6 urllib TypeError: no puede concat bytes a str

Estoy intentando extraer algunos datos JSON de una API usando urllib en Python 3.6. Requiere que la información del encabezado sea aprobada para su autorización. Aquí está mi código: import urllib.request, json headers = {“authorization” : “Bearer {authorization_token}”} with urllib.request.urlopen(“{api_url}”, data=headers) as url: data = json.loads(url.read().decode()) print(data) Y el mensaje de error que recibo: Traceback […]

Usando urlopen para abrir la lista de urls

Tengo un script en python que recupera una página web y la refleja. Funciona bien para una página específica, pero no puedo hacer que funcione para más de una. Asumí que podría poner varias URL en una lista y luego enviarlas a la función, pero recibo este error: Traceback (most recent call last): File “autowget.py”, […]

HTTP Error 403: Prohibido con urlretrieve

Estoy intentando descargar un PDF, sin embargo, aparece el siguiente error: Error HTTP 403: Prohibido Soy consciente de que el servidor está bloqueando por cualquier motivo, pero parece que no puedo encontrar una solución. import urllib.request import urllib.parse import requests def download_pdf(url): full_name = “Test.pdf” urllib.request.urlretrieve(url, full_name) try: url = (‘http://papers.xtremepapers.com/CIE/Cambridge%20IGCSE/Mathematics%20(0580)/0580_s03_qp_1.pdf’) print(‘initialized’) hdr = {} […]

urllib2.urlopen sin tampón

Tengo cliente para la interfaz web para el proceso de larga ejecución. Me gustaría que la salida de ese proceso se muestre tal como aparece. Funciona muy bien con urllib.urlopen() , pero no tiene un parámetro de timeout . Por otro lado, con urllib2.urlopen() la salida está en búfer. ¿Hay una manera fácil de deshabilitar […]

urllib.urlencode: TypeError no es una secuencia válida que no sea una cadena o un objeto de mapeo

Estoy tratando de ejecutar el siguiente código, pero me está dando el siguiente error: Traceback (most recent call last): File “put_message.py”, line 43, in translatedWord=getTranslatedValue(source_lang,source_word,dest_lang,apiKey) File “put_message.py”, line 22, in getTranslatedValue source_word=urllib.urlencode(source_word) File “/usr/lib/python2.7/urllib.py”, line 1318, in urlencode raise TypeError TypeError: not a valid non-string sequence or mapping object mi progtwig se da a continuación: […]

Cogiendo errores http

¿Cómo puedo detectar los errores 404 y 403 para las páginas en python y urllib (2), por ejemplo? ¿Hay formas rápidas sin grandes envolturas de clase? Información añadida (seguimiento de stack): Traceback (most recent call last): File “test.py”, line 3, in page = urllib2.urlopen(“http://localhost:4444”) File “/usr/lib/python2.6/urllib2.py”, line 126, in urlopen return _opener.open(url, data, timeout) File […]

Descarga el archivo desde la URL de Blob con Python

Deseo que mi script de Python descargue el archivo Excel de datos maestros (descarga, XLSX) de esta página web de la bolsa de Frankfurt . Cuando se recupera con urrlib y wget , resulta que la URL conduce a un Blob y que el archivo descargado solo tiene 289 bytes y es ilegible. http://www.xetra.com/blob/1193366/b2f210876702b8e08e40b8ecb769a02e/data/All-tradable-ETFs-ETCs-and-ETNs.xlsx No […]

¿Por qué urllib.request.urlopen a veces no funciona, pero los navegadores funcionan?

Estoy tratando de descargar algo de contenido usando urllib.request de Python. El siguiente comando produce una excepción: import urllib.request print(urllib.request.urlopen(“https://fpgroup.foreignpolicy.com/foreign-policy-releases-mayjune-spy-issue/”).code) resultado: … HTTPError: HTTP Error 403: Forbidden si uso Firefox o enlaces (navegador de línea de comandos) obtengo el contenido y un código de estado de 200. Si uso lynx, lo suficientemente extraño, también obtengo […]

Eliminar nueva línea en python con urllib

Estoy usando Python 3.x. Mientras urllib.request para descargar la página web, urllib.request muchos \n entre. Estoy intentando eliminarlo utilizando los métodos que se indican en los otros subprocesos del foro, pero no puedo hacerlo. He usado la función strip() y la función replace() … ¡pero no tuve suerte! Estoy ejecutando este código en eclipse. Aquí […]

El urllib2 de Python no funciona en algunos sitios

Descubrí que no se puede leer desde algunos sitios utilizando urllib2 (o urllib) de Python. Un ejemplo… urllib2.urlopen(“http://www.dafont.com/”).read() # Returns ” Estos sitios funcionan cuando usted visita el sitio con un navegador. Incluso puedo rasparlos usando PHP (no probé otros idiomas). He visto otros sitios con el mismo problema, pero no puedo recordar la URL […]