Articles of python pedidos

El proceso hijo de Python se bloquea silenciosamente al emitir una solicitud HTTP

Estoy teniendo problemas al combinar multiprocesamiento, solicitudes (o urllib2) y nltk. Aquí hay un código muy simple: >>> from multiprocessing import Process >>> import requests >>> from pprint import pprint >>> Process(target=lambda: pprint( requests.get(‘https://api.github.com’))).start() >>> # this is the response displayed by the call to `pprint`. Un poco más de detalles sobre lo que hace […]

Las solicitudes de Python dan un protocolo SSL desconocido

Estoy tratando de enviar una solicitud a una API que he configurado en una máquina de AWS. El código que uso es el siguiente: import requests import json report_dict = { “client_name”: “Wayne Enterprises”, “client_id”: 123, “report_type”: “api_testing”, “timestamp_generated”: “2015-07-29T11:00:00Z”, “report_data”: {“revenue”: 9000.00} } report_json = json.dumps(report_dict) resp = requests.post(“https://my-url.com:8080/my-api/reports”, data=report_json,verify=False) Haciendo esto, me sale: […]

¿Cómo borro el caché con las solicitudes de Python?

¿El paquete de requests de Python almacena datos en caché de forma predeterminada? Por ejemplo, import requests resp = requests.get(‘https://some website’) ¿Se almacenará en caché la respuesta? Si es así, ¿cómo lo borro?

Cuando use las solicitudes de Python para revisar un sitio, si el sitio me redirige a otra página, ¿lo sabré?

Lo que quiero decir es que si voy a “www.yahoo.com/thispage”, y yahoo ha configurado un filtro para redirigir / thispage a / thatpage. Así que cada vez que alguien vaya a / thispage, él / ella aterrizará en / thatpage. Si uso httplib / request / urllib, ¿sabré que hubo una redirección? ¿Qué páginas de […]

Guardando respuesta de Solicitudes a archivar

Estoy usando solicitudes para subir un pdf a una API. Se almacena como “respuesta” a continuación. Estoy tratando de escribir eso para excel. import requests files = {‘f’: (‘1.pdf’, open(‘1.pdf’, ‘rb’))} response = requests.post(“https://pdftables.com/api?&format=xlsx-single”,files=files) response.raise_for_status() # ensure we notice bad responses file = open(“out.xls”, “w”) file.write(response) file.close() Estoy recibiendo el error: file.write(response) TypeError: expected a […]

Obtener el elemento HTML y enviar nuevas solicitudes json en python

Intento rastrear este enlace enviando solicitudes json. Mi primera petición sería: parameters1 = {‘ticker’:’XOM’, ‘countryCode’:’US’, ‘dateTime’:”, ‘docId’:’1222737422 ‘, ‘docType’:’806′,’sequence’:’e5a00f51-8821-4fbc-8ac6-e5f64b5eb0f2′, ‘messageNumber’:”,’count’:’10’, ‘channelName’:’/news/latest/company/us/xom’, ‘topic’:”, ‘_’:” } firstUrl = “http://www.marketwatch.com/news/headline/getheadlines” html1 = requests.get(firstUrl, params = parameters1, headers = header) html_json1=(json.loads(html1.text)) Para enviar las siguientes solicitudes, tengo que extraer docId del HTML correspondiente y agregarlo a los nuevos parámetros. […]

Raspado de ‘N’ páginas con Beautifulsoup y Solicitudes (Cómo obtener el número de página verdadero)

Quiero obtener todos los títulos () en el sitio web. http://www.shyan.gov.cn/zwhd/web/webindex.action Ahora, mi código raspa con éxito solo una página. Sin embargo, hay varias páginas disponibles en el sitio de arriba en el que me gustaría hacer una copia. Por ejemplo, con la url anterior, cuando hago clic en el enlace a “página 2”, la […]

Solicitudes de Python, advertencia: urllib3.connectionpool: El grupo de conexiones está lleno

Estoy usando la biblioteca de solicitudes en Python 3 y, a pesar de mis mejores esfuerzos, no puedo hacer que desaparezca la siguiente advertencia: ADVERTENCIA: requests.packages.urllib3.connectionpool: El grupo de conexiones está lleno, descartando la conexión: myorganization.zendesk.com Estoy usando solicitudes en un entorno multiproceso para obtener y publicar archivos json simultáneamente en un solo host , […]

Cómo raspar páginas aspx con python

Estoy tratando de eliminar un sitio, https://www.searchiqs.com/nybro/ (debe hacer clic en “Iniciar sesión como invitado” para acceder al formulario de búsqueda. Si busco un término de la Parte 1 como, por ejemplo, ” Andrew “los resultados tienen paginación y también, el tipo de solicitud es POST, por lo que la URL no cambia y las […]

cual es el significado de request.headers.setdefault () en scrapy

Quiero configurar UserAgentMiddleware personalizado con scrapy. Pero no conozco la acción de request.headers.setdefault(‘User-Agent’, ua) cuando la vi, y no encontré el método de rechazar y las solicitudes. ¿Dónde puedo encontrar alguna explicación al respecto?