Articles of proxy

¿Cómo decirle a Python que use automáticamente la configuración de proxy en Windows XP como la opción internet2 de R?

No soy persona super técnica. Pero sé que en Windows, si instalo R usando la opción internet2, puedo descargar el paquete que quiera. Instalo Python y cada vez que bash descargar un paquete o instalar un paquete (por ejemplo, utilizando easy_install) falla. ¿Qué puedo hacer para que Python detecte automáticamente la configuración de mi proxy […]

Error de Python Proxy con la biblioteca de solicitudes

Estoy tratando de acceder a la web a través de un servidor proxy en Python. Estoy usando la biblioteca de solicitudes y tengo un problema con la autenticación de mi proxy, ya que el proxy que estoy usando requiere una contraseña. proxyDict = { ‘http’ : ‘username:mypassword@77.75.105.165’, ‘https’ : ‘username:mypassword@77.75.105.165’ } r = requests.get(“http://www.google.com”, proxies=proxyDict) […]

Conexión proxy con Python

He estado intentando conectarme a las URL de python. He intentado: urllib2, urlib3, y peticiones. Es el mismo problema que me encuentro en todos los casos. Una vez que obtenga la respuesta, imagino que los tres funcionarán bien. El problema es la conexión a través de proxy. He ingresado nuestra información de proxy, pero no […]

La aplicación Flask da 404 en todas partes cuando se procesa a través de nginx

Tengo una aplicación de matraz demonizada a través de supervisor. Quiero proxy_pass una subcarpeta en el localhost a la aplicación del matraz. La aplicación del flask se ejecuta correctamente cuando se ejecuta directamente, sin embargo, genera errores 404 cuando se llama a través del proxy. Aquí está el archivo de configuración para nginx: upstream apiserver […]

Configuración de middleware de proxy de Scrapy para rotar en cada solicitud

Esta pregunta necesariamente viene en dos formas, porque no conozco la mejor ruta para una solución. Un sitio que estoy rastreando me lleva a menudo a una página “Usuario bloqueado” redirigido, pero la frecuencia (por solicitud / tiempo) parece aleatoria, y parece que tienen una lista negra que bloquea muchos de los servidores proxy “abiertos” […]

Pip no funciona detrás del firewall

Estoy tratando de usar pip desde detrás de un firewall corporativo y no tengo suerte. He establecido las variables de entorno http_proxy y https_proxy . Wget funciona, pero no pip. Intenté esto … sudo -E pip install virtualenv con estos proxies … export http_proxy=myproxyname.mydomain.com:8080 export https_proxy=myproxyname.mydomain.com:8080 … y obtuve un largo stacktrace que terminó con […]

Ejecutando selenium detrás de un servidor proxy

He estado usando selenium para simulaciones de navegador automáticas y raspado web en python y ha funcionado bien para mí. Pero ahora, tengo que ejecutarlo detrás de un servidor proxy. Así que ahora Selenio abre la ventana pero no pudo abrir la página solicitada debido a que la configuración del proxy no está establecida en […]

Intentando que Tor trabaje con Python, pero sigue rechazando la conexión.

He estado tratando de hacer que Tor trabaje con Python, pero he estado golpeando una pared de ladrillos. Simplemente no puedo conseguir que ninguno de los ejemplos funcione. Aquí hay uno de Stackoverflow import urllib2 proxy = urllib2.ProxyHandler({‘http’:’127.0.0.1:8118′}) opener = urllib2.build_opener(proxy) print opener.open(‘http://check.torproject.org/’).read() He instalado Tor y funciona bien mientras navego por Aurora. Sin embargo […]

¿Por qué Tor no puede acceder a las páginas de localhost?

Tengo Tor en ejecución y un script en python para obtener páginas web: socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, “127.0.0.1”, 9050) socket.socket = socks.socksocket print urllib2.urlopen(URL).read() Sin embargo, si la URL es http://localhost/some_page.html Obtuve el siguiente error: raise Socks5Error(ord(resp[1]),_generalerrors[ord(resp[1])]) TypeError: __init__() takes exactly 2 arguments (3 given) ¿Puede alguien explicarme qué sucede exactamente? Gracias.

Peticiones de regulación con múltiples proxies

Actualmente estoy asignando proxies aleatorios a las solicitudes a través de un middleware personalizado. Me gustaría introducir la aceleración de la descarga al proxy específico que está utilizando la solicitud, pero por lo que puedo decir, de forma inmediata, esto solo es posible cuando está vinculado a dominios o IP. Me preocupa que la implementación […]