Articles of selenio

La descarga de Selenium-python, pero el archivo se guarda como .part

Mi script funciona, pero está guardando el archivo como .part, aunque compararlo con un archivo descargado manualmente es del mismo tamaño y, afortunadamente, está completo. Sin embargo, no puedo entender por qué se está guardando como un archivo parcial. Sorta inconveniente para mi próxima idea. ¿Alguien tiene una idea de por qué esto podría ser? […]

Obtención o manipulación de todas las cookies en Selenium Webdriver

Intentando meterme con las cookies usando Chromedriver con Python (o Java). Me he dado cuenta de que for cookie in browser.get_cookies(): print(cookie[‘name’] + ‘ –> ‘ + cookie[‘value’]) Solo me da las cookies relevantes para la página activa en la que está mi navegador. ¿Hay algún método que pueda, usando Selenium o Python nativo (en […]

El problema de Selenium y Geckodriver con la creación de un controlador web en Python

Tengo un fragmento de código en un rastreador de python que solía funcionar. Lo instalé en un nuevo sistema y ahora estoy tratando de obtener las dependencias correctas. Al usar geckodriver 0.13.0 y ejecutar el siguiente código: def login(self): print self.colors.OKBLUE + “Logging into my site as User: ” + self.config.email + self.colors.ENDC username = […]

Rellenar datos de formulario web utilizando módulos Python incorporados

Está bien, así que he usado mecanizar, pedidos, una sopa hermosa e incluso selenium en mi empresa para hacer algo como esto y he llegado a la conclusión de que urllib y los otros módulos predeterminados son la mejor manera de hacerlo. El único problema es que no puedo entender cómo usarlo en absoluto. Entonces, […]

La secuencia de comandos de repente deja de rastrear sin error o excepción

No estoy seguro de por qué, pero mi script siempre deja de rastrear una vez que llega a la página 9 . No hay errores, excepciones o advertencias, así que estoy un poco perdido. alguien me puede ayudar? PS ¡ Aquí está el script completo en caso de que alguien quiera probarlo por sí mismo! […]

¿Cómo implementar el control personalizado sobre multiproceso python.Pool?

Por lo general, utilizo el siguiente código, y funciona bien cuando no importa en qué orden la función process_func manejará algún parámetro: params = [1,2,3,4,5 … ] def process_func(): … pool = new Pool(40) pool.map(process_func, params) pool.close() pool.join() En el ejemplo anterior tenemos procesos de un tipo, con un número máximo simultáneo de 40. Pero […]

Python web scraping: 503 Response con sitio específico (¿por qué?)

Experimentar con el aprendizaje de python y la web de algunos sitios web. Viendo lo que puedo aprender. Noté que Amazon.com me daría una Response 503 menos que use un atributo de encabezado en mi SESSION.get() . Pero esto no funciona para readcomiconline.to donde obtengo una Response 503 sin importar lo que intente. Asumiendo que […]

Cargar página web en python DESPUÉS de que JavaScripts se ejecute

Estoy tratando de obtener la definición de palabras en español (como un diccionario) en función de lo que ingresa el usuario. La idea sería: >>> hola ‘1. interj. U. como salutación familiar.’ Primero probé con urllib2, pero como la definición apareció después de la ejecución de JS (tiene sentido duh), no funcionó. También probé el […]

Modificando el objeto Javascript Navigator con Selenium

Intenté acceder a un sitio con Selenium (con geckodriver) y dijo que estaba bloqueado, pero puedo acceder a él manualmente con el navegador Firefox. Así que comparé los componentes de mi diadema y la única diferencia fue que en el objeto Navigator “webdriver” se configuró en “true” cuando usé Selenium. Intenté ejecutar este código: from […]

¿Cómo puede funcionar Geckodriver / Firefox sin Marionette? (corriendo python selenium 3 contra FF 53)

Estoy viendo un extraño error de “certificado no confiable” solo en las ventanas emergentes de Firefox controladas por selenium. Muy especifico. Para resolver este problema, varios resultados de Google sugirieron desactivar la marioneta, así: from selenium.webdriver.common.desired_capabilities import DesiredCapabilities firefox_capabilities = DesiredCapabilities.FIREFOX firefox_capabilities[‘marionette’] = False driver = webdriver.Firefox() Y esto funciona, pero ¿cómo? ¿Cómo está funcionando […]