Articles of phantomjs

Manejo de la redirección con PhantomJS + Selenium

Actualmente ejecuto pruebas de navegador a través de PhantomJS + Selenium en Python. desired_capabilities = dict(DesiredCapabilities.PHANTOMJS) desired_capabilities[“phantomjs.page.settings.userAgent”] = (“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36″) driver = webdriver.PhantomJS(executable_path=”./phantomjs”, desired_capabilities=desired_capabilities) driver.get(‘http://google.com’) Esto funciona bien, a menos que la página que estoy tratando de get tenga un redireccionamiento. Ejemplo: https://login.vrealizeair.vmware.com/ En […]

Scrapy con selenium, webdriver no poder instanciar

Estoy tratando de usar selenium / phantomjs con scrapy y estoy plagado de errores. Por ejemplo, tome el siguiente fragmento de código: def parse(self, resposne): while True: try: driver = webdriver.PhantomJS() # do some stuff driver.quit() break except (WebDriverException, TimeoutException): try: driver.quit() except UnboundLocalError: print “Driver failed to instantiate” time.sleep(3) continue La mayoría de las […]

¿Cómo genero un archivo png con selenium / phantomjs desde una cadena?

Estoy usando selenium / phantomjs para crear archivos png de html en python. ¿Hay una manera de generar el png desde una cadena html o un identificador de archivo (en lugar de un sitio web)? Busqué en los documentos de selenium y busqué en Google, pero no pude encontrar una respuesta. Yo tengo: htmlString = […]

PhantomJS 1.8 con Selenium en python. ¿Cómo bloquear imágenes?

¿Hay alguna forma de configurar el controlador web PhantomJS en Selenium para que no cargue imágenes? Sé que si uso phantomjs directamente, puedo iniciarlo con –load-images=no y no cargará las imágenes, pero ¿cómo puedo configurar eso a través de Selenium y Python? ACTUALIZACIÓN Intentado lo siguiente: args = { ‘desired_capabilities’: { ‘loadImages’: False } } […]

Amazon web scraping

Estoy tratando de raspar los precios de Amazon con phantomjs y python. Quiero analizarlo con una sopa hermosa, para obtener los precios nuevos y usados ​​de los libros, el problema es: cuando paso la fuente de la solicitud que hago con phantomjs, los precios son solo 0,00, el código es esta prueba simple. Soy nuevo […]

Imitando el soporte de video HTML5 en PhantomJS usado a través de Selenium en Python

Estoy intentando extraer el enlace de origen de un video HTML5 que se encuentra en la etiqueta de video. Al usar Firefox webdrive, puedo obtener el resultado deseado, por ejemplo: [<video class="video-stream html5-main-video" src='myvideoURL..'] pero si uso PhantomJS – Sospecho que esto se debe a la falta de soporte de video HTML5 de PhantomJS. ¿Hay […]

Adición de cookies que funcionan con el controlador web de Firefox pero no en PhantomJS

Tengo un pickle con cookies que creo a través del siguiente comando def doLogin(driver): #do login stuff pickle.dump(driver.get_cookies(), open(“cookies.pkl”, “wb”)) Tengo el código de muestra para obtener las cookies. driver = webdriver.PhantomJS() self.doLogin(driver) driver.delete_all_cookies() for cookie in pickle.load(open(“cookies.pkl”, “rb”)): driver.add_cookie(cookie) Puedo ver que crea la cookie bien porque si la imprimo está bien, add_cookie () […]

PyCharm no puede conectarse a GhostDriver

Tengo una prueba de unidad que pasa cuando la ejecuto a través de python manage.py test , pero falla cuando la ejecuto desde PyCharm. def test_alpha(self): from selenium.webdriver.common.utils import free_port from selenium import webdriver driver = webdriver.PhantomJS(executable_path=PHANTOMJS_PATH, port=free_port()) driver.quit() La excepción que recibo cuando corro desde PyCharm es WebDriverException: Message: ‘Can not connect to GhostDriver’ […]

Captura de pantalla de Python Selenium no obtiene la página completa

Estoy intentando crear un webcrawler genérico que irá a un sitio y tomará una captura de pantalla. Estoy usando Python, Selnium y PhantomJS. El problema es que la captura de pantalla no captura todas las imágenes en una página. Por ejemplo, si voy a tu tubo, no captura imágenes debajo de la imagen de la […]

Cómo establecer el tamaño de la ventana usando phantomjs y Selenium webdriver en python

Estoy tratando de obtener una captura de pantalla del tamaño completo del navegador con phantomjs controlados por Python Webdriver. ahora mismo mi captura de pantalla se mide a 927 x 870, me gustaría restablecerla. Yo he tratado: driver.manage().window().setSize(new Dimension(1400,1000)) Basado en esta fuente , pero esto está dando errores de syntax. ¿Cómo puedo hacer esto?