Actualmente ejecuto pruebas de navegador a través de PhantomJS + Selenium en Python. desired_capabilities = dict(DesiredCapabilities.PHANTOMJS) desired_capabilities[“phantomjs.page.settings.userAgent”] = (“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36″) driver = webdriver.PhantomJS(executable_path=”./phantomjs”, desired_capabilities=desired_capabilities) driver.get(‘http://google.com’) Esto funciona bien, a menos que la página que estoy tratando de get tenga un redireccionamiento. Ejemplo: https://login.vrealizeair.vmware.com/ En […]
Estoy tratando de usar selenium / phantomjs con scrapy y estoy plagado de errores. Por ejemplo, tome el siguiente fragmento de código: def parse(self, resposne): while True: try: driver = webdriver.PhantomJS() # do some stuff driver.quit() break except (WebDriverException, TimeoutException): try: driver.quit() except UnboundLocalError: print “Driver failed to instantiate” time.sleep(3) continue La mayoría de las […]
Estoy usando selenium / phantomjs para crear archivos png de html en python. ¿Hay una manera de generar el png desde una cadena html o un identificador de archivo (en lugar de un sitio web)? Busqué en los documentos de selenium y busqué en Google, pero no pude encontrar una respuesta. Yo tengo: htmlString = […]
¿Hay alguna forma de configurar el controlador web PhantomJS en Selenium para que no cargue imágenes? Sé que si uso phantomjs directamente, puedo iniciarlo con –load-images=no y no cargará las imágenes, pero ¿cómo puedo configurar eso a través de Selenium y Python? ACTUALIZACIÓN Intentado lo siguiente: args = { ‘desired_capabilities’: { ‘loadImages’: False } } […]
Estoy tratando de raspar los precios de Amazon con phantomjs y python. Quiero analizarlo con una sopa hermosa, para obtener los precios nuevos y usados de los libros, el problema es: cuando paso la fuente de la solicitud que hago con phantomjs, los precios son solo 0,00, el código es esta prueba simple. Soy nuevo […]
Estoy intentando extraer el enlace de origen de un video HTML5 que se encuentra en la etiqueta de video. Al usar Firefox webdrive, puedo obtener el resultado deseado, por ejemplo: [<video class="video-stream html5-main-video" src='myvideoURL..'] pero si uso PhantomJS – Sospecho que esto se debe a la falta de soporte de video HTML5 de PhantomJS. ¿Hay […]
Tengo un pickle con cookies que creo a través del siguiente comando def doLogin(driver): #do login stuff pickle.dump(driver.get_cookies(), open(“cookies.pkl”, “wb”)) Tengo el código de muestra para obtener las cookies. driver = webdriver.PhantomJS() self.doLogin(driver) driver.delete_all_cookies() for cookie in pickle.load(open(“cookies.pkl”, “rb”)): driver.add_cookie(cookie) Puedo ver que crea la cookie bien porque si la imprimo está bien, add_cookie () […]
Tengo una prueba de unidad que pasa cuando la ejecuto a través de python manage.py test , pero falla cuando la ejecuto desde PyCharm. def test_alpha(self): from selenium.webdriver.common.utils import free_port from selenium import webdriver driver = webdriver.PhantomJS(executable_path=PHANTOMJS_PATH, port=free_port()) driver.quit() La excepción que recibo cuando corro desde PyCharm es WebDriverException: Message: ‘Can not connect to GhostDriver’ […]
Estoy intentando crear un webcrawler genérico que irá a un sitio y tomará una captura de pantalla. Estoy usando Python, Selnium y PhantomJS. El problema es que la captura de pantalla no captura todas las imágenes en una página. Por ejemplo, si voy a tu tubo, no captura imágenes debajo de la imagen de la […]
Estoy tratando de obtener una captura de pantalla del tamaño completo del navegador con phantomjs controlados por Python Webdriver. ahora mismo mi captura de pantalla se mide a 927 x 870, me gustaría restablecerla. Yo he tratado: driver.manage().window().setSize(new Dimension(1400,1000)) Basado en esta fuente , pero esto está dando errores de syntax. ¿Cómo puedo hacer esto?