Desarrollo de Python
  1. Desarrollo de Python
  3. Haga clic en el botón en el sitio web y luego raspe la página web
Intereting Posts
¿Cómo agregar la cadena de consulta actual a una URL en una plantilla de Django? Mezcla el conjunto de datos HDF5 usando h5py ejecutando matplotlib o enthought.mayavi.mlab desde un py-shell dentro de emacs en windows Usando el módulo ‘subproceso’ con timeout decir si Python está en modo -i ¿Cuál es la diferencia entre dibujar plots usando una ttwig, ejes o figura en matplotlib? Ejemplo de código Python line_profiler Tener problemas para hacer una lista de listas de un tamaño designado Eliminando el archivo tmp después de devolver HttpResponse en django Manera de Pythonic para separar correctamente el modelo de la aplicación usando SQLAlchemy Autenticación básica con jira-python. Automáticamente reventa ylim y xlim en Matplotlib Recrear datos de series de tiempo usando resultados FFT sin usar ifft Copiar imagen PIL / PILLOW en el portapapeles de Windows Reutilizando un websocket existente en los canales de Django

Haga clic en el botón en el sitio web y luego raspe la página web

Tengo un sitio web en el que me gustaría hacer clic en un botón para luego raspar el sitio web usando Python. El código html entre los botones es: 

Testing

es posible? Puedo eliminar todos los datos que necesito de la página, pero primero debo hacer clic en el botón.

Cualquier ayuda sería apreciada

Básicamente, tienes dos opciones:

  • Enfoque de alto nivel : automatice un navegador real utilizando selenium o, en otras palabras, haga que el navegador repita todas las acciones del usuario necesarias para llegar a la página con los datos deseados.

  • enfoque de bajo nivel : cuando hace clic en el botón, investigue qué está sucediendo debajo del capó: explore la pestaña “Red” de las herramientas de desarrollo del navegador y vea qué solicitudes se están realizando. Luego, simúlalas en tu raspador. Aquí, puede considerar utilizar herramientas como requests , mechanize para realizar solicitudes, manejar sesiones de raspado, enviar formularios, etc. y herramientas como BeautifulSoup , lxml.html para el análisis de HTML. Además, Scrapy web-scraping framework es una visita obligada.