Desarrollo de Python
  1. Desarrollo de Python
  3. Haga clic en el botón en el sitio web y luego raspe la página web
Intereting Posts
¿Mejor manera de intercambiar elementos en una lista? Coincidencias de expresiones regulares superpuestas Mostrar caracteres no ascii (japoneses) en la leyenda de la ttwig pandas Subproceso de cambio de Python a través del cliente / servidor Las pandas expanden el campo json a través de los registros. Accede a los datos de Hive usando Python ¿Cómo instalar pydot y graphviz en google colab? Firmar una cadena con la clave privada RSA en el SDK de Python de Google App Engine ¿Por qué no puedo usar verdadero / falso / nulo en un objeto Python alimentado a json.dumps ()? ¿Hay alguna posibilidad de convertir todas las columnas en filas de pandas / numpy a matrices de bytes? Decapado de un dataframe Recv / enviar en socket sin procesar antes de SSL wrap (), Python ¿Cómo obtener la duración de un video en Python? Python: ¿Cómo puedo ejecutar las funciones de Python en paralelo? Python! = Operación vs “no es”

Haga clic en el botón en el sitio web y luego raspe la página web

Tengo un sitio web en el que me gustaría hacer clic en un botón para luego raspar el sitio web usando Python. El código html entre los botones es: 

Testing

es posible? Puedo eliminar todos los datos que necesito de la página, pero primero debo hacer clic en el botón.

Cualquier ayuda sería apreciada

Básicamente, tienes dos opciones:

  • Enfoque de alto nivel : automatice un navegador real utilizando selenium o, en otras palabras, haga que el navegador repita todas las acciones del usuario necesarias para llegar a la página con los datos deseados.

  • enfoque de bajo nivel : cuando hace clic en el botón, investigue qué está sucediendo debajo del capó: explore la pestaña “Red” de las herramientas de desarrollo del navegador y vea qué solicitudes se están realizando. Luego, simúlalas en tu raspador. Aquí, puede considerar utilizar herramientas como requests , mechanize para realizar solicitudes, manejar sesiones de raspado, enviar formularios, etc. y herramientas como BeautifulSoup , lxml.html para el análisis de HTML. Además, Scrapy web-scraping framework es una visita obligada.