Web javascript de raspado en Python / R

Estoy haciendo algunos proyectos de ciencia de datos personales y uno de ellos es ver con qué frecuencia se tocan ciertas canciones en la radio.

Al mirar la URL anterior, cuando veo la fuente de la página, no aparecen valores de interés. No estoy seguro de por qué, pero cuando uso el elemento inspeccionar en Chrome cuando paso sobre el encabezado “En reproducción”, puedo ver los valores de la canción y el artista que se están reproduciendo.

Ejemplo:

a class="player-song" href="/artist/rem-3610/songs/-2450662/" title="Losing My Religion" data-reactid=".1hpdfx1l4ow.a.1.0.1.1">Losing My Religion</a 

Mis dos preguntas son:

  1. ¿Por qué esto no aparece en la fuente de la página, pero puedo verlo en Inspeccionar elemento?
  2. ¿Cómo puedo eliminar esta información en la web, ya que no aparece en la fuente de la página?

  1. La mayoría de las páginas web que incluyen elementos dynamics tienen elementos de página generados e insertados por Javascript que el navegador analiza y ejecuta por usted. Ya lo has adivinado, sospecho, basado en el título de la pregunta.

    Lo que se ve en la fuente de la página es el HTML en bruto antes de que Javascript se active y lo actualice.

  2. Desea un navegador sin cabeza : un navegador sin una interfaz gráfica de usuario. Esto analizará y ejecutará Javascript por ti, y actualizará el HTML de la página como corresponda.


Aquí está una lista completa de los navegadores sin cabeza . Tenga en cuenta que puede hacer esta tarea en cualquier idioma.