¿Cuál es la syntax correcta para seguir un enlace usando beautifulsoup & request en una aplicación de django?

Hice una pregunta que creo que no estaba clara. Ya he conseguido con éxito publicaciones de la página de inicio de los sitios. El siguiente paso es seguir el enlace de la publicación a su página de detalles para que pueda rastrear el contenido de los detalles. Este es el código que he intentado modificar pero no funciona. Ten en cuenta que soy un novato y lo estoy usando en una aplicación de django.

def sprinkle(): url_two = 'http://www.example.com' html = requests.get(url_two, headers=headers) soup = BeautifulSoup(html.text, 'html5lib') titles = soup.find_all('div', {'class': 'entry-pos-1'}) entries = [{'href': url_two + div.a.get('href'), 'comment': BeautifulSoup(url_two + div.a.get('href')).find_all('div', {'class': 'article-body'}), 'src': url_two + div.a.img.get('data-original'), 'text': div.find('p', 'entry-title').text, } for div in titles][:6] return entries 

y en mi opinión

 sp = sprinkle() context = { "comment": sp } 

y en mi plantilla

 {% for s in sp %} {{s.comment}} {% endfor %} 

en el html todo lo que muestra es

 [] 

Las urls que estoy tratando de raspar se ven así

 http://www.example.com//article/218582/detail-art http://www.example.com//article/218817/detail-science http://www.example.com//article/218542/detail-theatre 

¿Cómo puedo usar los enlaces para ir a la página de detalles y raspar los datos de esa página?

esto funcionará

 def sprinkle(): url_two = 'http://www.vladtv.com' html = requests.get(url_two, headers=headers) soup = BeautifulSoup(html.text, 'html5lib') titles = soup.find_all('div', {'class': 'entry-pos-1'}) def make_soup(url): the_comments_page = requests.get(url, headers=headers) soupdata = BeautifulSoup(the_comments_page.text, 'html5lib') comment = soupdata.find('div', {'class': 'article-body'}) para = comment.find_all('p') return para entries = [{'href': url_two + div.a.get('href'), 'src': url_two + div.a.img.get('data-original'), 'text': div.find('p', 'entry-title').text, 'comments': make_soup(url_two + div.a.get('href')) } for div in titles][:6] return entries 

Pero la forma en que lo resolví los corchetes todavía muestran