Raspado web con Selenium Python

Estoy tratando de eliminar web y Twitter en función de la geolocalización. Puedo realizar una búsqueda de consultas, pero tengo problemas para volver a cargar la página web a más y almacenar los campos en el dataframe.

Encontré un par de ejemplos para Twitter web e Instagram sin claves API. Pero son con respecto a #tags palabras clave.

Estoy tratando de raspar con respecto a la ubicación geográfica y entre las fechas anteriores. Hasta ahora he llegado tan lejos escribiendo código en Python 3.X y todas las últimas versiones de paquetes en anaconda.

''' Instagram - Components "id": "1478232643287060472", "dimensions": {"height": 1080, "width": 1080}, "owner": {"id": "351633262"}, "thumbnail_src": "https://instagram.fdel1-1.fna.fbcdn.net/t51.2885-15/s640x640/sh0.08/e35/17439262_973184322815940_668652714938335232_n.jpg", "is_video": false, "code": "BSDvMHOgw_4", "date": 1490439084, "taken-at=213385402" "display_src": "https://instagram.fdel1-1.fna.fbcdn.net/t51.2885-15/e35/17439262_973184322815940_668652714938335232_n.jpg", "caption": "Hakuna jambo zuri kama kumpa Mungu shukrani kwa kila jambo.. \ud83d\ude4f\ud83c\udffe\nIts weekend\n#lifeistooshorttobeunhappy\n#Godisgood \n#happysoul \ud83d\ude00", "comments": {"count": 42}, "likes": {"count": 3813}}, ''' import selenium from selenium import webdriver #from selenium import selenium from bs4 import BeautifulSoup import pandas #geotags = pd.read_csv("geocodes.csv") #parmalink = query = geocode%3A35.68501%2C139.7514%2C30km%20since:2016-03-01%20until:2016-03-02&f=tweets twitterURL = 'https://twitter.com/search?q=' + query #instaURL = "https://www.instagram.com/explore/locations/213385402/" browser = webdriver.Firefox() browser.get(twitterURL) content = browser.page_source soup = BeautifulSoup(content) print (soup) 

Para la consulta de búsqueda de Twitter obtengo un error de syntax

Para Instagram no recibo ningún error, pero no puedo volver a cargar para más publicaciones y escribir en el dataframe csv.

También estoy intentando buscar con búsqueda de latitud y longitud tanto en Twitter como en Instagram.

Tengo una lista de coordenadas geográficas en csv Puedo usar esa entrada o puedo escribir una consulta para buscar.

Cualquier forma de completar el raspado con ubicación será apreciada.

Aprecio la ayuda !!

Related of "Raspado web con Selenium Python"

Me las arreglé para hacerlo funcionar utilizando requests . Su código se vería algo así:

 from bs4 import BeautifulSoup import requests query = "geocode%3A35.68501%2C139.7514%2C30km%20since:2016-03-01%20until:2016-03-02&f=tweets" twitter = 'https://twitter.com/search?q=' + query content = requests.get(twitter) soup = BeautifulSoup(content.text) print(soup) 

Luego puedes usar el objeto de soup para analizar lo que necesitas. Lo mismo debería funcionar para Instagram, si su consulta es correcta.