Inicie sesión en un sitio web y Web Scapping usando python

Estoy tratando de encontrar formas de desechar un sitio web de bienes raíces https://www.brickz.my/ para mi proyecto de investigación. He estado probando entre el selenium y la sopa hermosa y decidí que elegir una sopa hermosa era la mejor manera para mí, ya que la estructura de URL para cada propiedad inmobiliaria permite que mi código navegue por el sitio web de manera fácil y rápida

Estoy tratando de construir una transacción de base de datos para cada inmobiliaria ‘. Sin inicio de sesión, solo se mostrarán las 10 últimas transacciones para una propiedad en particular. Al iniciar sesión, puedo acceder a la transacción completa para un tipo particular de propiedad. aquí está el ejemplo

Sin inicio de sesión, solo puedo acceder a 10 transacciones por cada propiedad.

Después del inicio de sesión, puedo acceder a más de 10 transacciones, además de la dirección de la propiedad anteriormente oculta

Intento iniciar sesión usando la solicitud en Python, sin embargo, sigue trayéndome a la página sin iniciar sesión y termino, solo logro eliminar la última transacción en lugar de la transacción completa. Aquí está el ejemplo de mi código de inicio de sesión en Python

import requests from bs4 import BeautifulSoup page = requests.get("https://www.brickz.my/login/", auth= ('email', 'password')) headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 5.1.1; SM-G928X Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36'} soup = BeautifulSoup(page.content, 'html.parser') #I put one of the property url to be scrapped inside response response = get("https://www.brickz.my/transactions/residential/kuala- lumpur/titiwangsa/titiwangsa-sentral-condo/non-landed/?range=2012+Oct-", headers = headers) 

Esto es lo que solía desechar la mesa.

  table = BeautifulSoup(response.text, 'html.parser') table_rows = table.find_all('tr') names = [] for tr in table_rows: td = tr.find_all('td') row = [i.text for i in td] names.append(row) 

¿Cómo puedo iniciar sesión correctamente y obtener acceso a toda la transacción? Escuché sobre la biblioteca de Mechanize pero no está disponible para Python 3.

Lo siento si mi pregunta no está clara, esta es la primera vez que publico, y acabo de aprender a usar Python hace solo un par de meses.

Pruebe el siguiente código. ¿Qué ve cuando lo imprime (cambio de email y password )? ¿No imprime Logout como resultado?

 import requests from bs4 import BeautifulSoup URL = "https://www.brickz.my/login/" payload = { 'email': 'your_email', 'pw': 'your_password', 'submit': 'Submit' } with requests.Session() as s: s.headers = {"User-Agent":"Mozilla/5.0"} s.post(URL,data=payload) res = s.get("https://www.brickz.my/") soup = BeautifulSoup(res.text,"lxml") for items in soup.select("select#menu_select .nav2"): data = [' '.join(item.text.split()) for item in items.select("option")[-1:]] print(data) 

Una simple traza HTTP mostrará que se realiza un POST a https://www.brickz.my/login/ con email y pw como parámetros de formulario.

Lo que se traduce en este comando de solicitudes:

 session = requests.Session() resp = session.post('https://www.brickz.my/login/', data={'email': '', 'pw': ' 

ADVERTENCIA: Sin probar ya que no tengo una cuenta allí.