Articles of mecanizar

Web Scraper para formas dinámicas en python

Estoy tratando de llenar el formulario de este sitio web http://www.marutisuzuki.com/Maruti-Price.aspx . Se compone de tres listas desplegables. Uno es el modelo del automóvil, el segundo es el estado y el tercero es la ciudad. Los dos primeros son estáticos y el tercero, la ciudad se genera dinámicamente según el valor del estado, se ejecuta […]

Enviando un formulario en mecanizar.

Tengo problemas para enviar el resultado de un envío de formulario (puedo enviar un formulario, pero no puedo enviar el formulario en la página que sigue a la primera). Yo tengo: browser = mechanize.Browser() browser.set_handle_robots(False) browser.open(‘https://www.example.com/login’) browser.select_form(nr=0) browser.form[‘j_username’] = ‘username’ browser.form[‘j_password’] = ‘password’ req = browser.submit() Esto funciona, como resultados de print req en ` […]

Use Python Mechanize para iniciar sesión en páginas con autenticación NTLM

Quiero usar mecanizar para iniciar sesión en una página y recuperar algo de información. Pero sin embargo, trato de autenticarme. Simplemente falla con el código de error HTTP 401 , como se puede ver a continuación: r = br.open(‘http://intra’) File “bui…e\_mechanize.py”, line 203, in open File “bui…g\mechanize\_mechanize.py”, line 255, in _mech_openmechanize._response.httperror_seek_wrapper: HTTP Error 401: Unauthorized […]

Usando mecanizar para iniciar sesión en una página web

Esta es mi primera experiencia en progtwigción con Python y estoy intentando iniciar sesión en esta página web. Después de buscar alrededor encontré que muchas personas sugirieron usar mechanize . Solo para estar seguro de que configuro las cosas correctamente antes de llegar al código, descargué el mechanize zip de mechanize del sitio web y […]

¿Qué biblioteca de Python pura debo usar para raspar un sitio web?

Actualmente tengo un código Ruby usado para raspar algunos sitios web. Estaba usando Ruby porque en ese momento estaba usando Ruby on Rails para un sitio, y tenía sentido. Ahora estoy tratando de trasladar esto a Google App Engine, y seguir atascado. He portado Python Mechanize para trabajar con Google App Engine, pero no es […]

UnicodeDecodeError problema con mecanizar

Recibo la siguiente cadena de un sitio web a través de mecanizar: ‘We\x92ve’ Sé que \ x92 significa ‘ carácter ‘ . Estoy tratando de convertir esa cadena a Unicode: >> unicode(‘We\x92ve’,’utf-8′) UnicodeDecodeError: ‘utf8’ codec can’t decode byte 0x92 in position 2: unexpected code byte ¿Qué estoy haciendo mal? Edit: La razón por la que […]

¿Cómo agregar una cookie a la instancia de CookieJar de cookielib existente en Python?

Tengo una CookieJar que se está utilizando con mecanize a la que quiero agregar una cookie. ¿Cómo puedo hacer esto? make_cookie () y set_cookie () no fueron lo suficientemente claros para mí. br = mechanize.Browser() cj = cookielib.LWPCookieJar() br.set_cookiejar(cj)

Beautifulsoup y mecanizar para obtener el resultado de la llamada ajax.

Hola, estoy construyendo un raspador usando Python 2.5 y beautifulsoup, pero tengo problemas con un problema … parte de la página web se genera después de que el usuario haga clic en algún botón, que inicia una solicitud de ajax al llamar a la función javacsript específica con los parámetros adecuados ¿Hay una manera de […]

BeautifulSoup HTML tabla de análisis

Estoy intentando analizar información (tablas html) de este sitio: http://www.511virginia.org/RoadConditions.aspx?j=All&r=1 Actualmente estoy usando BeautifulSoup y el código que tengo se ve así from mechanize import Browser from BeautifulSoup import BeautifulSoup mech = Browser() url = “http://www.511virginia.org/RoadConditions.aspx?j=All&r=1” page = mech.open(url) html = page.read() soup = BeautifulSoup(html) table = soup.find(“table”) rows = table.findAll(‘tr’)[3] cols = rows.findAll(‘td’) roadtype […]

Cómo iniciar sesión en un sitio web con python y mecanizar.

Estoy intentando iniciar sesión en el sitio web http://www.magickartenmarkt.de y hacer un análisis en el área de miembros ( https://www.magickartenmarkt.de/?mainPage=showWants ). Vi otros ejemplos para esto, pero no entiendo por qué mis enfoques no funcionaron. Identifiqué los formularios correctos para el primer enfoque, pero no está claro si funcionó. En el segundo enfoque, la página […]