Articles of mecanizar

mechanize._mechanize.FormNotFoundError: no hay forma que coincida con el nombre ‘q’

¿Alguien puede ayudarme a hacer que la selección de este formulario sea correcta? Tratando de obtener un rastreo de google, recibo el error: mechanize._mechanize.FormNotFoundError: no hay forma que coincida con el nombre ‘q’ Inusual, ya que he visto varios tutoriales más que lo usan, y: ps, no planeo SLAM google con solicitudes, solo espero usar […]

302s y perdiendo cookies con urllib2

Estoy usando liburl2 con CookieJar / HTTPCookieProcessor en un bash de simular un inicio de sesión en una página para automatizar una carga. He visto algunas preguntas y respuestas sobre esto, pero nada que resuelva mi problema. Estoy perdiendo mi cookie cuando simulo el inicio de sesión que termina en un redireccionamiento 302. La respuesta […]

Uso de Python para iniciar sesión automáticamente en un sitio web con un formulario de JavaScript

Estoy intentando escribir un script en particular que se registra en un sitio web. Este sitio web específico contiene un formulario de Javascript, así que tuve poca o ninguna suerte haciendo uso de “mecanizar“. Tengo curiosidad por saber si existen otras soluciones de las que quizás no sepa que me ayudarían en mi situación. Si […]

Python, Mechanize – solicitud rechazada por robots.txt incluso después de set_handle_robots y add_headers

He creado un rastreador web que obtiene todos los enlaces hasta el primer nivel de la página y de ellos obtiene todos los enlaces y el texto más los enlaces de imágenes y alt. Aquí está el código completo: import urllib import re import time from threading import Thread import MySQLdb import mechanize import readability […]

¿Cómo hacer que un script espere dentro de una iteración hasta que se restablezca la conexión a Internet?

Tengo un código de raspado dentro de un bucle for , pero tardaría varias horas en completarse, y el progtwig se detiene cuando se interrumpe mi conexión a Internet. Lo que (creo que) necesito es una condición al comienzo del raspador que le dice a Python que siga intentando en ese punto. Intenté usar la […]

Se anuló la conexión urlopen de Python – error urlopen

Tengo algún código que utiliza mecanizar y hermoso para la web que raspa algunos datos. El código funciona bien en una máquina de prueba, pero la máquina de producción está bloqueando la conexión. El error que recibo es: urlopen error [Errno 10053] An established connection was aborted by the software in your host machine He […]

Utilice mecanizar para iniciar sesión en megaupload

Estoy intentando usar el siguiente código para iniciar sesión en megaupload. Mi pregunta es, ¿cómo puedo iniciar sesión correctamente? Imprimo la URL actual al final del código, pero cuando ejecuto el script, devuelve www.megaupload.com. import mechanize import cookielib from BeautifulSoup import BeautifulSoup import html2text # Browser br = mechanize.Browser() # Cookie Jar cj = cookielib.LWPCookieJar() […]

Selección de un campo de texto sin nombre en una forma de mecanizar (python)

Así que estoy haciendo un progtwig para convertir por lotes las direcciones de las calles en coordenadas gps usando mecanizar y python. Esta es mi primera vez usando mecanizar. Puedo seleccionar el formulario (“form2 ‘) en la página. Sin embargo, el cuadro de texto del formulario no tiene nombre. ¿Cómo selecciono el cuadro de texto […]

Problema de encoding al descargar HTML usando mecanizar y Python 2.6

browser = mechanize.Browser() page = browser.open(url) html = page.get_data() print html Muestra algunos personajes extraños. Supongo que es una cadena UTF-8 pero Python no lo sabe y no puede mostrarla correctamente. ¿Cómo puedo convertir esta cadena a una cadena Unicode como u = u’test’

Mecanizar en Python: la redirección no funciona después de enviar

Acabo de empezar a usar mecanizar en Python y ya estoy teniendo algunos problemas. Busqué en StackOverflow y en Google, y he visto a personas decir que la documentación es excelente y que debería ser fácil para que funcione, pero creo que no sé cómo buscar esa documentación, ya que todo puedo encontrar ejemplos de […]