Articles of web

Ejecutando múltiples arañas usando scrapyd

Tenía varias arañas en mi proyecto, así que decidí ejecutarlas cargando en el servidor de scrapyd. Había subido exitosamente mi proyecto y puedo ver todas las arañas cuando ejecuto el comando curl http://localhost:6800/listspiders.json?project=myproject cuando ejecuto el siguiente comando curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2 ¿Solo una araña se ejecuta debido a que solo se ha […]

Chatarra múltiples cuentas alias múltiples inicios de sesión

Yo desecho con éxito los datos de una sola cuenta. Quiero eliminar varias cuentas en un solo sitio web, varias cuentas necesitan múltiples inicios de sesión, quiero una forma de administrar el inicio de sesión / cierre de sesión?

Proxy inverso capaz de servidor web puro de Python?

Estoy buscando un servidor web puro basado en python que tenga la capacidad de proxy inverso también?

Condiciones esperadas con selenium.

¿Cómo compruebo si una etiqueta br está presente en HTML usando las condiciones esperadas? Este es el código HTML: Smatta , Nyunyu , moyo , Masikini_Jeuri , Job K , Adoe , enhe Este es mi código. wait = WebDriverWait(browser, 10) wait.until(EC.visibility_of_element_located((By.XPATH, ‘//’))) Código completo. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui […]

Cómo servir el archivo zip descargable en Django.

Estoy revisando la documentación de django y encontré este fragmento de código que le permite renderizar un archivo como archivo adjunto dl = loader.get_template(‘files/foo.zip’) context = RequestContext(request) response = HttpResponse(dl.render(context), content_type = ‘application/force-download’) response[‘Content-Disposition’] = ‘attachment; filename=”%s”‘ % ‘foo.zip’ return response El archivo foo.zip fue creado usando el método zipstile.ZipFile (). De pythons. zip = […]

Archivos estáticos no encontrados con webpack y django

El problema es que puedo acceder a la aplicación en el navegador pero no a los activos estáticos (js, jsx e imágenes). Tecnologías que estoy usando: django-webpack-loader 0.2.4 React 0.14 Django 1.8.5 Python 2.7 Parte de la configuración de Django para archivos estáticos: 103 # Static files (CSS, JavaScript, Images) 104 # https://docs.djangoproject.com/en/1.8/howto/static-files/ 105 106 […]

Cómo guardar una página web como archivo de texto

Me gustaría guardar una página web (todo el contenido) como un archivo de texto. (Como si hiciera clic derecho en la página web -> “Guardar página como” -> “Guardar como archivo de texto” y no como archivo html) He intentado usar el siguiente código: import urllib2 url=” page = urllib2.urlopen(url) page_content = page.read() file = […]

Diferencia entre BaseSpider y CrawlSpider

He estado tratando de entender el concepto de usar BaseSpider y CrawlSpider en el desguace web. He leído los documentos. Pero no hay ninguna mención en BaseSpider. Me sería muy útil si alguien explicara las diferencias entre BaseSpider y CrawlSpider .

Cómo procesar datos web de forma confiable en Python

Estoy usando el siguiente código para obtener datos de un sitio web: time_out = 4 def tryconnect(turl, timer=time_out, retries=10): urlopener = None sitefound = 1 tried = 0 while (sitefound != 0) and tried < retries: try: urlopener = urllib2.urlopen(turl, None, timer) sitefound = 0 except urllib2.URLError: tried += 1 if urlopener: return urlopener else: […]

¿Cómo establecer una variable global en el matraz de python?

Me gustaría establecer una variable global y usarla como un activador de varias funciones. Cada usuario tiene una variable global separada. Esto se utiliza para realizar un seguimiento de los datos de mensajes anteriores y proceder a una conversación. El problema es que ¿cómo puedo administrar una variable global separada para cada usuario? La aplicación […]