Articles of web de

¿Cómo implementar / migrar una aplicación / proyecto django existente a un servidor de producción en Heroku?

Tengo una aplicación básica de django ( Newsdiffs ) que funciona bien en localhost:8000 con el python website/manage.py runserver pero me gustaría migrar a Heroku y no puedo averiguar cuál es mi próximo paso. Pensé que ejecutarlo localmente se traduciría en ejecutarlo en Heroku, pero me estoy dando cuenta de que el python website/manage.py runserver […]

Python webkit con soporte proxy

Estoy escribiendo un script en python para raspar una página web. He creado un objeto webview de webkit y utilicé el método abierto para cargar la url. Pero quiero cargar la url a través de un proxy. ¿Cómo puedo hacer esto? ¿Cómo integrar webkit con proxy? ¿Qué clase de webkit soporta proxy?

Cómo hacer una shell web interactiva en Python

¿Cómo funcionan los sitios como https://www.pythonanywhere.com/try-ipython/ ? Probablemente ejecutan varios comandos de exec , o se interconectan con ipython. Sin embargo, esto puede ser extremadamente inseguro si no realizaron ninguna “acción preventiva” (lo que hicieron). Un usuario simple (y malvado) puede hacer algo como import shutil, os y hacer algo malo. ¿Cómo es posible la […]

Uso de Python para solicitar una página web para ejecutar una búsqueda

Tengo una lista de nombres de proteínas en el formato “Uniprot”, y me gustaría convertirlos todos al formato MGI. Si va a www.uniprot.org y escribe el nombre de la proteína uniprot en la barra de “Consulta”, generará una página con un montón de información sobre esa proteína, incluido su nombre MGI (aunque mucho más abajo […]

Ejecución de arañas múltiples en scrapy

En scrapy, por ejemplo, si tuviera dos URL que contienen diferentes HTML. Ahora quiero escribir dos arañas individuales para cada una y quiero ejecutar ambas arañas a la vez. En scrapy es posible ejecutar múltiples arañas a la vez. En scrapy después de escribir varias arañas, ¿cómo podemos progtwigr que se ejecuten cada 6 horas […]

¿Cuál es la mejor práctica para escribir scrappers web mantenibles?

Necesito implementar algunos raspadores para rastrear algunas páginas web (porque el sitio no tiene API abierta), extrayendo información y guardando en la base de datos. Actualmente estoy usando una sopa hermosa para escribir código como este: discount_price_text = soup.select(“#detail-main del.originPrice”)[0].string; discount_price = float(re.findall(‘[\d\.]+’, discount_price_text)[0]); Supongo que un código como este puede volverse fácilmente inválido cuando […]

¿Es Scrapy de un solo hilo o de múltiples hilos?

Hay pocas configuraciones de concurrencia en Scrapy, como CONCURRENT_REQUESTS . ¿Significa que el rastreador de Scrapy es multiproceso? Entonces, si ejecuto scrapy crawl my_crawler , ¿literalmente se dispararán múltiples solicitudes simultáneas en paralelo? Lo pregunto porque, leí que Scrapy es de un solo hilo.

Tornado websocket handler, self.close () está cerrando la conexión sin activar el método on_close ()

soy nuevo en (python, stackoverflow, tornado), así que por favor, sea paciente :). Corrígeme. Estoy trabajando con tornado en una aplicación en tiempo real. Cuando llamo a self.close () dentro de la clase de manejador Websocket, el método on_close no se activa, por esta vez hice un pequeño envoltorio, solucionando el problema y (por ejemplo) […]

Python / WebApp Google App Engine: prueba de usuario / paso en los encabezados

Cuando llamas a un servicio web como este: username = ‘test12’ password = ‘test34’ client = httplib2.Http(“.cache”) client.add_credentials(username,password) URL = “http://localhost:8080/wyWebServiceTest” response, content = client.request(URL) ¿Cómo se obtiene el nombre de usuario / contraseña en variables en el lado del servidor (es decir, en el servicio web que estoy escribiendo)? Verifiqué self.request.headers y self.request.environ y […]

Migración fuera de AppEngine

Tengo una aplicación que se ejecuta en AppEngine que usa aproximadamente 50 horas de CPU al día. La mayor parte se gasta esperando el almacén de datos. Estoy pensando en cambiarlo de AppEngine a algo como los servidores en la nube de Rackspace porque creo que mi aplicación puede ser más eficiente si puedo descargar […]