Articles of web de

Migración fuera de AppEngine

Tengo una aplicación que se ejecuta en AppEngine que usa aproximadamente 50 horas de CPU al día. La mayor parte se gasta esperando el almacén de datos. Estoy pensando en cambiarlo de AppEngine a algo como los servidores en la nube de Rackspace porque creo que mi aplicación puede ser más eficiente si puedo descargar […]

Progtwigndo subdominio en el motor de aplicaciones de Google.

Tengo mi aplicación implementada en GAE con el dominio principal www.mysite.com. Cuando alguien se suscriba a mi solicitud, usará la identificación de correo electrónico username@company.com. Quiero capturar a la compañía desde la ID del correo electrónico y establecer la url como company.mysite.com que se asignará a www.mysite.com. Creo que esto se puede hacer usando * […]

WSGI: cuál es el propósito de la función start_response

¿Podría proporcionar un ejemplo en la vida real de la función start_response de WSGI ? (El servidor web proporciona esa función a la aplicación wsgi) No puedo entender el propósito de presentar la start_response . (He leído como 10 textos idénticos sobre el estándar WSGI. Todos dicen “El estándar WSGI es …” Ninguno de ellos […]

Diferencias entre webapp y web.py

Webpy.org – ¿Quién usa web.py? “[web.py inspiró el] framework web que usamos en FriendFeed [y] el framework webapp que viene con App Engine …” – Brett Taylor, cofundador de FriendFeed y líder tecnológico original en Google App Engine Introducción a Google App Engine para Python HTML incrustado en el código es complicado y difícil de […]

Scrapy, solo sigue URLS internas pero extrae todos los enlaces encontrados

Quiero obtener todos los enlaces externos de un sitio web determinado utilizando Scrapy. Usando el siguiente código, la araña también rastrea enlaces externos: from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.linkextractors import LinkExtractor from myproject.items import someItem class someSpider(CrawlSpider): name = ‘crawltest’ allowed_domains = [‘someurl.com’] start_urls = [‘http://www.someurl.com/’] rules = (Rule (LinkExtractor(), callback=”parse_obj”, follow=True), ) def […]

¿Cómo rastrear miles de páginas usando scrapy?

Estoy buscando rastrear miles de páginas y necesito una solución. Cada sitio tiene su propio código html, todos son sitios únicos. No hay fuente de datos limpia o API disponible. Espero cargar los datos capturados en algún tipo de DB. ¿Alguna idea sobre cómo hacer esto con scrapy si es posible?

¿Descargar imágenes de Google Search usando Python da error?

Aquí está mi código: import os import sys import time from urllib import FancyURLopener import urllib2 import simplejson # Define search term searchTerm = “parrot” # Replace spaces ‘ ‘ in search term for ‘%20’ in order to comply with request searchTerm = searchTerm.replace(‘ ‘,’%20’) # Start FancyURLopener with defined version class MyOpener(FancyURLopener): version = […]

UnicodeDecodeError al pasar datos GET en Python / AppEngine

Esto se siente como una pregunta realmente básica, pero no he podido encontrar una respuesta. Me gustaría leer datos de una URL, por ejemplo, obtener datos de una cadena de consulta. Estoy usando el marco de la aplicación webapp en Python. Intenté el siguiente código, pero como tengo un principiante total en Python / appengine, […]

Hermosa sopa de encontrar – obtener sólo el texto

Tuve este fragmento de código escupiendo solo el precio como una cadena (125.01), pero debo haber cambiado algo porque ahora imprime toda la línea con las tags html y todo. ¿Cómo puedo hacer que se imprima solo el texto, sin usar expresiones regulares? import requests from bs4 import BeautifulSoup url = ‘http://finance.yahoo.com/q?s=aapl&fr=uh3_finance_web&uhb=uhb2’ data = requests.get(url) […]

Script Python para hacer clic en un botón de página web

Tengo una secuencia de comandos de python que envía datos a una aplicación de django utilizando la biblioteca de solicitudes. Luego, los usuarios cambian a la página web y hacen clic en un botón que obtiene un formulario de edición para agregar información adicional. Quiero que, inmediatamente después de que las solicitudes reciban un código […]