Articles of urllib

Cómo extraer tablas de sitios web en Python

Aquí, http://www.ffiec.gov/census/report.aspx?year=2011&state=01&report=demographic&msa=11500 Hay una mesa. Mi objective es extraer la tabla y guardarla en un archivo csv. Escribí un código: import urllib import os web = urllib.urlopen(“http://www.ffiec.gov/census/report.aspx?year=2011&state=01&report=demographic&msa=11500″) s = web.read() web.close() ff = open(r”D:\ex\python_ex\urllib\output.txt”, “w”) ff.write(s) ff.close() Perdí de aquí. ¿Alguien que pueda ayudar en esto? ¡Gracias!

Error de Python al usar urllib.open

Cuando corro esto: import urllib feed = urllib.urlopen(“http://www.yahoo.com”) print feed Obtengo esta salida en la ventana interactiva (PythonWin): <addinfourl at 48213968 whose fp = > Estoy esperando para obtener la fuente de la URL anterior. Sé que esto ha funcionado en otras computadoras (como las de la escuela) pero esto está en mi computadora portátil […]

SSL: CERTIFICATE_VERIFY_FAILED con Python3

Pido disculpas si esta es una pregunta tonta, pero he estado tratando de enseñarme a usar BeautifulSoup para poder crear algunos proyectos. Estaba siguiendo este enlace como tutorial: https://www.youtube.com/watch?v=5GzVNi0oTxQ Después de seguir exactamente el mismo código que él, este es el error que recibo: Traceback (most recent call last): File “/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/urllib/request.py”, line 1240, in do_open […]

¿Forzar a Python mecanizar / urllib2 a usar solo las solicitudes de A?

Aquí hay una pregunta relacionada, pero no pude averiguar cómo aplicar la respuesta a mecanize / urllib2: cómo forzar a la biblioteca httplib de python a usar solo las solicitudes A Básicamente, dado este simple código: #!/usr/bin/python import urllib2 print urllib2.urlopen(‘http://python.org/’).read(100) Esto da lugar a Wirehark diciendo lo siguiente: 0.000000 10.102.0.79 -> 8.8.8.8 DNS Standard […]

urllib.quote () lanza KeyError

Para codificar el URI, utilicé urllib.quote(“schönefeld”) pero cuando existen algunos caracteres que no son ascii en una cadena, KeyError: u’\xe9′ Code: return ”.join(map(quoter, s)) Mis cadenas de entrada son köln, brønshøj, schönefeld etc. Cuando probé solo imprimir sentencias en windows (usando python2.7, pyscripter IDE). Pero en linux es una excepción (supongo que la plataforma no […]

¿Cómo puedo abreviar una URL usando python?

Ya he visto este hilo. ¿Cómo puedo deshacer una URL? Mi problema con la respuesta resuelta (que está usando la API de unshort.me) es que me estoy enfocando en no acortar los enlaces de youtube. Dado que unshort.me se usa fácilmente, esto devuelve casi el 90% de los resultados con captchas que no puedo resolver. […]

¿Cómo iniciar sesión automáticamente en el canal de gmail con Python?

Gmail tiene esta cosa dulce para obtener un canal de información atómica: def gmail_url(user, pwd): return “https://”+str(user)+”:”+str(pwd)+”@gmail.google.com/gmail/feed/atom” Ahora, cuando haces esto en un navegador, te autentica y te reenvía. Pero en Python, al menos lo que estoy intentando, no funciona bien. url = gmail_url(settings.USER, settings.PASS) print url opener = urllib.FancyURLopener() f = opener.open(url) print f.read() […]

Urllib y validación de certificado de servidor.

Uso python 2.6 y solicito la API de Facebook (https). Supongo que mi servicio podría ser objective de los ataques de Man In The Middle. Descubrí esta mañana leyendo de nuevo la documentación del módulo urllib que: Cita: Warning : When opening HTTPS URLs, it is not attempted to validate the server certificate. Use at […]

Recorriendo un directorio en la web y mostrando su contenido (archivos y otros directorios) a través de Python

En la misma línea que Procese un conjunto de archivos de un directorio de origen a un directorio de destino en Python , me pregunto si es posible crear una función que, cuando se le presente un directorio web, enumere los archivos en dicho directorio. Algo como… files[] for file in urllib.listdir(dir): if file.isdir: # […]

Python urllib vs httplib?

¿Cuándo alguien usaría httplib y cuándo urllib? ¿Cuáles son las diferencias? Creo que ya estoy listo para usar urplib httplib, estoy planeando hacer una aplicación que necesite hacer una solicitud http y hasta el momento solo usé httplib.HTTPConnection en python para solicitudes, y leyendo sobre urllib veo que puedo usar eso también para solicitar Entonces, […]