Articles of codificación

Arreglando la encoding corrupta (con Python)

Tengo un montón de archivos de texto contiene caracteres coreanos con codificaciones incorrectas. Específicamente, parece que los caracteres están codificados con EUC-KR, pero los archivos se guardaron con UTF8 + BOM. Hasta ahora he logrado arreglar un archivo con lo siguiente: Abra un archivo con EditPlus (muestra que la encoding del archivo es UTF8+BOM ) […]

UnicodeDecodeError mientras se ejecuta el servidor de desarrollo Django

UnicodeDecodeError Aparece al intentar acceder a cualquiera de los archivos de la carpeta de medios del sitio. Traceback completo presentado en modo de depuración: Environment: Request Method: GET Request URL: http://127.0.0.1:8000/site-media/img/image.png Django Version: 1.2.3 Python Version: 2.7.0 Installed Applications: [‘django.contrib.auth’, ‘django.contrib.contenttypes’, ‘django.contrib.sessions’, ‘django.contrib.sites’, ‘django.contrib.admin’, ‘django.contrib.markup’, ‘special’] Installed Middleware: (‘django.middleware.common.CommonMiddleware’, ‘django.contrib.sessions.middleware.SessionMiddleware’, ‘django.contrib.auth.middleware.AuthenticationMiddleware’) Traceback: File “C:\Languages\Python27\lib\site-packages\django\core\handlers\base.py” in […]

Python: convierte una cadena de UTF-8 a Latin-1

Me siento astackdo aquí tratando de cambiar codificaciones con Python 2.5 Tengo una respuesta XML, que codifico para UTF-8: response.encode(‘utf-8’) . Eso está bien, pero al progtwig que usa esta información no le gusta esta encoding y tengo que convertirla en otra página de códigos. Un ejemplo real es que utilizo el módulo python de […]

UnicodeEncodeError después de establecer la configuración de restrict_xpaths

Soy nuevo en python y scrapy. Después de establecer la configuración de restrict_xpaths en “// table [@ class =” lista “]”, recibí el siguiente rastreo. Lo que es extraño, al usar otra regla xpath, el rastreador funciona correctamente. Traceback (most recent call last): File “/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/base.py”, line 800, in runUntilCurrent call.func(*call.args, **call.kw) File “/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/task.py”, line 602, […]

¿Cómo utilizo el tipo de contenido Django y UTF-8 para la plantilla?

Cuando lo hago: return render_to_response() en Django. ¿Cómo configuro el tipo de contenido en UTF-8? ¿Así que todo lo que se muestra es UTF-8?

Python 2.7: Extraño comportamiento Unicode

Estoy experimentando el siguiente comportamiento en Python 2.7: >>> a1 = u’\U0001f04f’ #1 >>> a2 = u’\ud83c\udc4f’ #2 >>> a1 == a2 #3 False >>> a1.encode(‘utf8’) == a2.encode(‘utf8’) #4 True >>> a1.encode(‘utf8’).decode(‘utf8’) == a2.encode(‘utf8’).decode(‘utf8′) #5 True >>> u’\ud83c\udc4f’.encode(‘utf8’) #6 ‘\xf0\x9f\x81\x8f’ >>> u’\ud83c’.encode(‘utf8’) #7 ‘\xed\xa0\xbc’ >>> u’\udc4f’.encode(‘utf8’) #8 ‘\xed\xb1\x8f’ >>> ‘\xd8\x3c\xdc\x4f’.decode(‘utf_16_be’) #9 u’\U0001f04f’ ¿Cuál es la […]

Python analizando JSON con comillas dobles escapadas

Considera este json válido: {“a”: 1, “b”: “{\”c\”:2}”} El módulo json de Python se lanza cuando bash analizarlo. Parece que el \” está desechando: json.loads (‘{“a”: 1, “b”: “{\” c \ “: 2}”}’) Rastreo (llamadas recientes más última): Archivo “”, línea 1, en Archivo “/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/json/__init__.py”, línea 338, en cargas devuelve _default_decoder.decode (s) Archivo “/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/json/decoder.py”, línea […]

¿Cómo servir un archivo estático con un nombre hebreo en una botella de python?

Recibo una solicitud del cliente para descargar algún archivo del servidor. El nombre del archivo está en hebreo. @bottle.get(“/download//”) def download(folder_name, file_name): file_name = file_name.decode(‘utf-8’) folder_name = folder_name.decode(‘utf-8’) if os.path.exists(os.path.join(folder_name, file_name)): return bottle.static_file(file_name, root=folder_name, download=True) La última línea falla: return bottle.static_file(file_name, root=folder_name, download=True) Me sale una excepción: UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position […]

Codificación en PostgreSQL, Python, Jinja2

Tengo un problema con la encoding en mi aplicación y no encontré la solución en ningún sitio web. Aquí está el escenario: PostgreSQL con encoding UTF-8 ( CREATE DATABASE xxxx WITH ENCODING ‘UTF8’ ) Lógica de Python también con encoding UTF-8 ( # -*- coding: utf-8 -*- ) Jinja2 para mostrar mis páginas HTML. Python […]

“Surrogateescape” no puede escapar de ciertos personajes

Con respecto a la lectura y escritura de archivos de texto en Python, uno de los principales colaboradores de Python menciona esto con respecto al surrogateescape errores Unicode de surrogateescape : [surrogateescape] maneja los errores de deencoding guardando los datos en una pequeña parte del espacio de puntos de código Unicode. Al codificar, convierte esos […]