Articles of pickle

Pickling a Spark RDD y leerlo en Python

Estoy intentando serializar un Spark RDD decapado y leer el archivo encurtido directamente en Python. a = sc.parallelize([‘1′,’2′,’3′,’4′,’5’]) a.saveAsPickleFile(‘test_pkl’) Luego copio los archivos test_pkl a mi local. ¿Cómo puedo leerlos directamente en Python? Cuando bash el paquete normal de pickle, falla cuando bash leer la primera parte de pickle de ‘test_pkl’: pickle.load(open(‘part-00000′,’rb’)) Traceback (most recent […]

El diccionario de Python cargado desde el disco ocupa demasiado espacio en la memoria

Tengo un diccionario decapado en disco con un tamaño de ~ 780 Megs (en disco). Sin embargo, cuando cargo ese diccionario en la memoria, su tamaño aumenta inesperadamente a alrededor de 6 gigabytes. ¿Hay alguna forma de mantener el tamaño en el tamaño del archivo real en la memoria también? (Quiero decir que estará bien […]

superficie de pygame de ahorro de salmuera (python)

Intenté guardar un pygame.Superficie pero no me deja, error TypeError: no puede decapar objetos de Surface ¿Puedo hacer que salve superficies? ¿O tal vez hay otro módulo que puede guardarlo? EXPLICACIÓN: a = pygame.Surface( (5,5) ) file = open(“hello”, “w”) pickle.dump(a, file) Tengo clases que guarda en ellas Superficies.

Entendiendo la inseguridad de Python Pickle

En la documentación de Python se indica que el pickle no es seguro y no debe analizar las entradas de los usuarios que no son de confianza. Si investigas esto; casi todos los ejemplos demuestran esto con una llamada a system() a través de os.system . Lo que no me queda claro es cómo se […]

Eliminar o editar la entrada guardada con Python pickle

Básicamente hago secuencias de volcado y carga, pero en algún momento quiero eliminar una de las entradas cargadas. ¿Cómo puedo hacer eso? ¿Hay alguna forma de eliminar o editar las entradas guardadas con Python pickle / cpickle? Editar: Los datos se guardan con pickle en un archivo binario.

¿Por qué los pepinillos comen la memoria?

Intento lidiar con la escritura de una gran cantidad de datos encurtidos en un disco por partes pequeñas. Aquí está el código de ejemplo: from cPickle import * from gc import collect PATH = r’d:\test.dat’ @profile def func(item): for e in item: f = open(PATH, ‘a’, 0) f.write(dumps(e)) f.flush() f.close() del f collect() if __name__ […]

Guarde y reutilice TfidfVectorizer en scikit learn

Estoy usando TfidfVectorizer en scikit, aprendí a crear una matriz a partir de datos de texto. Ahora necesito guardar este objeto para reutilizarlo más tarde. Traté de usar pickle, pero dio el siguiente error. loc=open(‘vectorizer.obj’,’w’) pickle.dump(self.vectorizer,loc) *** TypeError: can’t pickle instancemethod objects Intenté usar joblib en sklearn.externals, que nuevamente dio un error similar. ¿Hay alguna […]

Cómo encontrar la fuente de error en Python Pickle en un objeto masivo

He tomado el código de alguien para un proyecto bastante grande. Estoy intentando guardar el estado del progtwig, y ​​hay un objeto masivo que almacena prácticamente todos los demás objetos. Estoy tratando de encurtir este objeto, pero me sale este error: pickle.PicklingError: No se puede pickle: no se encuentra como un módulo incorporado . Por […]

Python: Decapado de un dict con algunos elementos que no se pueden recoger

Tengo un objeto gui_project que tiene un atributo .namespace , que es un dict de espacio de nombres. (Es decir, un dict de cadenas a objetos). (Esto se usa en un progtwig similar a IDE para permitir que el usuario defina su propio objeto en un shell de Python). Quiero gui_project este gui_project , junto […]

Pandas comstackdas desde la fuente: comportamiento de pickle por defecto cambiado

Acabo de comstackr e instalar pandas desde la fuente (repository de github clonado, >>> setup.py install ). Ocurrió que el comportamiento por defecto del módulo pickle para la serialización / deserialización de objetos probablemente se haya invalidado parcialmente por los módulos internos de pandas. Tengo varias clases de datos serializadas a través de pickle “estándar” […]