Estoy intentando serializar un Spark RDD decapado y leer el archivo encurtido directamente en Python. a = sc.parallelize([‘1′,’2′,’3′,’4′,’5’]) a.saveAsPickleFile(‘test_pkl’) Luego copio los archivos test_pkl a mi local. ¿Cómo puedo leerlos directamente en Python? Cuando bash el paquete normal de pickle, falla cuando bash leer la primera parte de pickle de ‘test_pkl’: pickle.load(open(‘part-00000′,’rb’)) Traceback (most recent […]
Tengo un diccionario decapado en disco con un tamaño de ~ 780 Megs (en disco). Sin embargo, cuando cargo ese diccionario en la memoria, su tamaño aumenta inesperadamente a alrededor de 6 gigabytes. ¿Hay alguna forma de mantener el tamaño en el tamaño del archivo real en la memoria también? (Quiero decir que estará bien […]
Intenté guardar un pygame.Superficie pero no me deja, error TypeError: no puede decapar objetos de Surface ¿Puedo hacer que salve superficies? ¿O tal vez hay otro módulo que puede guardarlo? EXPLICACIÓN: a = pygame.Surface( (5,5) ) file = open(“hello”, “w”) pickle.dump(a, file) Tengo clases que guarda en ellas Superficies.
En la documentación de Python se indica que el pickle no es seguro y no debe analizar las entradas de los usuarios que no son de confianza. Si investigas esto; casi todos los ejemplos demuestran esto con una llamada a system() a través de os.system . Lo que no me queda claro es cómo se […]
Básicamente hago secuencias de volcado y carga, pero en algún momento quiero eliminar una de las entradas cargadas. ¿Cómo puedo hacer eso? ¿Hay alguna forma de eliminar o editar las entradas guardadas con Python pickle / cpickle? Editar: Los datos se guardan con pickle en un archivo binario.
Intento lidiar con la escritura de una gran cantidad de datos encurtidos en un disco por partes pequeñas. Aquí está el código de ejemplo: from cPickle import * from gc import collect PATH = r’d:\test.dat’ @profile def func(item): for e in item: f = open(PATH, ‘a’, 0) f.write(dumps(e)) f.flush() f.close() del f collect() if __name__ […]
Estoy usando TfidfVectorizer en scikit, aprendí a crear una matriz a partir de datos de texto. Ahora necesito guardar este objeto para reutilizarlo más tarde. Traté de usar pickle, pero dio el siguiente error. loc=open(‘vectorizer.obj’,’w’) pickle.dump(self.vectorizer,loc) *** TypeError: can’t pickle instancemethod objects Intenté usar joblib en sklearn.externals, que nuevamente dio un error similar. ¿Hay alguna […]
He tomado el código de alguien para un proyecto bastante grande. Estoy intentando guardar el estado del progtwig, y hay un objeto masivo que almacena prácticamente todos los demás objetos. Estoy tratando de encurtir este objeto, pero me sale este error: pickle.PicklingError: No se puede pickle: no se encuentra como un módulo incorporado . Por […]
Tengo un objeto gui_project que tiene un atributo .namespace , que es un dict de espacio de nombres. (Es decir, un dict de cadenas a objetos). (Esto se usa en un progtwig similar a IDE para permitir que el usuario defina su propio objeto en un shell de Python). Quiero gui_project este gui_project , junto […]
Acabo de comstackr e instalar pandas desde la fuente (repository de github clonado, >>> setup.py install ). Ocurrió que el comportamiento por defecto del módulo pickle para la serialización / deserialización de objetos probablemente se haya invalidado parcialmente por los módulos internos de pandas. Tengo varias clases de datos serializadas a través de pickle “estándar” […]