Articles of pickle

Preservando la vista numpy cuando decapamos

De forma predeterminada, la selección de una matriz de vista numpy pierde la relación de vista, incluso si la base de la matriz también se decrece. Mi situación es que tengo algunos objetos contenedores complejos que son decapados. Y en algunos casos, algunos datos contenidos son vistas en otros. Guardar una matriz independiente de cada […]

¿Hay una manera de realmente pickle expresiones regulares comstackdas en python?

Tengo una aplicación de consola de Python que contiene más de 300 expresiones regulares. El conjunto de expresiones regulares es fijo para cada lanzamiento. Cuando los usuarios ejecutan la aplicación, el conjunto completo de expresiones regulares se aplicará desde una vez (un trabajo muy corto) hasta miles de veces (un trabajo largo). Me gustaría acelerar […]

¿Cuál es la diferencia entre pickle y shelve?

Estoy aprendiendo sobre la serialización de objetos por primera vez. Intenté leer y buscar en Google las diferencias en los módulos pickle y shelve, pero no estoy seguro de entenderlo. ¿Cuándo usar cuál? Pickle puede convertir cada objeto de Python en un flujo de bytes que pueden persistir en un archivo. Entonces, ¿por qué necesitamos […]

Disminuyendo el tamaño de los objetos cPickle

Estoy ejecutando código que crea objetos grandes, que contienen varias clases definidas por el usuario, que luego debo serializar para su uso posterior. Por lo que puedo decir, solo el decapado es lo suficientemente versátil para mis necesidades. He estado usando cPickle para almacenarlos, pero los objetos que genera tienen un tamaño de aproximadamente 40G, […]

¿Guardar un diccionario en un archivo (alternativo a pickle) en Python?

Respondí que terminé yendo con pickle al final de todos modos. Bien, con algunos consejos sobre otra pregunta, le pedí que me dijeran que usara pickle para guardar un diccionario en un archivo. El diccionario que estaba tratando de guardar en el archivo era members = {‘Starspy’ : ‘SHSN4N’, ‘Test’ : ‘Test1’} Cuando Pickle lo […]

Usando multiprocesamiento en una clase

Estaba utilizando multiprocessing perfectamente en la configuración desordenada de mi código. Decidí darle un poco de orden a mi código y volver a escribirlo como una clase, luego puedo cambiar las entradas fácilmente, mi nuevo código es el siguiente: class LikelihoodTest: def __init__(self,Xgal,Ygal): self.x=Xgal self.y=Ygal self.objPosition=gal_pos self.beta_s=beta self.RhoCrit_SigmaC=rho_c_over_sigma_c self.AngularDiameter=DA self.RhoCrit=rho_crit self.Reducedshear=observed_g self.ShearError=g_err #The 2D function […]

Multiprocesamiento en las pausas de Windows.

Desarrollo con Python en Linux y nunca he visto este tipo de problema con Windows. Estoy utilizando la biblioteca de multiprocessing para acelerar los cálculos, lo que me funciona muy bien en Linux. En Windows, sin embargo, las cosas no funcionan tan bien: * [INFO] Parsing 1 file using 2 threads Traceback (most recent call […]

Python pickle / deselecciona una lista a / desde un archivo

Tengo una lista que se parece a esto: a = [[‘a string’, [0, 0, 0], [22, ‘bee sting’]], [‘see string’, [0, 2, 0], [22, ‘d string’]]] y estoy teniendo problemas para guardarlo y recuperarlo. Puedo guardarlo bien usando pickle: with open(‘afile’,’w’) as f: pickle.dump(a,f) pero obtengo el siguiente error cuando bash cargarlo: pickle.load(‘afile’) Traceback (most […]

¿Cómo puedo recuperar un archivo dañado, parcialmente decapado?

Mi progtwig se eliminó al serializar datos (un dict ) en un disco con dill . No puedo abrir el archivo parcialmente escrito ahora. ¿Es posible recuperar parcial o totalmente los datos? ¿Si es así, cómo? Esto es lo que he intentado: >>> dill.load(open(filename, ‘rb’)) Traceback (most recent call last): File “”, line 1, in […]

¿Cómo guardo los resultados de un bucle “para” en una sola variable?

Tengo un bucle for: for x in range(1,13): print (“This was the average temperature in month number ” + str(x) + ” in Boston, 2014: “, Boston_monthly_temp(x)) Esto imprime las temperaturas medias mensuales en Boston en 2014, como: This was the average temperature in month number 1 in Boston, 2014: 26.787096774193547 todo el camino hasta […]