Articles of pepinillo

Python cPickle: la carga falla con UnpicklingError

He hecho un archivo de pickle utilizando lo siguiente. from PIL import Image import pickle import os import numpy import time trainpixels = numpy.empty([80000,6400]) trainlabels = numpy.empty(80000) validpixels = numpy.empty([10000,6400]) validlabels = numpy.empty(10000) testpixels = numpy.empty([10408,6400]) testlabels = numpy.empty(10408) i=0 tr=0 va=0 te=0 for (root, dirs, filenames) in os.walk(indir1): print ‘hello’ for f in filenames: […]

No se puede decapar objetos locales mientras se intenta el multiprocesamiento

Estoy tratando de hacer un raspado de multiprocesamiento de un sitio web, donde obtengo una lista de todos los nodos de los que quiero obtener información, y luego genero un Pool así que en lugar de obtener los datos uno por uno, lo hace en paralelo. Mi código es el siguiente: from selenium import webdriver […]

“EOFError: Se agotó la entrada” Sigue recibiendo este error al tratar de encurtir

Estoy escribiendo un progtwig de preguntas. Estoy tratando de dar al usuario la oportunidad de escribir y agregar su propia pregunta. He escrito funciones para hacer y agregar preguntas. Estoy tratando de seleccionar la lista de preguntas para poder cargar nuevas preguntas automáticamente cada vez que alguien agregue una. Este es el código que estoy […]

Error de decapado de Python: TypeError: pickle de objeto que no devuelve la lista. ¿Problemas con numpy?

Escribí una secuencia de comandos que procesa un poco los datos, luego decapita los resultados antes de procesar un poco más, por lo que puedo jugar con los parámetros finales para el trazado. Estoy haciendo listas de dos clases que he creado. El decapado está bien para cada lista, pero al seleccionar una lista, aparece […]

Eliminar o editar la entrada guardada con Python pickle

Básicamente hago secuencias de volcado y carga, pero en algún momento quiero eliminar una de las entradas cargadas. ¿Cómo puedo hacer eso? ¿Hay alguna forma de eliminar o editar las entradas guardadas con Python pickle / cpickle? Editar: Los datos se guardan con pickle en un archivo binario.

¿Por qué python multiprocesamiento de objetos para pasar objetos entre procesos?

¿Por qué el paquete de multiprocessing para los objetos de pickle Python los pasa entre procesos, es decir, para devolver los resultados de diferentes procesos al proceso del intérprete principal? Esta puede ser una pregunta increíblemente ingenua, pero ¿por qué no se puede procesar A decir para procesar B “el objeto x está en el […]

Cómo guardar el modelo Scikit-Learn-Keras en un archivo de persistencia (pickle / hd5 / json / yaml)

Tengo el siguiente código, usando Keras Scikit-Learn Wrapper : from keras.models import Sequential from sklearn import datasets from keras.layers import Dense from sklearn.model_selection import train_test_split from keras.wrappers.scikit_learn import KerasClassifier from sklearn.model_selection import StratifiedKFold from sklearn.model_selection import cross_val_score from sklearn import preprocessing import pickle import numpy as np import json def classifier(X, y): “”” Description of […]

Python: funciones anidadas de decapado

Usando el ejemplo def foo(a): def bar(b): return a+b return bar d = {1:foo(1), 2:foo(2)} Parece que el módulo pickle no funcionará con una función que no está definida en el scope del módulo, por lo que el pickling ‘d’ no funcionará. ¿Hay otro mecanismo de decapado disponible que debería considerar?

¿Cómo evito este error de decapado y cuál es la mejor manera de paralelizar este código en Python?

tengo el siguiente código. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def functionB((a, b)): subprocess.call(‘program1 %s %s %s %s %s %s’ %(c, a, b, ‘file1’, ‘file2’, ‘file3’), shell=True) for d in […]

¿Puedo “decapar los objetos locales” si uso una clase derivada?

La referencia de pickle indica que el conjunto de objetos que pueden ser encurtidos es bastante limitado. De hecho, tengo una función que devuelve una clase generada dinámicamente, y encontré que no puedo descifrar instancias de esa clase: >>> import pickle >>> def f(): … class A: pass … return A … >>> LocalA = […]