Articles of memoria de

Error “Fuera de memoria” con mecanizar

Intentaba obtener información de un sitio web página por página, básicamente esto es lo que hice: import mechanize MechBrowser = mechanize.Browser() Counter = 0 while Counter < 5000: Response = MechBrowser.open("http://example.com/page" + str(Counter)) Html = Response.read() Response.close() OutputFile = open("Output.txt", "a") OutputFile.write(Html) OutputFile.close() Counter = Counter + 1 Bueno, los códigos anteriores terminaron arrojando el […]

No se pueden asignar 1.6 GB en Python

Este código produce un MemoryError : from pylab import complex128 import numpy x = numpy.empty(100000000, dtype=complex128) # 100 millions complex128 Tengo Win7 64 con 8 GB de RAM (al menos 5.3 GB gratis al ejecutar este código). Estoy usando Python 2.7 (Anaconda) y creo que es la versión de 32 bits. ¡Incluso con 32bits, deberíamos […]

Alto uso de memoria de Python con BeautifulSoup

Estaba tratando de procesar varias páginas web con BeautifulSoup4 en Python 2.7.3, pero después de cada análisis, el uso de la memoria sube y sube. Este código simplificado produce el mismo comportamiento: from bs4 import BeautifulSoup def parse(): f = open(“index.html”, “r”) page = BeautifulSoup(f.read(), “lxml”) f.close() while True: parse() raw_input() Después de llamar a […]

¿Es `namedtuple` realmente tan eficiente en el uso de memoria como tuplas? Mi prueba dice NO

En la documentación de Python se afirma que una de las ventajas de namedtuple es que es tan eficiente en memoria como las tuplas. Para validar esto, utilicé iPython con ipython_memory_usage . La prueba se muestra en las siguientes imágenes: La prueba muestra que: 10000000 instancias de namedtuple usaron aproximadamente 850 MiB de RAM 10000000 […]

Copiado de memoria variable global multiprocesamiento

Estoy ejecutando un progtwig que carga datos de 20 GB a la memoria al principio. Luego haré N (> 1000) tareas independientes donde cada una de ellas podrá usar (solo lectura) parte de los datos de 20 GB. Ahora estoy tratando de hacer esas tareas a través de multiprocesamiento. Sin embargo, como dice esta respuesta […]

¿Todos los objetos de Python son rastreados por el recolector de basura?

Estoy intentando depurar una pérdida de memoria (ver pregunta sobre la pérdida de memoria en Python Twisted: ¿dónde está? ). Cuando el recolector de basura se está ejecutando, ¿tiene acceso a todos los objetos de Python creados por el intérprete de Python? Si suponemos que las bibliotecas de Python C no tienen fugas, ¿debería boost […]

Error de memoria de PyAudio

Tengo un problema con mi código que causa un error de memoria. Creo que es causada por esta función (ver más abajo). def enviar audio (): p = pyaudio.PyAudio () stream = p.open (format = FORMAT, canales = CANALES, tasa = TASA, entrada = Verdadero, salida = Verdadero, frames_per_buffer = trozo) datos = stream.read (trozo) […]

Python MemoryError en la función de base radial de Scipy (scipy.interpolate.rbf)

Estoy tratando de interpolar una nube de puntos no tan grande (~ 10.000 muestras) que representa una superficie 2D, usando la función de base de base radial de Scipy (Rbf). MemoryError algunos buenos resultados, pero con mis últimos conjuntos de datos recibo constantemente MemoryError , aunque el error aparece casi instantáneamente durante la ejecución (obviamente […]

MemoryError con Pickle en Python

Estoy procesando algunos datos y he almacenado los resultados en tres diccionarios, y los he guardado en el disco con Pickle. Cada diccionario tiene 500-1000MB. Ahora los estoy cargando con: import pickle with open(‘dict1.txt’, “rb”) as myFile: dict1 = pickle.load(myFile) Sin embargo, ya al cargar el primer diccionario me sale: *** set a breakpoint in […]

¿Cómo almacenar una matriz en un archivo hdf5 que es demasiado grande para cargar en la memoria?

¿Hay alguna forma de almacenar una matriz en un archivo hdf5, que es demasiado grande para cargar en la memoria? si hago algo como esto f = h5py.File(‘test.hdf5′,’w’) f[‘mydata’] = np.zeros(2**32) Me sale un error de memoria.