Articles of memoria de

¿Cómo obtener la lista de todos los objetos inicializados y las definiciones de funciones en Python?

Digamos que en el shell de python (IDLE) he definido algunas clases, funciones, variables. También se crearon objetos de las clases. Luego borré algunos de los objetos y creé otros. Más adelante, ¿cómo puedo saber cuáles son las definiciones de objetos, variables y métodos activos actualmente en la memoria?

La memoria de Python se libera muy lentamente.

Estoy ejecutando hubble ( https://hubblestack.io/ ) en Windows. Cuando le pongo mucha carga, el consumo de memoria aumenta a aproximadamente 1.5 GB. Pero cuando detengo la carga, el progtwig no libera la memoria inmediatamente. El consumo de memoria del progtwig cae a unos 200 MB después de 1,5 horas (en Windows). Asi que aqui están […]

El uso de la memoria difiere mucho (y de forma extraña) entre el frontend y el backend

Mi aplicación App Engine está teniendo problemas con la pérdida de memoria. Registro el uso de la memoria en el camino para encontrar el problema. from google.appengine.api.runtime import memory_usage memory_usage().current() La función que excedió el “límite de memoria privada flexible de 128 MB” está dentro de una tarea diferida. Debería comportarse igual cada vez. Lo […]

¿La mejor manera de obtener la lista de archivos del directorio grande en Python?

Tengo un gran directorio de locos. Necesito obtener la lista de archivos a través de python. En el código necesito obtener el iterador, no la lista. Así que esto no funciona: os.listdir glob.glob (uses listdir!) os.walk No puedo encontrar ninguna buena lib. ¡ayuda! Tal vez c ++ lib?

Rendimiento de la lista (…) .insertar (…)

Pensé en la siguiente pregunta sobre la architecture de la computadora. Supongamos que hago en Python from bisect import bisect index = bisect(x, a) # O(log n) (also, shouldn’t it be a standard list function?) x.insert(index, a) # O(1) + memcpy() que toma log n , más, si lo entiendo correctamente, una operación de copia […]

python- cómo mostrar el tamaño de todas las variables

Quiero imprimir el tamaño de la memoria de todas las variables en mi scope simultáneamente. Algo similar a: for obj in locals().values(): print sys.getsizeof(obj) Pero con nombres de variables antes de cada valor para que pueda ver qué variables necesito eliminar o dividir en lotes. Ideas?

¿El uso de memoria pypy crece para siempre?

Tengo una aplicación de servidor python complicada, que se ejecuta constantemente todo el tiempo. A continuación se muestra una versión muy simplificada de la misma. Cuando ejecuto la aplicación de abajo usando python; “Python Main.py”. Utiliza 8mb de ram directamente y se mantiene a 8mb de ram, como debería. Cuando lo ejecuto usando pypy “pypy […]

¿Por qué estoy perdiendo memoria con este bucle de python?

Estoy escribiendo un rastreador de sistema de archivos personalizado, que pasa millones de globs para procesar a través de sys.stdin. Estoy descubriendo que cuando se ejecuta el script, su uso de memoria aumenta enormemente con el tiempo y todo se detiene prácticamente. He escrito un caso mínimo a continuación que muestra el problema. ¿Estoy haciendo […]

¿Cómo determina Python si dos cadenas son idénticas?

He intentado entender cuándo las cadenas de Python son idénticas (también conocido como compartir la misma ubicación de memoria). Sin embargo, durante mis pruebas, parece que no hay una explicación obvia cuando dos variables de cadena que son iguales comparten la misma memoria: import sys print(sys.version) # 3.4.3 # Example 1 s1 = “Hello” s2 […]

Pickle dump enorme archivo sin error de memoria

Tengo un progtwig en el que básicamente ajusto la probabilidad de que ocurran ciertas cosas en base a lo que ya se sabe. Mi archivo de datos ya está guardado como un objeto Diccionario encurtido en Dictionary.txt. El problema es que cada vez que ejecuto el progtwig que extrae en Dictionary.txt, lo convierte en un […]