Articles of memoria

Rendimiento de la lista (…) .insertar (…)

Pensé en la siguiente pregunta sobre la architecture de la computadora. Supongamos que hago en Python from bisect import bisect index = bisect(x, a) # O(log n) (also, shouldn’t it be a standard list function?) x.insert(index, a) # O(1) + memcpy() que toma log n , más, si lo entiendo correctamente, una operación de copia […]

¿El uso de memoria pypy crece para siempre?

Tengo una aplicación de servidor python complicada, que se ejecuta constantemente todo el tiempo. A continuación se muestra una versión muy simplificada de la misma. Cuando ejecuto la aplicación de abajo usando python; “Python Main.py”. Utiliza 8mb de ram directamente y se mantiene a 8mb de ram, como debería. Cuando lo ejecuto usando pypy “pypy […]

¿Por qué estoy perdiendo memoria con este bucle de python?

Estoy escribiendo un rastreador de sistema de archivos personalizado, que pasa millones de globs para procesar a través de sys.stdin. Estoy descubriendo que cuando se ejecuta el script, su uso de memoria aumenta enormemente con el tiempo y todo se detiene prácticamente. He escrito un caso mínimo a continuación que muestra el problema. ¿Estoy haciendo […]

¿Por qué las cadenas de concatenación se ejecutan más rápido que unirlas?

Según tengo entendido, “.join (iterable_of_strings) es la forma preferida de concatenar cadenas porque permite optimizaciones que evitan tener que volver a escribir el objeto inmutable en la memoria más veces de las necesarias. Agregar cadenas dentro de una expresión se ejecuta de manera confiable más rápido que unirlas para un número moderadamente grande de operaciones […]

Python: uso de memoria y optimización al modificar listas

El problema Mi preocupación es la siguiente: estoy almacenando un conjunto de datos grande de relatividad en una lista de python clásica y para procesar los datos debo repetir la lista varias veces, realizar algunas operaciones en los elementos y, a menudo, sacar un elemento de la lista . Parece que eliminar un elemento de […]

En Python, ¿cómo puedo cargar un dl sqlite completamente en la memoria antes de conectarme a él?

Tengo un archivo db sqlite de 100 mega bytes que me gustaría cargar en la memoria antes de realizar consultas de SQL. ¿Es posible hacer eso en python? Gracias

Liberar memoria de una enorme matriz numpy en IPython

ACTUALIZACIÓN: – Este problema se resolvió solo después de reiniciar la máquina. Aún no puedo averiguar por qué este error estaba ocurriendo antes. Tengo una función que carga una enorme matriz numpy (~ 980MB) y la devuelve. La primera vez que inicio Ipython y llamo a esta función, carga la matriz en la variable sin […]

Python: ¿Eliminar (eliminar de la memoria) una variable desde dentro de una función?

Tengo que cargar este objeto masivo A (que puede pesar casi 10g) que debo pasar a una función, que extrae de él un parámetro B para ejercer más cálculos pesados ​​sobre él. A = load(file) def function(A): B = transorm(A) B = compute(B) return(B) Con el fin de liberar algo de memoria (como ya tenía […]

Diagnóstico de pérdida de memoria en boto3

Tengo un trabajador de apio que se ejecuta en Elastic Beanstalk que sondea una cola de SQS, recibe mensajes (que contienen nombres de archivos de S3), descarga esos archivos de S3 y los procesa. Mi trabajador está progtwigdo para ejecutarse cada 15 segundos, pero debido a alguna razón, el uso de la memoria sigue aumentando […]

PyGame se estanca en Linux?

Cuando ejecuto mi código de pygame se atasca el sistema. PyGame no responde y ralentiza tanto a Ubuntu que he tenido que forzar el cierre dos veces. Publiqué una pregunta muy similar aquí: ¿Por qué mi módulo básico de PyGame es tan lento? pero decidí reformularlo porque cuando hice la pregunta original no estaba al […]