Articles of memoria de

Aumento del rendimiento de operaciones de índice de matriz numpy altamente repetidas

En el código de mi progtwig, tengo arrays de valores numpy y numpy índices numpy . Ambos tipos están preasignados y predefinidos durante la inicialización del progtwig. Cada parte del progtwig tiene values una matriz en la que se realizan los cálculos, y tres matrices de índices idx_from_exch , idx_values e idx_to_exch . Hay en […]

My Python for loop está causando un error de memoria. ¿Cómo puedo optimizar esto?

Estoy tratando de comstackr una lista de todas las direcciones MAC que tendrán los dispositivos Apple. oui.txt me dice que a Apple se le han asignado 77 rangos de MAC para usar. Estos rangos vienen en forma de: 00:00:00 00:11:11 etc… Esto me deja los últimos tres dígitos HEX para anexar. Eso es 16^6 . […]

Diferencia entre el uso de memoria al importar módulos

Me gustaría saber cuál es la diferencia entre el uso de la memoria al importar módulos de estas maneras: import Mod1 from Mod1 import * from Mod1 import a,b,c Principalmente entre los dos primeros.

Se detectó una pérdida de memoria en Swig / Python

Tengo una clase muy complicada para la cual estoy tratando de hacer envoltorios de Python en SWIG. Sin embargo, cuando creo una instancia del elemento en Python, no puedo inicializar ciertos miembros de datos sin recibir el mensaje: >>> myVar = myModule.myDataType() swig/python detected a memory leak of type ‘MyDataType *’, no destructor found. ¿Alguien […]

Empaquetar datos de diferentes tamaños en una lista de entradas sin firmar

Tengo un conjunto de datos que representa una estructura de hardware que necesito manipular en Python. La estructura real es de 4 KB de tamaño … Solo voy a dar un ejemplo rápido: Byte(s) Value 0-1 0x0102 2-3 0x0304 4-23 “AStrWith20Characters” 24-63 “WoahThisStringHas40CharactersItIsHuge!!!” 64-71 “Only8Chr” 72-74 0x050607 74 0x08 75-127 0x00 (padding) La idea es […]

Entendiendo el modelo de memoria de python

Considere el siguiente registro: >>> y = 20000 >>> id (y) 36638928 >>> y = 1000000 >>> id (y) 36639264 Como puede ver, después de cambiar el valor de y , también se cambió la ID. ¿Significa que int es inmutable? ¿Qué está pasando detrás de las escenas? ¡Gracias!

Actualizar la base de datos sqlite grande en trozos

Tengo una base de datos sqlite (aproximadamente 11 GB) que tiene varias tablas, incluyendo la distance las tablas y los vertices . La distance tabla es bastante grande (120 millones de filas), los vertices son más pequeños (15 000 filas). Quiero usar sqlite3 en python para actualizar una columna de distance por valores de otra […]

Fugas de memoria de Python?

Estoy escribiendo una extensión de python que parece estar perdiendo memoria. Estoy tratando de averiguar el origen del problema usando valgrind. Sin embargo, parece que Python está perdiendo memoria de acuerdo con valgrind. Usando el siguiente script simple: hola.py print “Hello World!” y haciendo > valgrind –tool=memcheck python ./hello.py (…) ==7937== ERROR SUMMARY: 580 errors […]

Archivo de datos a la matriz está usando una gran cantidad de memoria

Estoy tomando un archivo de texto grande con valores separados por tabulaciones y los agrego a una matriz. Cuando ejecuto mi código en un archivo de 32 Mb, el consumo de memoria de Python pasa por el techo; utilizando alrededor de 500 Mb de RAM. Necesito poder ejecutar este código para un archivo de 2 […]

¿Cómo leer el archivo en orden inverso en python3.2 sin leer todo el archivo en la memoria?

Estoy analizando los archivos de registro en tamaño de 1 a 10 GB con python3.2, necesito buscar una línea con expresiones regulares específicas (algún tipo de marca de tiempo), y quiero encontrar el último evento. He intentado usar: for line in reversed(list(open(“filename”))) lo que resultó en un rendimiento muy malo (en los casos buenos) y […]