Articles of memoria de

(BioPython) ¿Cómo detengo la excepción MemoryError: Out of Memory?

Tengo un progtwig donde tomo un par de archivos de secuencias múltiples muy grandes (> 77,000 secuencias, cada una con un promedio de aproximadamente 1000 bp) y calculo la puntuación de alineación entre cada elemento individual emparejado y escribo ese número en un archivo de salida (que cargaré un archivo de excel más adelante). Mi […]

Error de memoria al ajustar los datos utilizando el paquete sklearn

Siguiendo mi pregunta aquí: http://stackoverflow.com/questions/37844596/avoid-memory-error-when-dealing-with-large-arrays , pude lidiar con el Memory Error debido a las operaciones de matrices al dividirlas en varias lineas Gracias a los chicos respondieron. El problema ahora es que se produce un Memory Error cuando se ajustan los datos utilizando Sklearn packages ; por ejemplo, cuando se intenta hacer .fit(arr_3d[i]) a […]

Python MemoryError o ValueError en np.loadtxt y iter_loadtxt

Mi punto de partida fue un problema con la función loadtxt de NumPy: X = np.loadtxt(filename, delimiter=”,”) que dio un MemoryError en np.loadtxt(..) . Busqué en Google y llegué a esta pregunta en StackOverflow . Eso le dio la siguiente solución: def iter_loadtxt(filename, delimiter=’,’, skiprows=0, dtype=float): def iter_func(): with open(filename, ‘r’) as infile: for _ […]

Cómo optimizar la memoria y el uso del tiempo del siguiente algoritmo en python

Estoy intentando realizar la siguiente operación lógica en Python, pero me estoy metiendo en problemas de memoria y tiempo. Ya que soy muy nuevo en Python, se agradecería una guía sobre cómo y dónde optimizar el problema. (Entiendo que la siguiente pregunta es algo abstracta) import networkx as nx dic_score = {} G = nx.watts_strogatz_graph(10000,10,.01) […]

Python: calcular las distancias a la par causa un error de memoria

Quiero calcular las distancias de pares de 57832 vectores. Cada vector tiene 200 dimensiones. Estoy usando pdist para calcular las distancias. from scipy.spatial.distance import pdist pairwise_distances = pdist(X, ‘cosine’) # pdist is supposed to return a numpy array with shape (57832*57831,). Sin embargo, esto provoca un error de memoria. Traceback (most recent call last): File […]

Evitar que la RAM se pagine para cambiar el área (mlock)

¿Hay una manera de llamar a la función mlock POSIX desde Python? El efecto de mlock es deshabilitar el intercambio de ciertos objetos. Sé que todavía hay otros problemas a la hora de proteger las claves criptográficas, solo quiero saber cómo contenerlas en la RAM.

¿Cómo maneja Python la memoria?

He estado buscando en una base de datos en memoria , y me puse a pensar, ¿cómo maneja Python la IO que no está vinculada a una conexión (e incluso los datos)? por ejemplo, hashes, sets, etc .; ¿Es esto una configuración en algún lugar, o se administra dinámicamente en función de los recursos; ¿Existen […]

Alternativa eficiente a “en”

Estoy escribiendo un rastreador web con el objective final de crear un mapa de la ruta que tomó el rastreador. Si bien no tengo ni idea de a qué velocidad, y, sin duda, los mejores rastreadores bajan las páginas, el mío registra aproximadamente 2,000 páginas por minuto. El rastreador trabaja en un algoritmo de retroceso […]

Posibilidad de error de memoria?

a=raw_input() prefix_dict = {} for j in xrange(1,len(a)+1): prefix = a[:j] prefix_dict[prefix] = len(prefix) print prefix_dict ¿Hay alguna posibilidad de error de memoria en el código anterior? Este código se ejecuta en un servidor, el servidor es una máquina Xeon de cuatro núcleos que ejecuta Ubuntu de 32 bits (Ubuntu 12.04 LTS). Para pocos casos […]

Numpy set array memory

Tengo una pregunta con respecto a las vistas de memoria numpys: Supongamos que tenemos dos matrices con memoria: import numpy as np import gc x = np.arange(4*3).reshape(4,3).astype(float) y = (np.arange(5) – 5).astype(float) y_ref = y Usamos estos ( x , y ) en un marco, de modo que no podemos simplemente redefinirlos, ya que el […]