Articles of memoria

Memoria de asignación de Tensorflow: la asignación de 38535168 supera el 10% de la memoria del sistema

Usando pesas pre-entrenadas de ResNet50, estoy tratando de construir un clasificador. El código base está completamente implementado en la API Tensorflow de alto nivel de Keras. El código completo está publicado en el siguiente enlace de GitHub. Código fuente: Clasificación usando la architecture RestNet50 El tamaño del archivo del modelo pre-entrenado es 94.7mb . Cargué […]

¿La liberación se maneja de manera diferente para arreglos de grandes y pequeños números?

Estoy intentando depurar un problema de memoria con mi gran aplicación Python. La mayoría de la memoria está en matrices numpy administradas por clases de Python, por lo que Heapy, etc., son inútiles, ya que no tienen en cuenta la memoria en las matrices numpy . Así que traté de rastrear manualmente el uso de […]

Marco de datos de pandas: ¿seleccionar filas y borrar memoria?

Tengo un gran dataframe de pandas (tamaño = 3 GB): x = read.table (‘big_table.txt’, sep = ‘\ t’, header = 0, index_col = 0) Debido a que estoy trabajando bajo restricciones de memoria, subconjunto el dataframe: rows = Calculate_rows () # una función que calcula qué filas necesito cols = Calculate_cols () # una función […]

El uso de la memoria sigue creciendo con el multiproceso de Python.

Aquí está el progtwig: #!/usr/bin/python import multiprocessing def dummy_func(r): pass def worker(): pass if __name__ == ‘__main__’: pool = multiprocessing.Pool(processes=16) for index in range(0,100000): pool.apply_async(worker, callback=dummy_func) # clean up pool.close() pool.join() Descubrí que el uso de la memoria (tanto VIRT como RES) siguió creciendo hasta el cierre () / join (), ¿hay alguna solución para […]

¿Cuánta memoria ocupará una lista con un millón de elementos en Python?

Hay más de un millón de subreddits en Reddit, de acuerdo con redditmetrics.com . Escribí un script que repetidamente consulta este punto final de la API de Reddit hasta que todos los subreddits se almacenan en una matriz, all_subs : all_subs = [] for sub in : all_subs.append({“name”: display_name, “subscribers”: subscriber_count}) La secuencia de comandos […]

¿Es posible “dinámicamente” crear variables locales en Python?

¿Es posible crear una variable local con el código de Python, dado solo el nombre de la variable (una cadena), de modo que las llamadas subsiguientes a “‘xxx’ en locals ()” devolverán True? Aquí hay un visual: >>> ‘iWantAVariableWithThisName’ in locals() False >>> junkVar = ‘iWantAVariableWithThisName’ >>> (…some magical code…) >>> ‘iWantAVariableWithThisName’ in locals() True […]

Pandas leen csv fuera de memoria

Intento manipular un archivo CSV grande usando Pandas, cuando escribí esto df = pd.read_csv(strFileName,sep=’\t’,delimiter=’\t’) genera “pandas.parser.CParserError: Error tokenizing data. C error: fuera de la memoria” wc -l indica que hay 13822117 líneas, necesito agregar en este dataframe del archivo csv, ¿hay una manera de manejar esta otra división? ¿El csv en varios archivos y escribir […]

¿Tengo Numpy 32 bits o 64 bits?

¿Cómo compruebo si mi versión instalada es 32bit o 64bit? Puntos de bonificación para una solución que funciona dentro de un script y es independiente del sistema.

Perfilador de memoria para numpy

Tengo una numpy comandos numpy que, según la top , utiliza unos 5 GB de RAM: PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 16994 aix 25 0 5813m 5.2g 5.1g S 0.0 22.1 52:19.66 ipython ¿Hay un generador de perfiles de memoria que me permita tener una idea acerca de […]

Medir el tamaño del objeto con precisión en Python – Sys.GetSizeOf no funciona

Estoy tratando de encontrar con precisión / definitivamente las diferencias de tamaño entre dos clases diferentes en Python. Ambas son nuevas clases de estilo, excepto una que no tiene ranuras definidas. He probado numerosas pruebas para determinar la diferencia de tamaño, pero siempre terminan siendo idénticas en el uso de la memoria. Hasta ahora he […]