Desarrollo de Python
  1. Desarrollo de Python
  3. Error de memoria debido al gran tamaño del archivo de entrada
Intereting Posts
Extraer todos los nombres de un archivo de texto usando nltk Algoritmo húngaro en Python ¿Cuáles son todos los cálculos posibles que podrían causar un NaN en Python? Divida una columna de pandas en dos según un delimitador que puede no existir en todos los valores Python asignación múltiple y referencias ¿Cómo creo una lista de números aleatorios sin duplicados? subprocess.check_output falla con error 127 Equivalente de python eval en Haskell Jupyter Lab: se inicia pero no ve ninguna pestaña (el aspecto es diferente al 100% del que se ve en los videos de YouTube) Imágenes guardadas como HDF5 no son de color Capturando grupo en una sola línea Matplotlib vinculado x ejes con escala auto y ejes en el zoom Genere un error en Python, excluya el último nivel en el seguimiento de la stack matplotlib crea un eje roto en un argumento secundario ¿Cómo escribir en una línea específica en el archivo en Python?

Error de memoria debido al gran tamaño del archivo de entrada

Cuando uso el siguiente código para leer el archivo: 

lines=file("data.txt").read().split("\n")

Tengo el siguiente error 

 MemoryError

el tamaño del archivo es 

 ls -l -rw-r--r-- 1 charlie charlie 1258467201 Sep 26 12:57 data.txt

Obviamente, el archivo es demasiado grande para leerlo en la memoria de una vez.

¿Por qué no solo usar: 

 with open("data.txt") as myfile: for line in myfile: do_something(line.rstrip("\n"))

o, si no estás en Python 2.6 y superior: 

 myfile = open("data.txt") for line in myfile: do_something(line.rstrip("\n"))

En ambos casos, obtendrás un iterador que puede ser tratado como una lista de cadenas.

EDITAR: Debido a que su forma de leer el archivo completo en una cadena grande y luego dividirlo en nuevas líneas eliminará las nuevas líneas en el proceso, he agregado un .rstrip("\n") a mis ejemplos para simular mejor el resultado .

Use este código para leer el archivo línea por línea: 

 for line in open('data.txt'): # work with line