matriz escamosa grande dispersa

Estoy tratando de usar matrices dispersas grandes de 10 ^ 5×10 ^ 5 pero parece que se están ejecutando contra scipy:

n = 10 ** 5 x = scipy.sparse.rand(n, n, .001) 

consigue

 ValueError: Trying to generate a random sparse matrix such as the product of dimensions is greater than 2147483647 - this is not supported on this machine 

¿Alguien sabe por qué el límite está ahí y si puedo evitarlo? (Para tu información, estoy usando un Macbook Air con 4GB de memoria y la distribución de entusiasmo)

Esta es una limitación que resulta de la forma en que se implementa scipy.sparse.rand() . Puede rodar su propia generación de matriz aleatoria para sortear esta limitación:

 n = 10 ** 5 density = 1e-3 ij = numpy.random.randint(n, size=(2, n * n * density)) data = numpy.random.rand(n * n * density) matrix = scipy.sparse.coo.coo_matrix((data, ij), (n, n))