Rellenar un Pandas SparseDataFrame desde una matriz dispersa de SciPy

Me di cuenta de que Pandas ahora tiene soporte para matrices dispersas y matrices . Actualmente, creo DataFrame() s así:

 return DataFrame(matrix.toarray(), columns=features, index=observations) 

¿Hay una manera de crear un SparseDataFrame() con un scipy.sparse.csc_matrix() o csr_matrix() ? La conversión a formato denso mata mal a la memoria RAM. ¡Gracias!

Una conversión directa no es compatible con ATM. ¡Las contribuciones son bienvenidas!

Intente esto, debería estar bien en la memoria ya que SpareSeries es muy parecido a csc_matrix (para 1 columna) y bastante eficiente en espacio

 In [37]: col = np.array([0,0,1,2,2,2]) In [38]: data = np.array([1,2,3,4,5,6],dtype='float64') In [39]: m = csc_matrix( (data,(row,col)), shape=(3,3) ) In [40]: m Out[40]: <3x3 sparse matrix of type '' with 6 stored elements in Compressed Sparse Column format> In [46]: pd.SparseDataFrame([ pd.SparseSeries(m[i].toarray().ravel()) for i in np.arange(m.shape[0]) ]) Out[46]: 0 1 2 0 1 0 4 1 0 0 5 2 2 3 6 In [47]: df = pd.SparseDataFrame([ pd.SparseSeries(m[i].toarray().ravel()) for i in np.arange(m.shape[0]) ]) In [48]: type(df) Out[48]: pandas.sparse.frame.SparseDataFrame 

A partir de pandas v 0.20.0 puede usar el constructor SparseDataFrame .

Un ejemplo de la documentación de los pandas :

 import numpy as np import pandas as pd from scipy.sparse import csr_matrix arr = np.random.random(size=(1000, 5)) arr[arr < .9] = 0 sp_arr = csr_matrix(arr) sdf = pd.SparseDataFrame(sp_arr) 

Una versión mucho más corta:

 df = pd.DataFrame(m.toarray())