Articles of nan

Guarda el dataframe de los pandas pero conserva los valores de NA

Tengo este codigo import pandas as pd import numpy as np import csv df = pd.DataFrame({‘animal’: ‘cat dog cat fish dog cat cat’.split(), ‘size’: list(‘SSMMMLL’), ‘weight’: [8, 10, 11, 1, 20, 12, 12], ‘adult’ : [False] * 5 + [True] * 2}); Y cambié el peso con los valores de NA: df[‘weight’] = np.nan Y […]

Agregación de pandas ignorando las NaN

Agrego mi marco de data Pandas: data . Específicamente, quiero obtener el promedio y la sum de la amount s por tuplas de [ origin y type ]. Para promediar y sumr, probé las siguientes funciones: import numpy as np import pandas as pd result = data.groupby(groupbyvars).agg({‘amount’: [ pd.Series.sum, pd.Series.mean]}).reset_index() Mi problema es que la […]

Pandas crosstab matrix dot nansum

Estoy buscando ayuda para crear un sub-dataframe a partir de un dataframe existente usando una función similar a np.nansum. Quiero convertir esta tabla en una matriz de sums de columnas no nulas: dan ste bob t1 na 2 na t2 2 na 1 t3 2 1 na t4 1 na 2 t5 na 1 2 […]

Cuente el número de entradas que no sean de NaN en cada columna de Dataframe

Tengo un DataFrame realmente grande y me preguntaba si había una forma corta (una o dos líneas) de obtener un recuento de entradas que no sean de NaN en un DataFrame. No quiero hacer esto una columna a la vez, ya que tengo cerca de 1000 columnas. df1 = pd.DataFrame([(1,2,None),(None,4,None),(5,None,7),(5,None,None)], columns=[‘a’,’b’,’d’], index = [‘A’, ‘B’,’C’,’D’]) […]

problemas de matplotlib cuando nan primero en la lista

Tengo dos listas de números que estoy usando matplotlib para graficar en Python. Sin embargo, si una de las listas comienza con el valor de nan, matplotlib no graficará ninguno de los 15k + puntos que tengo. Sin embargo, si hay un valor de nan en algún lugar de la lista después del primer valor, […]

Pandas fillna () basado en un atributo de columna específico

Digamos que tengo esta mesa Type | Killed | Survived Dog 5 2 Dog 3 4 Cat 1 7 Dog nan 3 cow nan 2 Falta uno de los valores de Killed para [Type] = Dog . Quiero imputar la media en [Killed] para [Type] = Dog . Mi código es el siguiente: Buscar la […]

Cómo configurar una celda a NaN en un dataframe de pandas

Me gustaría reemplazar los valores erróneos en una columna de un dataframe por NaN. mydata = {‘x’ : [10, 50, 18, 32, 47, 20], ‘y’ : [’12’, ’11’, ‘N/A’, ’13’, ’15’, ‘N/A’]} df = pd.DataFrame(mydata) df[df.y == ‘N/A’][‘y’] = np.nan Sin embargo, la última línea falla y lanza una advertencia porque está trabajando en una […]

Comprobación rápida de NaN en NumPy

Estoy buscando la forma más rápida de verificar la aparición de NaN ( np.nan ) en una matriz NumPy X np.isnan(X) está fuera de discusión, ya que crea una matriz booleana de forma X.shape , que es potencialmente gigantesca. Intenté np.nan in X , pero eso no parece funcionar porque np.nan != np.nan . ¿Hay […]

¿Es posible establecer un número en NaN o infinito?

¿Es posible establecer un elemento de una matriz en NaN en Python? Además, ¿es posible establecer una variable en +/- infinito? Si es así, ¿hay alguna función para verificar si un número es infinito o no?

Forma eficiente de memoria para almacenar valores bool y NaN en pandas

Estoy trabajando con un conjunto de datos bastante grande (más de 4 GB), que importé en pandas . Algunas de las columnas de este conjunto de datos son simples indicadores de Verdadero / Falso, y, naturalmente, la forma más eficiente de almacenar estos datos es utilizar un tipo de código para esta columna. Sin embargo, […]