pandas: filtro complejo en filas de DataFrame

Me gustaría filtrar filas por una función de cada fila, por ejemplo,

def f(row): return sin(row['velocity'])/np.prod(['masses']) > 5 df = pandas.DataFrame(...) filtered = df[apply_to_all_rows(df, f)] 

O por otro ejemplo más complejo, ideado,

 def g(row): if row['col1'].method1() == 1: val = row['col1'].method2() / row['col1'].method3(row['col3'], row['col4']) else: val = row['col2'].method5(row['col6']) return np.sin(val) df = pandas.DataFrame(...) filtered = df[apply_to_all_rows(df, g)] 

¿Como lo puedo hacer?

Puede hacer esto utilizando DataFrame.apply , que aplica una función a lo largo de un eje dado,

 In [3]: df = pandas.DataFrame(np.random.randn(5, 3), columns=['a', 'b', 'c']) In [4]: df Out[4]: abc 0 -0.001968 -1.877945 -1.515674 1 -0.540628 0.793913 -0.983315 2 -1.313574 1.946410 0.826350 3 0.015763 -0.267860 -2.228350 4 0.563111 1.195459 0.343168 In [6]: df[df.apply(lambda x: x['b'] > x['c'], axis=1)] Out[6]: abc 1 -0.540628 0.793913 -0.983315 2 -1.313574 1.946410 0.826350 3 0.015763 -0.267860 -2.228350 4 0.563111 1.195459 0.343168 

Supongamos que tengo un DataFrame como sigue:

 In [39]: df Out[39]: mass1 mass2 velocity 0 1.461711 -0.404452 0.722502 1 -2.169377 1.131037 0.232047 2 0.009450 -0.868753 0.598470 3 0.602463 0.299249 0.474564 4 -0.675339 -0.816702 0.799289 

Puedo usar sin y DataFrame.prod para crear una máscara booleana:

 In [40]: mask = (np.sin(df.velocity) / df.ix[:, 0:2].prod(axis=1)) > 0 In [41]: mask Out[41]: 0 False 1 False 2 False 3 True 4 True 

Luego use la máscara para seleccionar desde el DataFrame:

 In [42]: df[mask] Out[42]: mass1 mass2 velocity 3 0.602463 0.299249 0.474564 4 -0.675339 -0.816702 0.799289 

Especifique reduce=True para manejar los DataFrames vacíos también.

 import pandas as pd t = pd.DataFrame(columns=['a', 'b']) t[t.apply(lambda x: x['a'] > 1, axis=1, reduce=True)] 

https://crosscompute.com/n/jAbsB6OIm6oCCJX9PBIbY5FECFKCClyV/-/apply-custom-filter-on-rows-of-dataframe

No puedo comentar sobre la respuesta de Duckworthd , pero no está funcionando perfectamente. Se bloquea cuando el dataframe está vacío:

 df = pandas.DataFrame(columns=['a', 'b', 'c']) df[df.apply(lambda x: x['b'] > x['c'], axis=1)] 

Salidas:

 ValueError: Must pass DataFrame with boolean values only 

Para mí, parece un error en pandas, ya que {} es definitivamente un conjunto válido de valores booleanos.

El mejor enfoque que he encontrado es que, en lugar de usar reduce=True para evitar errores para df vacío (ya que este argumento está en desuso de todos modos), simplemente verifique que df tamaño> 0 antes de aplicar el filtro:

 def my_filter(row): if row.columnA == something: return True return False if len(df.index) > 0: df[df.apply(my_filter, axis=1)]