Desarrollo de Python
  1. Desarrollo de Python
  3. Preprocesamiento de características de variables continuas y categóricas (de tipo entero) con scikit-learn
Intereting Posts
Selenium webdriver y unicode ¿El diccionario de Python es seguro para hilos? Reemplace los valores de una matriz de índice numpy con los valores de una lista Importar urllib.request, ImportError: No hay un módulo llamado solicitud Suma cada valor en una lista de tuplas Mensaje de PyLint: logging-format-interpolation ¿Cómo verifico si existe un archivo en http, usando Python / django? ¿La llamada de la línea de comandos de Linux no devuelve lo que debería de os.system? Subprocesos en python: recupera el valor de retorno al usar target = ¿Cómo monkeypatch datetime.datetime.now con py.test? Python – ¿Es posible “detener” o “pausar” un hilo? multiproceso.Pool: ¿Cuál es la diferencia entre map_async e imap? Importe un archivo de nombre arbitrario como un módulo de Python, sin generar un archivo de código de bytes Iterando sobre un diccionario en python y eliminando espacios en blanco ¿Por qué obtengo un MemoryError con itertools.product?

Preprocesamiento de características de variables continuas y categóricas (de tipo entero) con scikit-learn

Los principales objectives son los siguientes:

1) Aplicar StandardScaler a variables continuas

2) Aplicar LabelEncoder y OnehotEncoder a variables categóricas

Las variables continuas deben escalarse, pero al mismo tiempo, un par de variables categóricas también son de tipo entero. La aplicación de StandardScaler daría lugar a efectos no deseados.

Por otro lado, el StandardScaler escalaría las variables categóricas basadas en enteros, lo que tampoco es lo que hacemos.

Dado que las variables continuas y las categóricas se mezclan en un solo DataFrame de Pandas , ¿cuál es el flujo de trabajo recomendado para abordar este tipo de problema?

El mejor ejemplo para ilustrar mi punto es el conjunto de datos de Kaggle Bike Sharing Demand , donde la season y el weather son variables categóricas enteras

Echa un vistazo al meta-transformador sklearn_pandas.DataFrameMapper . Úselo como el primer paso en su canalización para realizar operaciones de ingeniería de datos en columnas: 

 mapper = DataFrameMapper( [(continuous_col, StandardScaler()) for continuous_col in continuous_cols] + [(categorical_col, LabelBinarizer()) for categorical_col in categorical_cols] ) pipeline = Pipeline( [("mapper", mapper), ("estimator", estimator)] ) pipeline.fit_transform(df, df["y"])

Además, debe usar sklearn.preprocessing.LabelBinarizer lugar de una lista de [LabelEncoder(), OneHotEncoder()] .