Desarrollo de Python
  1. Desarrollo de Python
  3. Concatene columnas distintas en dos marcos de datos utilizando pandas (y agregue columnas similares)
Intereting Posts
¿Por qué 4 <'3' devuelve True en Python 2? Buscando una tupla / lista de 2 dimensiones en Python Prevenga anti-aliasing para imshow en matplotlib Python join: ¿por qué es string.join (list) en lugar de list.join (string)? Cómo manejar el error esperado en AJAX (incluida su divulgación al usuario) ¿Cómo llamar a una función desde otro archivo? Python: ¿descarga asíncrona simple de contenido de url? Multiprocesamiento de Python y un contador compartido. ¿Es esto un error? Las variables son referencias idénticas a la misma cadena en este ejemplo (Python) Cómo dejar que Pool.map tome una función lambda Python Pandas: Convertir filas como encabezados de columnas Python – Requests, Selenium – pasar cookies al iniciar sesión ¿Cuál es el equivalente de la concatenación de cadenas CPython, en C ++? ipython notebook puede importar un módulo pyd pero el intérprete de python no puede ¿Cómo reordenar un dict de Python en base a un array?

Concatene columnas distintas en dos marcos de datos utilizando pandas (y agregue columnas similares)

Mi pregunta está estrechamente relacionada con Pandas Merge: cómo evitar la duplicación de columnas pero no la misma.

Quiero concatenar las columnas que son diferentes en tres marcos de datos. Los marcos de datos tienen una identificación de columna y algunas columnas que son idénticas: Ej.

df1 

id place name qty unit A 1 NY Tom 2 10 a 2 TK Ron 3 15 a 3 Lon Don 5 90 a 4 Hk Sam 4 49 a

df2 

 id place name qty unit B 1 NY Tom 2 10 b 2 TK Ron 3 15 b 3 Lon Don 5 90 b 4 Hk Sam 4 49 b

df3 

 id place name qty unit CD 1 NY Tom 2 10 cd 2 TK Ron 3 15 cd 3 Lon Don 5 90 cd 4 Hk Sam 4 49 cd

Resultado: 

 id place name qty unit ABCD 1 NY Tom 2 10 abcd 2 TK Ron 3 15 abcd 3 Lon Don 5 90 abcd 4 Hk Sam 4 49 abcd

El lugar, el nombre, la cantidad y la unidad de las columnas siempre formarán parte de los tres marcos de datos, los nombres de las columnas que son diferentes podrían variar (A, B, C, D en mi ejemplo). Los tres marcos de datos tienen el mismo número de filas.

Yo he tratado: 

 cols_to_use = df1.columns - df2.columns dfNew = merge(df, df2[cols_to_use], left_index=True, right_index=True, how='outer')

El problema es que obtengo más filas de las esperadas y el cambio de nombre de las columnas en el dataframe resultante (cuando se usa concat).

Usando reduce desde functools 

 from functools import reduce reduce(lambda left,right: pd.merge(left,right), [df1,df2,df3]) Out[725]: id place name qty unit ABCD 0 1 NY Tom 2 10 abcd 1 2 TK Ron 3 15 abcd 2 3 Lon Don 5 90 abcd 3 4 Hk Sam 4 49 abcd

Puede utilizar la combinación anidada 

 merge_on = ['id','place','name','qty','unit'] df1.merge(df2, on = merge_on).merge(df3, on = merge_on) id place name qty unit ABCD 0 1 NY Tom 2 10 abcd 1 2 TK Ron 3 15 abcd 2 3 Lon Don 5 90 abcd 3 4 Hk Sam 4 49 abcd

Usando concat con groupby y first : 

 pd.concat([df1, df2, df3], 1).groupby(level=0, axis=1).first() 

  ABCD id name place qty unit 0 abcd 1 Tom NY 2 10 1 abcd 2 Ron TK 3 15 2 abcd 3 Don Lon 5 90 3 abcd 4 Sam Hk 4 49

Puede extraer solo las columnas de df2 (y df3 manera similar) que no están ya presentes en df1 . Luego simplemente use pd.concat para concatenar los marcos de datos: 

 cols = [c for c in df2.columns if c not in df1.columns] df = pd.concat([df1, df2[cols]], axis=1)